LunaTear

日本語スパム向けチューニング中

なんか連休以降Bogofilterを抜けてくる日本語メールが多くなってきました。

やっぱり、スパマーどもも連休中にベイジアン対策文章の研究とかしてたんでしょうかね(苦笑)

まぁ、ちょうど連休の頭にBogofilter後の次善処理をチューニングしたばっかりで、現在良いテストになっていますが(笑)

とりあえず、ここ数日は次善処理のおかげで英語はもちろん日本語スパム(日に7〜10通底度)も識別率100%でフィルタリングできてるので、もうしばらく動かして問題ないようならフィルタリングルールを公開したいと思います。

っていうか、プロバのアドレスも一度も晒しても居ないのにスパムの爆撃が酷くなってきたのでこのGWからよくわからん相手からのメールは全部フィルタリングしているサーバに飛ばすようにしました。

でも、現在のところ、転送で飛んできたメールも含めて全部無効化できているのでしばらくはこれでメールボックスにクズメールが届くことが無くなりそうです。

procmailでのエラー

↓の対策を行っていると、何となくprocmailのログに残るエラーの内容が気になってきたので、対応することにしました。
(今までは無視してても正常に動いて居るっぽいので無視してましたが(苦笑))

まず、

procmail: Extraneous copy-flag ignored

• Manpage of PROCMAILRC

c
受信したメールの カーボンコピー を作成する。これは 配送 レシピにだけ意味がある。このフラグが唯一有効な非配送レシピは入れ子構造にて使われる場合である。この時、カーボンコピーを生成する為に、実行中の procmail プロセスの クローン が作成される。(ロックファイルは継承されない。) これによってクローンは普通に実行され、親プロセスはこの時点のブロックの処理を飛ばして次に進む。

あと、それを解決したら今度は

procmail: Lock failure on /var/mail/ユーザ名.locl

で調べてみたら「/var/mail」ディレクトリの書き込み権限はmailグループ権限が有ればいいようだったので「/etc/group」のmailグループに自分のユーザーを追加で解決しました。

まぁ、これで余計なエラーが消えてきれいな動作になりました（￣▽￣）ノ

日本語スパム退治のススメ(1)

基本的に.comなアドレスや.netなアドレスをメインに使っているおかげでこれまでは

• 英語メール→スパム
• 日本語メール→必要な物

ただ、これまでほとんど日本語spamの撃退経験が無いうちのbogofilterはそれらをほとんど素通しして役に立たず・・・

なので意を決して、晒し用に使っていたフリーのメールアドレス(日本語スパムも当然多数来る)をメインアドレスへの転送設定に切り換えてbogofilterへの学習強化を図ることにしました。

で、最初の3日間ぐらいはほぼ全て筒抜けという状態で、いちいち-Nsオプションで最学習する日々が続きましたが、その後徐々に効果が出てきて、3週間ほどたった現在は大体7割前後の確率で落としてくれるようになりました。

それでも、日に3通程度はまだコンスタントに抜けてきちゃいます。
これがせめてspam確率8割ぐらいなら閾値変更で乗り切れるのですが、現状では抜けてくる3通は5割程度と言う評価なため、閾値ではどうしようも無い感じです。

なので、bogofilterが自信がないときにUnsureと言う評価を出すことを利用して次善処理を行うことにしてみることとしました。

ただ、実装したてで実績がほとんど無いので、数日動かしてちゃんと落とせている用なら、またエントリとしてまとめたいと思います。

bogofilter 0.17.4→0.93.5

こっちでもちらっと書きましたがbogofilterをかれこれ1年近く入れ替えてなかったので、最新版に差し替えようと公式ページを見に行ったところ

• SourceForge.net: Project Filelist

bogofilter-0.93.5 [show only this release]

で、

• BOGOFILTER NEWS

まぁ、Berkeley DBの最新版までサポートするようになった替わりに3.0がサポート廃止になってたりといろいろと変更は有りましたが、とりあえず、互換を取るだけならインストール後に

bogoutil -u

最近のBogoの結果

最近利用している通販サイトからの日本語の広告メールを受け取っているせいか、日本語スパムが週に2通程度の確率で抜けてくるようになりました。

ウィルスとかはたとえ抜けてきても一度覚えさせればそれっきりなんですが、日本語スパムはどうも一度抜けた業者のメールは、何度ダメだと学習させても抜けてくるのでイヤな感じです。

とりあえず、件名に未承諾広告が入って居るメールぐらいはちゃんとドロップして欲しいなぁ。

やっぱり通販サイトからの広告の受信をあきらめるしかないですかね(^^;

だめだめOCN

どうもうちのBogofilterとむちゃくちゃ相性の悪いスパムですが、ぶっちゃけると「delivery@hosyou-r.mine.nu」からのスパムです。

ヘッダ情報を見てみると「p6056-ipad88marunouchi.tokyo.ocn.ne.jp」となっていて丸の内のOCNであることは明白なんですが、OCNに通報でもしようかと思ってその前にちょっとぐぐって見たら

• Google 検索: "hosyou-r.mine.nu"

"hosyou-r.mine.nu" の検索結果のうち 日本語のページ 約 275 件中 1 - 10 件目 (0.18 秒)

で、そのヒットしたページを見ていたら

• 迷惑メール(spam)撲滅私的調査会 HTML化ログ スレッド[ 17866 ]番

From: "OCN Customer Support"
>> この度、ご連絡いただきましたメール送信者に対しては、利用停止の措置を実施
>> 致しました。
>>
>> 弊社としても当該メール（現在、株式会社経済文庫）での送信に対しては徹底し
>> て調査しているところで御座います。複数名義、複数住所による申込の為、いま
>> しばらくお時間をいただければと思っております。
>>
>> また、当該迷惑メール送信に関しては確認出来次第、当該ユーザに対して利用停
>> 止、契約解除の措置をとっております。

っていうか、うちでの受信分は全部丸の内OCNなんですが、毎回アカウント停止しているとしても一体何個アカウント取られてるのやら。
それともたんに腰が重いだけなのか、どちらにしても今時のプロバイダとしてはいけてないことこの上ないですな。

昔はOCNと言えば一流プロバでしたが、現状を見る限りもうただのスパムの温床ですな。

参考リンク

• 迷惑メールを晒す！／データ置き場

抜けるスパム・落とすメール

最近Bogofilterさんにspamではないメールドロップされてしまいました。
まぁ、ぶっちゃけると

• キリン「生茶パンダ」キャンペーン

まぁ、ドロップしてもspam置き場に送るだけなんで内容は後から確認できましたが、やっぱりこの手の短文自動応答メールの扱いは苦手な感じです。

それから、先日は日本語spamを見事にスルーされてしまいました。
普通通過しても判断時のスパム率8割ぐらいなんですが、今回のメールはスパム率5割・・・

まぁ、それはいいんですが、問題はその業者からのメール見逃すのこれで4度目な事(;´д｀)ノ
もちろん見逃すたんびに最学習しているんですが、何度やってもスルーしてくれるのでもう断念して気持ち悪いと思いつつスパム送信解除手続きしてみました。
っていうか、未承諾って書いてないんで

• ◆違反メールに関する情報提供のお願い◆

にしてもなんで抜けて来るのかなぁ。
最近Bogofilterの性能を試すために二つぐらいメルマガ入ったのが原因かなぁ・・・

やっぱり、単語からだけでの分析では限界があるのかもしれませんね。

新手のspamメール

最近週に200通は下らなくなったスパムの攻撃ですが、それだけ多くなると新手の含有量も多くなるらしく週に1通ずつぐらいフィルタを抜けてスパムが手元に届きます。

先日は

ページ移転しました。見に来てください URL

まぁ、どちらも日本語のスパムの絶対数が少なく学習が足りてないせいだと思って、せっせと再学習させて居たのですが、本日スパムの本文が全部添付の画像ファイルに入って居るという馬鹿スパムがフィルタをすり抜けて届きました＿|￣|○

しかもメールの本文自体はありがちな英語の文句が書いてあるだけで、これといった特徴がない困った状態。

とりあえず、bogofilterにスパムだよと教えてあげましたが、たぶん学習はうまくいってないので今後も抜けてきそうで非常にイヤな感じです。

というか、こんなspamばかりになったら学習型フィルタでも対応しきれないので、もっと抜本的な対策が必要になりそうです。

DBの統合(Update)

今まで全く不満が無かったため特にいじってなかったbogofilterをなにげにバージョンアップしたらこんなエラーが出ました。

bogofilter: (db) DB->open(/home/hoge/.bogofilter/wordlist.db) - actually /home/
hoge/.bogofilter/wordlist.db bogohome: /home/hoge/.bogofilter -, err: 2,
No such file or directory
Can't open file 'wordlist.db' in directory '/home/hoge/.bogofilter'.
error #2 - No such file or directory.

Remember to register some spam and ham messages before you
use bogofilter to evaluate mail for its probable spam status!

移行は極めて簡単

bogoupgrade -d ~/.bogofilter

ちょっと試した感じじゃ精度は落ちてないようなので、乗り換えても安心っぽいです。

なお、0.7からバージョンアップする強者は「man bogoupgrade」に書いてあるとおりにやってください(^^;

Cannot link against libdb

Solaris8にbogofilter-0.17.4を入れようとしたところconfigureの時に下のようなエラーが出ました

checking how to link with libdb... -ldb
configure: error:
====================================================================
Cannot link against libdb? Try 'rm config.cache', then re-configure.
If the problem persists, report it to the bogofilter mailing list.
Remember to include your config.log.
====================================================================

落ちてくるまで多少時間あったのでどこに入れようかと徘徊していたところ、/usr/local/にBerkeleyDB.4.1を発見(笑)
どうもインストールした人が入れてくれたもののようなのでありがたくそれを使うことにして次のようにconfigureの引数を渡す。

./configure --with-libdb-prefix=/usr/local/BerkeleyDB.4.1