2005年05月09日

日本語スパム向けチューニング中

なんか連休以降Bogofilterを抜けてくる日本語メールが多くなってきました。

やっぱり、スパマーどもも連休中にベイジアン対策文章の研究とかしてたんでしょうかね(苦笑)

まぁ、ちょうど連休の頭にBogofilter後の次善処理をチューニングしたばっかりで、現在良いテストになっていますが(笑)

とりあえず、ここ数日は次善処理のおかげで英語はもちろん日本語スパム(日に7〜10通底度)も識別率100%でフィルタリングできてるので、もうしばらく動かして問題ないようならフィルタリングルールを公開したいと思います。

っていうか、プロバのアドレスも一度も晒しても居ないのにスパムの爆撃が酷くなってきたのでこのGWからよくわからん相手からのメールは全部フィルタリングしているサーバに飛ばすようにしました。

でも、現在のところ、転送で飛んできたメールも含めて全部無効化できているのでしばらくはこれでメールボックスにクズメールが届くことが無くなりそうです。

Posted by Takuchan at 23:54 | コメント (0) | トラックバック(0)

2005年04月10日

procmailでのエラー

↓の対策を行っていると、何となくprocmailのログに残るエラーの内容が気になってきたので、対応することにしました。
(今までは無視してても正常に動いて居るっぽいので無視してましたが(苦笑))

まず、

procmail: Extraneous copy-flag ignored
ですが、これは余計なところでcフラグをつけているとなるようです。
っていうか、
  • c
    受信したメールの カーボンコピー を作成する。これは 配送 レシピにだけ意味がある。このフラグが唯一有効な非配送レシピは入れ子構造にて使われる場合である。この時、カーボンコピーを生成する為に、実行中の procmail プロセスの クローン が作成される。(ロックファイルは継承されない。) これによってクローンは普通に実行され、親プロセスはこの時点のブロックの処理を飛ばして次に進む。
っていうことを、今回初めて知りました(苦笑)<今までパイプの時はcフラグをつけないとそれでメール消える物だと思ってました(^^;
訂正 2005年5月1日 23時42分6秒
パイプでコマンドに渡す場合もつけないと消えます(^^;
っていうか、fオプションがついている所にcをつけるとエラーになるのをパイプは全部c要らないのかと思って外したのが失敗。
おかげで30通ほどのスパムがネットの狭間に消えました(^^;
いやいや、まっとうなメールが消えなくて良かった(^^;;;

あと、それを解決したら今度は

procmail: Lock failure on /var/mail/ユーザ名.locl
これは「/var/mail」への書き込み権限が無いため。

で調べてみたら「/var/mail」ディレクトリの書き込み権限はmailグループ権限が有ればいいようだったので「/etc/group」のmailグループに自分のユーザーを追加で解決しました。

まぁ、これで余計なエラーが消えてきれいな動作になりました( ̄▽ ̄)ノ

Posted by Takuchan at 14:59 | コメント (0) | トラックバック(0)

日本語スパム退治のススメ(1)

基本的に.comなアドレスや.netなアドレスをメインに使っているおかげでこれまでは

  • 英語メール→スパム
  • 日本語メール→必要な物
と言う棲み分けができていたのですが、最近はスパマーも日本語ページにあるメールアドレスにはとりあえず全て送りつけるという方針に切り換えたようで、1度でも晒したメインのメールアドレスにはほぼ例外なくじわじわspamが届くようになりました。

ただ、これまでほとんど日本語spamの撃退経験が無いうちのbogofilterはそれらをほとんど素通しして役に立たず・・・

なので意を決して、晒し用に使っていたフリーのメールアドレス(日本語スパムも当然多数来る)をメインアドレスへの転送設定に切り換えてbogofilterへの学習強化を図ることにしました。

で、最初の3日間ぐらいはほぼ全て筒抜けという状態で、いちいち-Nsオプションで最学習する日々が続きましたが、その後徐々に効果が出てきて、3週間ほどたった現在は大体7割前後の確率で落としてくれるようになりました。

それでも、日に3通程度はまだコンスタントに抜けてきちゃいます。
これがせめてspam確率8割ぐらいなら閾値変更で乗り切れるのですが、現状では抜けてくる3通は5割程度と言う評価なため、閾値ではどうしようも無い感じです。

なので、bogofilterが自信がないときにUnsureと言う評価を出すことを利用して次善処理を行うことにしてみることとしました。

ただ、実装したてで実績がほとんど無いので、数日動かしてちゃんと落とせている用なら、またエントリとしてまとめたいと思います。

Posted by Takuchan at 14:47 | コメント (0) | トラックバック(0)

2005年03月04日

bogofilter 0.17.4→0.93.5

こっちでもちらっと書きましたがbogofilterをかれこれ1年近く入れ替えてなかったので、最新版に差し替えようと公式ページを見に行ったところ

バージョン番号進みすぎ(;´д`)ノ

で、

を読んでいたんですが、どうも0.17.5から一気に0.90に飛んだだけのようでそんなに劇的には変わってない様子で一安心(笑)

まぁ、Berkeley DBの最新版までサポートするようになった替わりに3.0がサポート廃止になってたりといろいろと変更は有りましたが、とりあえず、互換を取るだけならインストール後に

bogoutil -u
さえしておけば良さそうな感じだったので入れ替えることに。

続きを読む...

Posted by Takuchan at 01:46 | コメント (0) | トラックバック(0)

2004年08月26日

最近のBogoの結果

最近利用している通販サイトからの日本語の広告メールを受け取っているせいか、日本語スパムが週に2通程度の確率で抜けてくるようになりました。

ウィルスとかはたとえ抜けてきても一度覚えさせればそれっきりなんですが、日本語スパムはどうも一度抜けた業者のメールは、何度ダメだと学習させても抜けてくるのでイヤな感じです。

とりあえず、件名に未承諾広告が入って居るメールぐらいはちゃんとドロップして欲しいなぁ。

やっぱり通販サイトからの広告の受信をあきらめるしかないですかね(^^;

Posted by Takuchan at 15:32 | コメント (0) | トラックバック(0)

2004年07月26日

だめだめOCN

どうもうちのBogofilterとむちゃくちゃ相性の悪いスパムですが、ぶっちゃけると「delivery@hosyou-r.mine.nu」からのスパムです。

ヘッダ情報を見てみると「p6056-ipad88marunouchi.tokyo.ocn.ne.jp」となっていて丸の内のOCNであることは明白なんですが、OCNに通報でもしようかと思ってその前にちょっとぐぐって見たら

おいおい、随分ヒットするよ(;´д`)ノ

で、そのヒットしたページを見ていたら

  • From: "OCN Customer Support"
    >> この度、ご連絡いただきましたメール送信者に対しては、利用停止の措置を実施
    >> 致しました。
    >>
    >> 弊社としても当該メール(現在、株式会社経済文庫)での送信に対しては徹底し
    >> て調査しているところで御座います。複数名義、複数住所による申込の為、いま
    >> しばらくお時間をいただければと思っております。
    >>
    >> また、当該迷惑メール送信に関しては確認出来次第、当該ユーザに対して利用停
    >> 止、契約解除の措置をとっております。
もう通報済みで、しかも2ヶ月以上も手をこまねいているのですか(苦笑)

っていうか、うちでの受信分は全部丸の内OCNなんですが、毎回アカウント停止しているとしても一体何個アカウント取られてるのやら。
それともたんに腰が重いだけなのか、どちらにしても今時のプロバイダとしてはいけてないことこの上ないですな。

昔はOCNと言えば一流プロバでしたが、現状を見る限りもうただのスパムの温床ですな。

参考リンク

Posted by Takuchan at 21:52 | コメント (0) | トラックバック(0)

2004年07月01日

抜けるスパム・落とすメール

最近Bogofilterさんにspamではないメールドロップされてしまいました。
まぁ、ぶっちゃけると

の登録時の自動応答メールだったんですが、使ったアカウントがspamが来まくっている事実上のspam収集アカウントだったためか見事にドロップ_| ̄|○

まぁ、ドロップしてもspam置き場に送るだけなんで内容は後から確認できましたが、やっぱりこの手の短文自動応答メールの扱いは苦手な感じです。

それから、先日は日本語spamを見事にスルーされてしまいました。
普通通過しても判断時のスパム率8割ぐらいなんですが、今回のメールはスパム率5割・・・

まぁ、それはいいんですが、問題はその業者からのメール見逃すのこれで4度目な事(;´д`)ノ
もちろん見逃すたんびに最学習しているんですが、何度やってもスルーしてくれるのでもう断念して気持ち悪いと思いつつスパム送信解除手続きしてみました。
っていうか、未承諾って書いてないんで

や使っているプロバに通報してもいいんですが、ネットに載せた記憶があんまり無いアカウントなんでなんかの登録の時にうっかり規約に書いてあったかもしれないなぁと・・・
(誰かの嫌がらせの可能性もありますが・・・(苦笑))

にしてもなんで抜けて来るのかなぁ。
最近Bogofilterの性能を試すために二つぐらいメルマガ入ったのが原因かなぁ・・・

やっぱり、単語からだけでの分析では限界があるのかもしれませんね。

続きを読む...

Posted by Takuchan at 11:33 | コメント (0) | トラックバック(0)

2004年04月22日

新手のspamメール

最近週に200通は下らなくなったスパムの攻撃ですが、それだけ多くなると新手の含有量も多くなるらしく週に1通ずつぐらいフィルタを抜けてスパムが手元に届きます。

先日は

ページ移転しました。見に来てください URL
とだけ書かれた移転告知を装ったspamが抜けて来ましたし、ビジネスライクな言い回しのspamなんかも抜けて来て困ったこともあります。

まぁ、どちらも日本語のスパムの絶対数が少なく学習が足りてないせいだと思って、せっせと再学習させて居たのですが、本日スパムの本文が全部添付の画像ファイルに入って居るという馬鹿スパムがフィルタをすり抜けて届きました_| ̄|○

しかもメールの本文自体はありがちな英語の文句が書いてあるだけで、これといった特徴がない困った状態。

とりあえず、bogofilterにスパムだよと教えてあげましたが、たぶん学習はうまくいってないので今後も抜けてきそうで非常にイヤな感じです。

というか、こんなspamばかりになったら学習型フィルタでも対応しきれないので、もっと抜本的な対策が必要になりそうです。

Posted by Takuchan at 12:36 | コメント (2) | トラックバック(0)

2004年04月07日

DBの統合(Update)

今まで全く不満が無かったため特にいじってなかったbogofilterをなにげにバージョンアップしたらこんなエラーが出ました。

bogofilter: (db) DB->open(/home/hoge/.bogofilter/wordlist.db) - actually /home/
hoge/.bogofilter/wordlist.db bogohome: /home/hoge/.bogofilter -, err: 2,
No such file or directory
Can't open file 'wordlist.db' in directory '/home/hoge/.bogofilter'.
error #2 - No such file or directory.

Remember to register some spam and ham messages before you
use bogofilter to evaluate mail for its probable spam status!

調べてみたら「goodlist.db」と「spamlist.db」が「wordlist.db」に統合されるというBogofilter0.7以来の大規模なデータベース形式のバージョンアップがあったようなので、そのアップデート手順を書いておきます。
(どうも0.14.0で切り替わったらしいのですが、0.15.7から0.17.4に入れ替えたら警告が出て初めて気が付く(笑))

移行は極めて簡単

bogoupgrade -d ~/.bogofilter
上記のコマンド一発でwordlist.dbができあがります。

ちょっと試した感じじゃ精度は落ちてないようなので、乗り換えても安心っぽいです。

なお、0.7からバージョンアップする強者は「man bogoupgrade」に書いてあるとおりにやってください(^^;

Posted by Takuchan at 09:30 | コメント (0) | トラックバック(0)

2004年04月06日

Cannot link against libdb

Solaris8にbogofilter-0.17.4を入れようとしたところconfigureの時に下のようなエラーが出ました

checking how to link with libdb... -ldb
configure: error:
====================================================================
Cannot link against libdb? Try 'rm config.cache', then re-configure.
If the problem persists, report it to the bogofilter mailing list.
Remember to include your config.log.
====================================================================
どうもBerkeley DBが見つからないと言うことみたいなので、ダウンロードページから落として入れようかと思い4.2.52をダウンロード開始。

落ちてくるまで多少時間あったのでどこに入れようかと徘徊していたところ、/usr/local/にBerkeleyDB.4.1を発見(笑)
どうもインストールした人が入れてくれたもののようなのでありがたくそれを使うことにして次のようにconfigureの引数を渡す。

./configure --with-libdb-prefix=/usr/local/BerkeleyDB.4.1
無事configure、make、make installが通りました( ̄▽ ̄)ノ

続きを読む...

Posted by Takuchan at 13:26 | コメント (0) | トラックバック(0)

その他のエントリ
bogofilter vs ウィルスメール 2003年09月29日 19:38

ほとんどメールアドレスをさらさなくなった今でもたまーにウィルスメールがやってきます。
で、先日何を思ったかbogofilterがウィルスメールを見送ってしまいました(笑) どうも、本文なしのバイナリのみだったのが敗因だったようですが、早速該当メールをspamとして学習させてあげたらそれ以降はきちんとはじいてい

経過報告 2003年08月01日 14:57

Bogofilterでの捕獲spam数が200通を超えたのでひとまず経過報告を。 大体Bogofilterを使い始めてから全部で350通ぐらいメール来ましたが、うち200通がspamだったことに(笑)<メールはごく限られた人にしか返信しないので来ないときはとことん来ない で、肝心の識別結果は見逃し2通誤爆1通という結果にました。 見逃しの

bogofilter(2) 2003年07月02日 02:05

これの続き さて、実際の使い方ですが、まずbogofilterにどういうメールがspamでどういうメールは普通のメールかを教えてあげなければなりません。 で、どのメールを覚えさせるかですが自分の所に来たspamを律儀に取っている人は、それをbogofilterに食わせてあげればよいです。 具体的にはメールソフトのエクスポート機

bogofilter(1) 2003年06月30日 18:09

セキュリティとカテゴリに銘打っておきながらいきなりスパム退治ネタから(笑) bogofilter自体は以前に↓のサイトを見て知っていたんですが、導入したのはほんの先日だったりします。
Bogofilter - スパムとのたたかい [dh's memoranda]bogofilterに関する詳しいことは上のサイトを見て頂くことにして、ここでは自分