一応エントリ600以上(カテゴリやデイリーのページなどを入れると1000越え)ページがあるうちのサイトですが
lunatear.net からの日本語のページ 540 件中 1 - 10 件目 (0.06 秒)
もういい加減にしろ(ノ ｀Д´)ノ===┻━┻
(しかも半分ぐらいはcgiなど意味のないコンテンツのキャッシュ)
と言うわけで、真剣に対策を考えて見ることにしました。
まず、うちのサイトのCGIは検索エンジンに喰わせて有効な情報を何もはき出さないので「robots.txt」にて
User-agent: *として余計なbot徘徊を抑制。
Disallow: /*.cgi$
それからログを見るとどうもindexの直下しか見てくれてないので、全ページに
<meta name="robots" content="index,follow" />を埋め込んで明示的にhtmlのbot徘徊を許可。
最後に、全てのページのトップにSiteMapへのリンクを埋め込んで、どのページにBotが来てもたどってくれる可能性を作ります。
で、それをやっとのが現在のこのサイト。
副産物として、全ページハッシュ値が変わったので、それもキャッシュ再登録に一役買ってくれるかもしれません。
なんにしてもGoogle様のゴキゲンを伺わないとページ開いても誰も見てくれないようになるって言うのはおかしい事態だよなぁ・・・
早く新機軸検索エンジンとかが開発されて対抗馬が育って欲しいものです。
グーグルと言えば
G-mailにしても、広告にしてもどうも最近のGoogleは印象悪いです。
どうせなら、いっそでかい不祥事でも起こしてくれないかなぁ(笑)＜そうすれば多少は検索エンジンの分散化も進むでしょうに
Posted by Takuchan at 2005年05月19日 01:10 | トラックバック(0)