2008/4/15 火曜日7:48:40 Yahoo! Slurp 3.0 - ヤフー クローラのアップデート
- Yahoo! Slurp 3.0 - ヤフー クローラのアップデート
- 「ヤフー ブログ from SEO塾」より引用
…
Yahoo! Slurpの巡回は、IPベースからDNSベースに切り替えるようだ。例えば、Yahoo! Slurp/3.0のクローラのあるものは、IP「67.195.37.114」、DNS「llf520062.crawl.yahoo.net」となっている。
よって、例えば「67.195.」は受け入れるが、それ以外はアクセスを拒否するといったサーバの設定をしている場合は、Yahoo!のロボットは巡回できないということになる。
「crawl.yahoo.net」を受け入れるという設定に切り替えよということである。レンタルサーバ屋によっては、そういった作為をやっているので、Yahoo!からのインデックス削除には要注意である。

カテゴリ:
関連キーワード:
関連するニュース:

