2008/6/20 金曜日13:11:28 robots.txtがないとグーグルのインデックスから消えるかも
カテゴリ： Google関連 
- robots.txtがないとグーグルのインデックスから消えるかも
- 「海外SEO情報ブログ・メルマガ」より引用
検索エンジンのロボットのアクセスを制御して、特定のページをインデックスさせないようにする手段の一つとして、robots.txtを用いる方法があります。
通常、特にロボットからブロックしたいコンテンツがないときは、robots.txtは不要です。
robots.txtが存在しなければ、すべてのファイルにアクセスしてインデックス（しようと）します。ところが、robots.txtが存在しないと、Goolgebotにクローリングされず、「サイト全体」がGoogleのインデックスから消えてしまうことがあるという恐ろしい事実がGoogle Groupsのスレッドで、明らかになりました。
…
関連キーワード：
関連するニュース：
