2008/3/31 月曜日8:32:48 グーグル ウェブマスターツールにrobots.txt作成機能が追加
カテゴリ： Google関連 
- グーグル ウェブマスターツールにrobots.txt作成機能が追加
- 「海外SEO情報ブログ・メルマガ」より引用
Google ウェブマスターツールにrobots.txtを作成する機能が追加されました。
Google Webmaster Central Blogでも公式にアナウンスされています。
robot.txtとは、検索エンジンのロボット、いわゆるスパイダーもしくはクローラーと呼ばれるプログラムのアクセスを、サイト単位・ディレクトリ単位・ファイル単位で、拒否（許可）するためのテキストファイルです。
※スパイダーとクローラは、厳密には異なるプログラムのようです。
●検索エンジンの５つのプログラム - スパイダーとクローラって別物？
●スパイダーとクローラが別物なわけ
…
関連キーワード：
関連するニュース：
