2008/4/12 土曜日12:21:44 GoogleがHTMLフォームの送信先もインデックスすると発表
- GoogleがHTMLフォームの送信先もインデックスすると発表
- 「秋元@サイボウズラボ・プログラマー・ブログ」より引用
張られているリンクをより多く見つける目的で、GooglebotにHTML Formを送信させて出てきたページもクロールさせる、という発表があった。
JavascriptやFlashの中から他ページへのリンクを抽出するというのは既に実施していて、今回はそれをページ上の入力フォームにも拡大するものだということ。いわゆるディープウェブ、見えないウェブといわれる領域への進出だ。
クロールされるフォームは以下のようなものに限定されるようだ。
* GETメソッドであること
* robot.txtなどで除外指定されていないこと
* passwordフィールドを持たないこと
* user, id, accountなどのフィールドを持たないこと
…

カテゴリ:
関連キーワード:
関連するニュース:

