【今さら聞けない】クローラーはどういった役割をするプログラムなのか？

前に、今の検索エンジンのほとんどがロボット型検索エンジンであると話しましたが、

そのロボット型検索エンジンでウェブ上で公開されている文書や画像などのデータを収集している巡回プログラムがクローラーです。

クローラーはウェブページ内の中にあるリンクを発見しては、次のページへ進み、

そうやってウェブサイトを自動的に巡回してデータを収集し、その集めたデータをインデックス化して巨大な検索データベースを作成しています。

このクローラーがデータ収集することは、

クローリングと呼ばれています。

クローラーは、検索サイトを提供している企業がそれぞれ運営しているため、

検索エンジンごとにクローラーが収集するデータの種類や巡回頻度は異なります。

またGoogleでは、

通常のウェブ検索はGooglebot

画像検索はGooglebot-Image

モバイル検索はGooglebot-Mobile

と、用途に応じて複数のクローラーを使用しています。

あなたが作成したウェブページやブログの記事が検索エンジンの検索結果に表示されるためには、

まずクローラーにクローリングされる必要があります。

また、クローラーは一度のクローリングですべての情報を収集できないため、

あなたが作成したウェブページで提供している情報をより正確に解析・評価してもらうためには、

クローラーに何度か巡回してもらう必要もあります。

そのため検索エンジンが高く評価してくれる良質なコンテンツを増やすだけでなく、

クローラーが巡回しやすいウェブページにすることもSEOには重要となってきます。

クローラーの巡回しやすさのことは、

クルーラビリティと呼ばれており、

クローラーが巡回しやすくすることをは、

クローラビリティを高めると言っています。

検索エンジンの仕組みについてくわしく知りたい方は、こちらがおすすめです。

また、検索エンジンについては

インデックス化については

でも解説しているので、ご覧ください。

それでは、また・・・