クローラーとは、検索エンジンがホームページをインデックスする際に使用する自動巡回プログラム（ボット）のことです。クローラーによって収集された情報が基となり、Google検索などの検索結果に表示されるようになります。

クローラーの基本的な仕組みは以下の通りです。

1：ホームページ内の巡回
クローラーがホームページを見つけると、そのサイト内を隅々まで巡回します。テキストデータ以外にも、画像やPDF、エクセルの資料など主要なアプリケーションファイルも対象となります。各ページに存在するリンクを全て辿ります。

2：ページ情報の解析、インデックス
巡回後、各ページより、登録されている情報を収集し、検索エンジンのデータベースへ登録していきます。
この登録工程を「インデックス」と呼びます。

3：ページのランク付け
インデックス後、検索クエリごとにそのホームページをランク付けしていきます。これを「クエリプロセス」と言います。このランク付けは各検索エンジンの独自のアルゴリズムにより決定されます。Googleでは、その判断項目は200以上もあります。