クロールバジェットとは何か──まず誤解を解く
「クロールバジェット」とは、Googlebot がサイトに割り当てるクロール量の上限のこと。ただし Google が公式に語っているのは「大半のサイトでは気にしなくてよい」という点です。
では、なぜこの記事があるのか。それは「気にすべきサイト」が一定数存在し、そこに該当すると新しいページがなかなかインデックスされない・更新が反映されないという実害が出るからです。
まず自分のサイトが対象かどうかを判断し、対象であれば具体的に何をすればいいかを整理しましょう。
クロールバジェットを意識すべきサイトの条件
Google の公式ドキュメントや Search Central Blog の内容を踏まえると、以下のいずれかに当てはまるサイトは対策を検討する価値があります。
1. ページ数が数万以上ある
ECサイト、求人サイト、不動産ポータルなど、URLが大量に生成されるサイトは典型的な対象です。特にパラメータ付きURLでバリエーションが膨大になるケースは注意が必要です。
2. サーチコンソールで「検出 – インデックス未登録」が増え続けている
「ページのインデックス登録」レポートで「検出 – インデックス未登録」のURLが増加している場合、Googlebot がURLを見つけてはいるものの、クロールの優先度が低く放置されている可能性があります。
3. サイトの表示速度が極端に遅い
サーバーレスポンスが遅いとGooglebotは「このサイトに負荷をかけすぎないように」とクロールレートを下げます。結果として、1日あたりのクロール量が減り、大事なページまで巡回が回らなくなります。
サーチコンソールでクロール状況を把握する
対策の前に、まず現状把握が必要です。使うのはサーチコンソールの「クロールの統計情報」レポートです。
確認すべき3つの指標
- 1日あたりのクロールリクエスト数：極端に少ない（数十件レベル）場合は問題のサインです
- レスポンス時間の推移：平均が1,000msを超えていたら、サーバー側の改善が先決
- クロール目的の内訳：「検出」と「更新」の比率を見て、新規ページの発見が滞っていないか確認します
このデータを定期的に見ておくことで、「急にクロールが減った」といった異変にも早く気付けます。
今日からできるクロールバジェット最適化5つの実務
1. 不要なURLをクロール対象から外す
最も効果が出やすい施策です。具体的には以下のようなURLを整理します。
- パラメータ違いの重複URL（並び替え・フィルタ条件など）
- 内部検索結果ページ
- セッションID付きURL
- テスト環境やステージング環境のURL
robots.txt での Disallow、または URL パラメータが原因なら canonical タグでの正規化が基本的な手段です。
2. XMLサイトマップを「本当にインデックスしたいURL」だけにする
サイトマップにnoindex ページや301リダイレクト先の旧URLが含まれていませんか？ サイトマップは Googlebot への「このページをクロールしてほしい」というシグナルです。ノイズが多いと優先度判断を狂わせます。
やること：サイトマップのURLリストをエクスポートし、ステータスコード200かつインデックス対象のURLだけに絞り込む。CMS の自動生成に任せきりにせず、定期的に中身を確認しましょう。
3. サーバーレスポンスを改善する
TTFB（Time to First Byte）が遅いとGooglebotのクロールレートが下がります。CDNの導入、データベースクエリの最適化、サーバースペックの見直しが主な対策です。目安としてTTFBは200ms以下を目指しましょう。
4. 内部リンク構造で重要ページの優先度を上げる
Googlebotはリンクをたどってページを発見します。重要なページがトップから3クリック以上離れている場合、クロール優先度が下がりがちです。カテゴリページやナビゲーションからの導線を見直しましょう。
5. 不要なリダイレクトチェーンを解消する
A→B→Cのようなリダイレクトチェーンは、1つのURLにたどり着くために複数回のクロールを消費します。最終URLへの直接リダイレクトに修正することで、無駄なクロールを削減できます。
対策後の効果測定──何を見ればいいか
施策を打ったら、サーチコンソールの「クロールの統計情報」で以下の変化を追います。
- クロールリクエスト数の推移：不要URLを除外した分、重要ページへのクロールが増えているか
- 「検出 – インデックス未登録」の推移：滞留URLが減少に転じているか
- 新規ページのインデックス速度：公開から何日でインデックスされるかの体感値
変化が見えるまでには通常2〜4週間かかります。焦らず、週次で数字を追いましょう。
順位変動と合わせてクロール状況を定期的にチェックしたい場合は、MINAMI SEOの順位トラッキング機能で対象KWの動きを自動監視しておくと、インデックス改善の効果を順位推移からも確認できます。
よくある質問
小規模サイト（数百ページ）でもクロールバジェットは問題になる？
通常はなりません。ただし、パラメータ付きURLが大量に生成される仕組み（ECのフィルタ機能など）がある場合は、実質的なURL数が膨れ上がっている可能性があります。サーチコンソールの「クロールの統計情報」を一度確認してみてください。
robots.txt で Disallow したページはインデックスから消える？
いいえ。robots.txt はクロールを制御するものであり、インデックス削除の指示ではありません。すでにインデックスされているページを消したい場合は noindex タグを使いましょう。Disallow と noindex は役割が違うので、混同しないように注意が必要です。
まとめ
クロールバジェットの最適化は、やるべきサイトとそうでないサイトがはっきり分かれるテーマです。まずサーチコンソールで自サイトの状況を確認し、「検出 – インデックス未登録」の滞留や、レスポンス時間の悪化が見られたら、不要URLの整理とサーバー改善から着手しましょう。地味な施策ですが、新規コンテンツのインデックス速度に直結する重要な土台です。