通常、Google SEOを行う上では、検索エンジンのクローラーが毎日サイトをクロールしてコンテンツを取得してくれることを望みます。しかし、サーバーにリソース制限がある場合、Googleのクローラーが頻繁にサイトをクロールするとサーバーリソースが枯渇したり、サイトの表示が遅くなったりする可能性があります。
このような場合、検索エンジンのクロール速度を適切に下げることで、サイトが正常に表示され、クローラーによる過負荷を防ぐことができます。
Googlebotのクロール速度を設定
Googleは高度なアルゴリズムを使用して最適なサイトクロール速度を決定します。Google検索クローラーはサイトにアクセスするたびに、サーバーの帯域幅に過負荷をかけずに可能な限り多くのページをクロールします。
Googleがサイトに送信する1秒あたりのリクエストが多すぎてサーバーの速度が低下した場合、Googleのサイトクロール速度を制限できます。
ルートレベルのサイト（例：www.example.com や http://subdomain.example.com）のクロール速度を制限できます。設定したクロール速度はGooglebotの上限となります。ただし、Googlebotが必ずしもこの上限に達するわけではないことに注意してください。
サーバーに負荷の問題が発生し、それがGooglebotによる過剰なアクセスが原因であると特定できない限り、クロール速度を制限することはお勧めしません。
ルートレベルではないサイト（例：www.example.com/folder）のクロール速度を変更することはできません。
具体的な制限方法：
リソースの„クロール速度設定“ページを開く。
- クロール速度が„計算された最適速度“の場合、クロール速度を低下させる唯一の方法は特殊リクエストを提出クロール速度を上げることはできません。
- そうでない場合、適切なオプションを選択し、必要に応じてクロール速度を制限してください。新しいクロール速度の有効期間は90日間です。
すべての検索クローラーのクロール速度を設定
個別設定に加えて、robots.txtファイルのCrawl-delayディレクティブを使用して、検索エンジンのクロール頻度を設定します。
ほとんどの検索エンジンが対応しています。Crawl-delayパラメータをサポートしており、同じサーバーへの連続リクエスト間の待機秒数を設定します：
User-agent: *
Crawl-delay: 10上記のコードをサイトのrobots.txtファイルに追加し、検索エンジンのクローラーが取得して認識するのを待つだけです。
クローラーによってサイトがダウンするケースは稀ですが、実際に発生することがあります。一般的な外国貿易企業のサイトでは、コンテンツがそれほど多くないため、クローラーが24時間頻繁にリソースをクロールする必要はありません。サイトの速度が低下すると、SEO効果にもユーザーエクスペリエンスにも悪影響を及ぼします。
そのため、サイトがクローラーに過剰にクロールされていると感じた場合は、この操作を検討してください。
関連記事：