通常、Google SEOを行う場合、検索エンジンのクローラーが毎日あなたのサイトを巡回してコンテンツをクロールしてくれることを望むでしょう。しかし、サーバーにリソース制限がある場合、Googleボットが頻繁にサイトをクロールすると、サーバーリソースが枯渇したり、サイトの読み込みが遅くなったりする可能性があります。このような状況では、サイトが正常に開き、アクセスできるように、検索エンジンのクロール速度を適切に低下させることを検討できます。これにより、クローラーによってサイトがダウンするのを防ぎます。
Googlebotのクロール速度を設定
Googleは、最適なサイトクロール速度を決定するために高度なアルゴリズムを使用しています。Google検索ボットは、サーバーの帯域幅に過負荷をかけない範囲で、サイトを訪問するたびにできるだけ多くのページをクロールします。Googleがサイトに送信するリクエストが多すぎてサーバーの速度が低下する場合は、Googleがサイトをクロールする速度を制限できます。ルートレベルのサイト（例：www.example.comやhttp://subdomain.example.com）のクロール速度を制限できます。設定するクロール速度は、Googlebotのクロール速度の上限です。Googlebotが必ずしもこの上限に達するわけではないことに注意してください。サーバーに負荷の問題が発生し、その問題がGooglebotによるサーバーへの過剰なアクセスが原因であると特定しない限り、クロール速度を制限しないことをお勧めします。非ルートレベルのサイト（例：www.example.com/folder）のクロール速度は変更できません。
具体的な制限方法：リソースの
„クロール速度設定“ページを開く。
- クロール速度が„計算された最適速度“の場合、クロール速度を低下させる唯一の方法は特殊リクエストを提出クロール速度を上げることはできません。
- そうでない場合、適切なオプションを選択し、必要に応じてクロール速度を制限してください。新しいクロール速度の有効期間は90日間です。
すべての検索クローラーのクロール速度を設定
個別設定に加えて、
robots.txtファイルのCrawl-delayディレクティブを使用して、検索エンジンのクロール頻度を設定することもできます。ほとんどの検索エンジンは
Crawl-delayパラメータをサポートしており、同じサーバーへの連続リクエスト間の待機秒数を設定します：
User-agent: *
Crawl-delay: 10
上記のコードをサイトのrobots.txtファイルに追加し、検索エンジンのクローラーがクロールして認識するのを待つだけです。クローラーがサイトをダウンさせる状況はあまり遭遇しませんが、確かに発生します。一般的な外国貿易向け独立サイトは、そもそもコンテンツが多くないため、クローラーが24時間頻繁にリソースをクロールする必要はありません。結局、サイト速度が低下すると、SEO効果にも影響し、ユーザーエクスペリエンスも損なわれます。したがって、サイトがクローラーによって激しくクロールされていると気づいたら、この操作を検討できます。
関連記事：
具体的な制限方法：リソースの„クロール速度設定“ページを開く。
コメントは終了しました
この記事のコメント機能は終了しています。ご質問がある場合は、他の方法でお問い合わせください。