ウェブサイトのトラフィックに明らかな増加がない状況で、ウェブサイトサーバーが非常に重いと感じた場合、どこか問題が発生している可能性を考慮する必要があります。通常、ウェブサイトにアップグレードや技術的変更を加えていない場合、問題は外部にあります。例えば、サイトがクロールされたり、検索エンジンによって激しくクロールされたりしている可能性があります。 Naibaは最近、サーバーの監視情報を見ていたところ、サーバーのCPU使用率が非常に高いことに気づきました。下図の通りです：
ウェブサイトのログを分析した結果、Bingのボットによるクロールが頻繁すぎることが判明したため、これを解決する必要があります。
解決策は、Bingのクロール頻度を制限することです。
方法1：管理者ダッシュボードで設定
Bingウェブマスターツールに登録済みの場合、ダッシュボードでCrawl Controlメニューを見つけ、右側でクロール頻度を設定できます。
方法2：robots.txtファイルで設定
robots.txtが何かわからない場合は、まずこちらをお読みください：
robots.txtとは何か_WordPressにおける正しいrobots.txtの書き方と生成ツールrobots.txt に crawl-delay パラメータを追加できます。
User-agent: *
Crawl-delay: 1
上記のコードは、すべての検索エンジンに対してクロール頻度を「遅い」に制限することを意味します。 Crawl-delay を設定しない場合、検索エンジンが独自にクロール頻度を決定します。 この値は 1、5、10 と設定でき、それぞれ遅い、非常に遅い、極めて遅いに対応します。
他の検索エンジン、例えば Google、百度などについては、それぞれのウェブマスターツール内でクロール頻度を設定できます。robots.txt ファイルで設定することも可能で、比較すると、robots.txt の方が有効になるまで時間がかかります。
ウェブサイトのログを分析した結果、Bingのボットによるクロールが頻繁すぎることが判明したため、これを解決する必要があります。解決策は、Bingのクロール頻度を制限することです。
Bingウェブマスターツールに登録済みの場合、ダッシュボードでCrawl Controlメニューを見つけ、右側でクロール頻度を設定できます。
コメントは閉鎖されました
この記事のコメント機能は閉鎖されています。ご質問がある場合は、他の方法でお問い合わせください。