サイトのトラフィックに大きな増加がないのにサーバーが遅い場合、どこかに問題がないか検討する必要があります。通常、サイトのアップグレードや技術的変更がない場合、問題は外部にあります。例えば、サイトがスクレイピングされている、または検索エンジンが過剰にクロールしているなどです。
Naiba がサーバー監視情報を確認したところ、CPU 使用率が非常に高いことがわかりました。下図参照。
ウェブサイトのログを分析した結果、Bingのボットによるクロールが頻繁すぎることが判明したため、これを解決する必要があります。
解決策は、Bingのクロール頻度を制限することです。。
方法1：管理者ダッシュボードで設定
Bing Webmasterツールに登録済みの場合、ダッシュボードでCrawl Controlメニューを見つけ、右側でクロール頻度を設定できます。
方法2：robots.txtファイルで設定
robots.txtが何かわからない場合は、まずこちらをお読みください：robots.txtとは_WordPressの正しいrobotsの書き方と生成ツール
robots.txtにcrawl-delayというパラメータを追加することができます。
User-agent: * Crawl-delay: 1
上記のコードは、すべての検索エンジンのクロール頻度を「遅い」に制限します。
Crawl-delay を設定しない場合、検索エンジンが自らクロール頻度を決定します。
この値は 1、5、10 に設定でき、それぞれ「遅い」「非常に遅い」「極めて遅い」に対応します。
Googleや百度などの他の検索エンジンの場合も、それぞれのウェブマスターツールでクロール頻度を設定できますし、robots.txtファイルで設定することもできます。比較すると、robots.txtの方が効果が現れるまでに時間がかかることがあります。