私たちがサイトにSEO最適化の際、非常に重要な作業の一つが、スパイダーのクロール状況を分析することです。もしスパイダーがあなたのサイトを全くクロールしていないなら、確実にインデックス登録はされません。どうやってスパイダーのクロールログを観察するのでしょうか？Naibaはここで、このSpider AnalyserというWordPressプラグインをお勧めします。シンプルで使いやすいです。
スパイダーとは何ですか？
本記事で言及する「スパイダー」とは、各種検索エンジンのクローラーロボットを指します。なぜなら、彼らはあなたのサイトのリンクを一つ一つたどってクロールするため、私たちは皆これを検索エンジンスパイダーと呼んでいます。
ウェブクローラー（ウェブスパイダー、ウェブロボットとも呼ばれ、FOAFコミュニティではより頻繁にウェブチェイサーと呼ばれます）は、一定のルールに従って、自動的にワールドワイドウェブの情報を収集するプログラムまたはスクリプトです。その他、あまり使われない名前として、アリ、自動インデクサー、シミュレータ、ワームなどがあります。
なぜスパイダーの記録を観察するのですか？
インターネット上にはさまざまなウェブクローラーが存在します。その中には、検索エンジンのスパイダー（例：Baidu、Bing、Googleのボットロボット）や、多くのスパムクローラー（例：MJ12Bot、AhrefsBot、MauiBotなど）が含まれます。
スパムクローラーはサーバーリソースを余分に消費します。小さなサーバーではスパムクローラーによってダウンしてしまい、サイトにアクセスできなくなることもあります。そのため、サイトにスパムクローラーがアクセスしていないか常に監視し、検索エンジンのクローラーがページを取得しているかどうか、その頻度はどうかを確認し、それに基づいてSEO調整を行う必要があります。
Spider Analyser プラグイン紹介
Spider Analyserは、WordPressサイトのさまざまな検索エンジンスパイダーのクロールログを追跡し、詳細なスパイダークロールデータ統計、スパイダー行動分析、スパイダークロール分析、偽スパイダー遮断などを行うためのプラグインです。
このプラグインには無料版とPro版の2つがあります。無料版はWordPress管理画面のプラグインライブラリから直接検索してインストールできます。本記事でデモンストレーションする機能の一部はPro版のみで利用可能です。
スパイダー統計では、あなたのサイトに最も多くアクセスする検索エンジンやクローラーを確認できます。
上の図からわかるように、Naibaサイト構築ノートでは、毎日Googleのクロールが最も多く、2番目はMauiBotです。調べてみるとスパムクローラーなので、後で直接ブロックします。サーバーリソースを無駄にし、トラフィックももたらしません。
ここから、サイト上のどのURLが最も多くスパイダーにクロールされているかを見ることができます。これらのページに、新しく公開した記事や権重を上げたい記事への内部リンクを適切に挿入し、スパイダーを誘導してクロール・収集させることができます。
人気記事も同様に、他の記事に内部リンクを挿入してクローラーを誘導できます。
また、インデックス状況を確認し、未インデックスの記事を見つけたら、記事の品質をチェックして検索エンジンにクロールを送信できます。
URL数の後ろのアイコンをクリックすると、具体的なクロール状況を確認できます。例えば上の図では、coccocbotというクローラーがサイトのsitemapをクロールしていることがわかります。
Naibaがネットで調べたところ、この検索エンジンはベトナムのものです。中国語サイトにとって、ベトナムの検索エンジンのクロールは無意味なので、直接ブロックできます。このブロックはサーバー上で直接行い、robots.txtは使いません。シンプルで効果的です。
スパイダーリストでは、スパイダー一覧、スパイダーIPセグメント、偽スパイダー疑い、スパイダーブロックを確認できます。
上の図のSemrushBotは有名なSEOツール会社のボットです。サイトを完全に分析されたくない場合は、直接クロールをブロックできます。このIPが本当に偽装ボットかどうかは判断が難しいですが、IP検索では上海IPと表示されています。公式のスパイダーサイトで公式IPセグメントを確認するのが最善です。
アクセスパスは、あなたのサイトのスパイダーアクセス状況を図示することができます。もしあなたがECサイトを運営しているなら、製品ページのクロール比率に注目し、それに応じた最適化を行うべきです。
記事クロール機能では、インデックス状況、クローラーアクセス数、入出力リンク数を確認できます。
ここでは、クロールされているがインデックスされていないページに注目し、入出力リンクを挿入してリンク構築を行うか検討します。
Spider Analyser プラグイン ダウンロード
Spider Analyserには無料版とプロ版があり、以下は2つのバージョンの機能の違いです。
無料版プラグインはWordPress管理画面のプラグインライブラリから検索してインストールできます。
プロ版は以下のリンクから購入し、ダウンロードしてアップロードインストールしてください。