SEOスパイダーログ分析ヘルパー：Spider Analyserプラグインの紹介とダウンロード

私たちがサイトにSEO最適化の際、非常に重要な作業の一つが、スパイダーのクロール状況を分析することです。もしスパイダーがあなたのサイトを全くクロールしていないなら、確実にインデックス登録はされません。どうやってスパイダーのクロールログを観察するのでしょうか？Naibaはここで、このSpider AnalyserというWordPressプラグインをお勧めします。シンプルで使いやすいです。

スパイダーとは何ですか？

本記事で言及する「スパイダー」とは、各種検索エンジンのクローラーロボットを指します。なぜなら、彼らはあなたのサイトのリンクを一つ一つたどってクロールするため、私たちは皆これを検索エンジンスパイダーと呼んでいます。

ウェブクローラー（ウェブスパイダー、ウェブロボットとも呼ばれ、FOAFコミュニティではより頻繁にウェブチェイサーと呼ばれます）は、一定のルールに従って、自動的にワールドワイドウェブの情報を収集するプログラムまたはスクリプトです。その他、あまり使われない名前として、アリ、自動インデクサー、シミュレータ、ワームなどがあります。

なぜスパイダーの記録を観察するのですか？

インターネット上には様々なウェブクローラーが溢れており、その中には検索エンジンのスパイダー、例えばBaidu、Bing、Googleなどのボットロボットが含まれます。また、多くのスパムボットクローラー、例えばMJ12Bot、AhrefsBot、MauiBotなどもあります。スパムクローラーはサーバーリソースを余分に消費し、小さなサーバーだとスパムクローラーによってクロールされ、ダウンしてしまい、サイトがアクセス不能になる可能性があります。そのため、私たちは常にサイトがスパムクローラーにクロールされていないか観察し、また検索エンジンのクローラーがページをクロールしに来ているか、その頻度はどうか、を常に注視し、それに応じたSEO調整を行う必要があります。

Spider Analyser プラグイン紹介

Spider Analyserは、WordPressサイトの各種検索エンジンスパイダーのクロールログを追跡し、詳細なスパイダークロールデータ統計、スパイダー行動分析、スパイダークロール分析、および偽スパイダー遮断などを行うためのプラグインです。このプラグインは無料版とPro版の2つのバージョンに分かれており、無料版はWordPress管理画面のプラグインライブラリから直接検索してインストールできます。本記事で紹介する一部の機能はPro版のみが持っています。スパイダー統計では、あなたのサイトを最も多くクロールしている検索エンジンまたはウェブクローラーがどれかを見ることができます。上の図から、Naiba サイト構築ノートでは毎日Googleのクロール回数が最も多く、2位はMauiBotであることがわかります。検索してみると、これはスパムクローラーであることがわかりました。後で直接ブロックします。サーバーリソースを浪費するだけで、トラフィックをもたらしません。ここから、サイト上のどのURLが最も多くスパイダーにクロールされているかを見ることができます。これらのページに、新しく公開した記事や権重を上げたい記事への内部リンクを適切に挿入し、スパイダーを誘導してクロール・収集させることができます。人気記事も同様に、他の記事に内部リンクを挿入してスパイダーを誘導できます。そして、インデックス登録ステータスも確認でき、未登録の記事を発見した場合、記事の品質をチェックし、検索エンジンにクロールを送信することができます。URL数の後ろのアイコンをクリックすると、具体的なスパイダーのクロール状況を確認できます。例えば上の図では、coccocbotという名前のスパイダーがサイトのsitemapをクロールしたことがわかります。そしてNaibaがネットで調べたところ、この検索エンジンはベトナムのものでした。私たちの中国語サイトにとって、ベトナムの検索エンジンのクロールは全く意味がありません。そのため、直接ブロックできます。このブロックはrobots.txtを介さず、サーバー上で直接行われるもので、シンプルで強力で効果的です。スパイダーリストでは、スパイダー一覧、スパイダーIP範囲、疑わしい偽スパイダー、スパイダーブロックを見ることができます。上の図のこのSemrushBotは、有名なSEOツール会社のロボットです。もしあなたが自分のサイトをあまりにも徹底的に分析されたくないなら、そのクロールを直接ブロックできます。そして、このIPが本当に偽装されたロボットかどうかは判断が難しいです。IP検索では上海のIPと表示されていますが、スパイダーの公式サイトで公式のIP範囲を検索して判断するのが最善です。アクセスパスは、あなたのサイトのスパイダーアクセス状況を図示することができます。もしあなたがECサイトを運営しているなら、製品ページのクロール比率に注目し、それに応じた最適化を行うべきです。記事クロール機能では、インデックスされているかどうか、スパイダーのアクセス量、インバウンド/アウトバウンドリンクの数を確認できます。 ここでは、スパイダーがクロールしているがインデックスされていないページと、リンク構築のためにインバウンド/アウトバウンドリンクを挿入するかどうかを検討することに重点を置きます。

Spider Analyser プラグイン ダウンロード

Spider Analyserには無料版とプロ版があり、以下は2つのバージョンの機能の違いです。無料版プラグインは、WordPress管理画面のプラグインライブラリから直接検索してインストールできます。 プロ版は以下のリンクから購入後、ダウンロードしてアップロード・インストールしてください。ダウンロードリンク