robots.txtとは_WordPressの正しいrobotsの書き方と生成ツール

新しいサイト運営者にとって、robots.txtファイルが何のためにあるのか必ずしも知っているとは限りません。そのため、robots.txtとサイトSEOの関係もわからないでしょう。

今日はNaibaサイト構築ノートで、robots.txtファイルを正しく作成してサイトSEOを支援する方法をご紹介します。

robots.txtとは何か

robots.txtはrobotsプロトコルとも呼ばれ、国際インターネットコミュニティで広く受け入れられている倫理規範です。

robots.txtはテキストファイルで、サイトのルートディレクトリに配置され、検索エンジンに対してどのページをクロールしてもよいか、どのページをクロールしてはいけないかを伝えます。画像、音楽、動画などの大きなファイルをブロックしてサーバーの帯域幅を節約したり、サイトのデッドリンクをブロックしたりできます。検索エンジンがサイトコンテンツをクロールしやすくし、サイトマップへのリンクを設定してスパイダーがページをクロールしやすくします。

robots.txtファイルの作成方法

テキストエディタ（メモ帳など）を使用して、robots.txtという名前のテキストファイルを作成し、そのファイルをサイトのルートディレクトリにアップロードするだけで作成完了です。

また、robots生成ツールオンライン生成。

robots.txtルールの書き方

単独でrobots.txtファイルを作成するだけでは不十分で、肝心なのは自身のサイトに適したrobotsルールを記述することです。

robots.txtは以下のルールをサポートしています

User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址
Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。
Allow: /cgi-bin/　这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片
Sitemap: 网站地图 告诉爬虫这个页面是网站地图

ここでは、ウェブマスターツールのrobots生成ツールを使用してルールを記述することをお勧めします。より簡単で明確になります。

robots生成ツール

Naiba ヒント： ヒント：Disallow:の後にスラッシュを付けない場合、サイト全体のクロールを許可することを意味します。

WordPressのrobots.txtルール推奨

WordPressのインストール完了後、デフォルトで仮想的なrobots.txtルールファイルが作成されます（つまり、サイトディレクトリ内では見つかりませんが、„网址/robots.txt」でアクセス）

デフォルトのルールは以下の通りです：

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

このルールの意味は、すべての検索エンジンに対し、wp-adminフォルダ以下の内容のクロールを禁止し、/wp-admin/admin-ajax.phpこのファイル。

しかし、サイトSEOとセキュリティの観点から、Naibaはルールをより完全にすることをお勧めします。以下は、Naiba サイト構築ノートの現在のrobots.txtルールです。

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/plugins/
Disallow: /?s=*
Allow: /wp-admin/admin-ajax.php

User-agent: YandexBot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: YaK
Disallow: /

Sitemap: https://blog.naibabiji.com/sitemap_index.xml

上記のルールは、デフォルトのルールに以下の2行を追加したものです：

Disallow: /wp-content/plugins/ 
Disallow: /?s=*

フォルダのクロールを禁止/wp-content/plugins/およびURLが/?s=*のウェブページ。

/wp-content/plugins/はWordPressのプラグインディレクトリであり、クロールされることでプライバシーリスクが生じるのを防ぎます（例えば、一部のプラグインにプライバシー漏洩のバグがあり、それが検索エンジンにクロールされてしまう可能性があります。）

検索結果ページのクロールを禁止し、他者による権威付けの濫用を防ぎます：

URLが/?s=*のウェブページです。これは最近Naibaが発見した、SEOグレーマーケットプロジェクトに悪用される可能性のあるバグです。

/?s=*のURLはWordPressサイトのデフォルトの検索結果ページです。以下の図の通り：

基本的に大多数のWordPressテーマ検索ページのタイトルは„キーワード+サイトタイトル“の組み合わせ形式です。

しかし、これには問題があります。百度がこのようなページをクロールする可能性があるのです。例えば、Naibaのサイトが不運にも悪用されたことがあります。

後のいくつかのルールは、特定の検索エンジンのクロールルールの禁止と、sitemapアドレスリンクです。WordPressでサイトマップを生成するいくつかの方法_sitemapプラグインの推奨