robots.txtの意味/記述方法と変更する方法 | WordPress

以下の記事ではアドセンス管理画面でads.txtエラーが出たときの対処方法のひとつとして、
Googleクローラーがads.txtへアクセスできるように、
robots.txtにてクローラーのads.txtへのアクセスを積極的に許可すると良いと記載しました。
この記事ではrobots.txtの意味/記述方法を今一度紹介し、
あわせて、WordPressにおける変更方法を紹介します。

robots.txtの意味

robots.txtとはGoogleやBingといった検索サイトの検索クローラロボットに
自身のウェブページを検索結果に表示したいかどうか？をお知らせするためのファイルです。

以下に記述ルールと注意点を記載します。

記述ルール

robots.txtには以下のタグを記述することができます。
詳細は以下です。

User-agent

User-agentには対象とするロボットの名前を記述します。

通常は「User-agent: *」とすることで全てのロボットを対象にすることがほとんどです。

メジャーなクローラロボット名は以下です。

• Google: Googlebot
• Bing: bingbot
• 百度(バイドュ): Baiduspider

Disallow

Disallowにはクロールを拒否するページを指定します。

記述例は以下です。

• [サイト全体をクロールを許可] Disallow: /
• [ルートにあるtest.txtをのクロールを拒否] Disallow : /test.txt
• [secretディレクトリ以下の全てをクロール拒否] Disallow : /secret/

Allow

Allowにはクロールを許可するページを指定します。

通常はsitemap.xmlに記載されているページについては自動でクロールされるため、
Allowタグで積極的にクロールを許可する必要はありません。
冒頭で言ったようにads.txtへのクロールを積極的に許可する場合などに使用します。

記述例は以下です。

• [サイト全体をクロールを許可] Allow : /
• [ルートにあるtest.txtをのクロールを拒否] Allow : /test.txt
• [secretディレクトリ以下の全てをクロール拒否] Allow : /secret/

Sitemap

Sitemapにはsitemap.xmlの場所を指定します。

通常はGoogle Search ConsoleやBing webマスターなどのサイト上で
sitemap.xmlのパスを登録するため、
robots.txtでsitemap.xmlの場所を指定することは必須ではありません。

記述例は以下です。

• Sitemap: /sitemap.xml

URL指定時の正規表現

DisallowおよびAllowを使用する際には* と$の正規表現を使用することができます。

* (アスタリスク)は0文字以上の任意の文字列にマッチします。
例えば、Disallow: /test* /とすると以下のような挙動となります。
・/test/ : ブロックされる
・/test1/ : ブロックされる
・/test1/test2/ : ブロクされる

$(ドルマーク)はURL末尾を表し、完全一致をさせたいときに使用します。
例えば、Disallow: /test/$とすると以下のような挙動となります。
・/test/ : ブロックされる
・/test/page.html : ブロックされない
・/test1/ : ブロックされない

注意点

注意点は以下です。

通常のユーザのアクセス制御には無意味

robots.txtはクローラロボットに対してお知らせをするファイルでしかないため、
通常のユーザのアクセス制御には意味を持ちません。

Disallow指定をしても検索結果に乗る場合がある

検索結果に対して表示したくないページにDisallow指定をしても、
必ずしも検索結果に表示されない訳ではありません。

これは最終的に検索結果に載せるかどうか？は
GoogleやBingといった検索サイト(のロボット)が決めるためです。

また、Disallow設定をしていても他サイトからリンクされている場合には、
SEO的に価値のあるページと判断され、
検索結果に表示される可能性が高くなるようです。

変更してから反映されるまでに時間がかかる

robots.txtを変更してもすぐに検索結果に反映されないので注意が必要です。

これは検索結果に反映されるまでは以下の手順が必要であり時間を要すからです。

• クローラロボットが該当ページをクロールする
• クロールした情報がインデックスされる
• インデックスされた情報が実際に検索結果に反映される

WordPressにおける変更方法

WordPressにおけるrobots.txtを変更する方法を紹介します。

WordPressにおいて、robots.txtを変更するためには「WP Robots Txt」というプラグインを使用すると良いです。

WP Robots Txtの導入

WP Robots Txtのプラグインを導入するには以下の2つの方法があります。

• WordPress管理画面のプラグインから「WP Robots Txt」と検索して導入する
• こちらのページからプラグインをダウンロードして導入する。

robots.txtの変更方法

WP Robots Txtを導入したら、早速、robots.txtを変更してみましょう。

robots.txtを変更するためには、WordPress管理画面において設定→表示設定を開きます。

すると、以下のようにrobots.txtを変更することができます。
変更が完了したら、「変更を保存」ボタンを押します。

まとめ

この記事ではrobots.txtの意味/記述方法とWordPressにおける変更方法を紹介しました。

robots.txtを正しく設定してSEOに強いサイトを目指しましょう。