
Googleクローラーがads.txtへアクセスできるように、
robots.txtにてクローラーのads.txtへのアクセスを積極的に許可すると良いと記載しました。
この記事ではrobots.txtの意味/記述方法を今一度紹介し、
あわせて、WordPressにおける変更方法を紹介します。
robots.txtの意味
robots.txtとはGoogleやBingといった検索サイトの検索クローラロボットに自身のウェブページを検索結果に表示したいかどうか?をお知らせするためのファイルです。
以下に記述ルールと注意点を記載します。
記述ルール
robots.txtには以下のタグを記述することができます。タグ | 必須かどうか? | 意味 |
User-agent | 必須 | 対象とするロボットの名前を記述します |
Disallow | 必須ではない | クロールを拒否するページを指定します |
Allow | 必須ではない | クロールを許可するページを指定します |
Sitemap | 必須ではない | sitemap.xmlの場所を指定します |
詳細は以下です。
User-agent
User-agentには対象とするロボットの名前を記述します。通常は「User-agent: *」とすることで全てのロボットを対象にすることがほとんどです。
メジャーなクローラロボット名は以下です。
- Google: Googlebot
- Bing: bingbot
- 百度(バイドュ): Baiduspider
Disallow
Disallowにはクロールを拒否するページを指定します。記述例は以下です。
- [サイト全体をクロールを許可] Disallow: /
- [ルートにあるtest.txtをのクロールを拒否] Disallow : /test.txt
- [secretディレクトリ以下の全てをクロール拒否] Disallow : /secret/
Allow
Allowにはクロールを許可するページを指定します。通常はsitemap.xmlに記載されているページについては自動でクロールされるため、
Allowタグで積極的にクロールを許可する必要はありません。
冒頭で言ったようにads.txtへのクロールを積極的に許可する場合などに使用します。
記述例は以下です。
- [サイト全体をクロールを許可] Allow : /
- [ルートにあるtest.txtをのクロールを拒否] Allow : /test.txt
- [secretディレクトリ以下の全てをクロール拒否] Allow : /secret/
Sitemap
Sitemapにはsitemap.xmlの場所を指定します。通常はGoogle Search ConsoleやBing webマスターなどのサイト上で
sitemap.xmlのパスを登録するため、
robots.txtでsitemap.xmlの場所を指定することは必須ではありません。
記述例は以下です。
- Sitemap: /sitemap.xml
URL指定時の正規表現
DisallowおよびAllowを使用する際には* と$の正規表現を使用することができます。* (アスタリスク)は0文字以上の任意の文字列にマッチします。
例えば、Disallow: /test* /とすると以下のような挙動となります。
・/test/ : ブロックされる
・/test1/ : ブロックされる
・/test1/test2/ : ブロクされる
$(ドルマーク)はURL末尾を表し、完全一致をさせたいときに使用します。
例えば、Disallow: /test/$とすると以下のような挙動となります。
・/test/ : ブロックされる
・/test/page.html : ブロックされない
・/test1/ : ブロックされない
注意点
注意点は以下です。通常のユーザのアクセス制御には無意味
robots.txtはクローラロボットに対してお知らせをするファイルでしかないため、通常のユーザのアクセス制御には意味を持ちません。
Disallow指定をしても検索結果に乗る場合がある
検索結果に対して表示したくないページにDisallow指定をしても、必ずしも検索結果に表示されない訳ではありません。
これは最終的に検索結果に載せるかどうか?は
GoogleやBingといった検索サイト(のロボット)が決めるためです。
また、Disallow設定をしていても他サイトからリンクされている場合には、
SEO的に価値のあるページと判断され、
検索結果に表示される可能性が高くなるようです。
変更してから反映されるまでに時間がかかる
robots.txtを変更してもすぐに検索結果に反映されないので注意が必要です。これは検索結果に反映されるまでは以下の手順が必要であり時間を要すからです。
- クローラロボットが該当ページをクロールする
- クロールした情報がインデックスされる
- インデックスされた情報が実際に検索結果に反映される
WordPressにおける変更方法
WordPressにおけるrobots.txtを変更する方法を紹介します。WordPressにおいて、robots.txtを変更するためには「WP Robots Txt」というプラグインを使用すると良いです。
WP Robots Txtの導入
WP Robots Txtのプラグインを導入するには以下の2つの方法があります。- WordPress管理画面のプラグインから「WP Robots Txt」と検索して導入する
- こちらのページからプラグインをダウンロードして導入する。
robots.txtの変更方法
WP Robots Txtを導入したら、早速、robots.txtを変更してみましょう。robots.txtを変更するためには、WordPress管理画面において設定→表示設定を開きます。

変更が完了したら、「変更を保存」ボタンを押します。

まとめ
この記事ではrobots.txtの意味/記述方法とWordPressにおける変更方法を紹介しました。robots.txtを正しく設定してSEOに強いサイトを目指しましょう。