robots.txtってなに？？

Webサイトを担当している人やSEO対策をしている人には、robots.txtという言葉をよく目にしますよね。

私も、つい3か月前まではrobots.txtがどういう効果をもたらすのか一切知りませんでした。

実は、SEO対策をする上で知るべき重要な言葉になります。

なぜなら、Google（検索エンジン）のクローラー（ロボット）を円滑に効率よくWebサイトを回遊してもらえるための手法だからです。

今回は、robots.txtについて小学生でもわかるように解説します。

ぜひ、参考にしてください。

1：robots.txtとは

robots.txtとは、Google（検索エンジン）のクローラー（ロボット）がWebサイトにアクセスしたときに、アクセスを許可するページと許可しないページを指定することができる記述になります。

さらに砕けた言い方をするなら、、、

検索エンジンのロボットに「大事なページだけ見て」と命令することができます。

SEO対策をする上で、なぜ重要になってくるのか？その答えは、クロールが最適化されるからです。

• クローラーはリンクを辿ってWebサイトに訪問する
• ドメインごとにクローラーは回遊する数が決まっている

クローラーの2つの特徴から、robots.txtを効果的に記述することでSEO対策になることがわかりますよね。

1-1：クローラーはリンクを辿ってWebサイトに訪問する

クローラーは、どのようにしてWebサイトにたどり着くのか？

• 内部リンク
• 外部リンク（被リンク）

2つのリンクを辿ってクローラーはWebサイトのページに訪問します。Webサイト内に内部リンクを多く設置しているページには、クローラーも多く訪問してくれるのです。

1-2：ドメインごとにクローラーは回遊する数が決まっている

Webサイト（ドメイン）ごとにクローラーが回遊できるページ数に限りがあることを知っていましたか？

限られたページ数しか回遊できないなら、「大事なページだけ見て」と考えますよね？そんなときにrobots.txtを記述すれば、不必要なページの回遊を避けることができます。

2：robots.txtの書き方と設定

robots.txtを記述して作成するのは、誰でも簡単に書くことができます。

• User-agent
• Disallow
• Allow
• Sitemap

記述する内容は主に4つあり、クロールしてほしいページとクロールしてほしくないページを指定するだけです。

指示をする単語	必須orどちらでも	単語の意味
User-agent	必須	指示をするロボットを指定
Disallow	どちらでも	アクセスを拒否するページを指定
Allow	どちらでも	アクセスを許可するページを指定
Sitemap	どちらでも	sitemap.xmlを入力する

どんなページが不必要なの？と疑問に思っている人は、「ユーザーにとって無価値のコンテンツ」という判断基準で決めましょう。

2-1：User-agent

User-agentとは、指示をするロボットを指定する役割になります。

★User-agentの例

• User-agent: *→すべてのクローラーに指示をするという意味
• User-agent: GoogleBot→Googlebotだけに指示をするという意味
• User-agent: BingBot→BingBotだけに指示をするという意味

クローラーの名前がわからない場合は、「クローラー 名称」と検索すると参考Webサイトがいくつか表示されます。

参考Webサイト：よく見かけるクローラの説明。当サイトによく巡回にくるクローラ Top 11 より。

2-2：Disallow

Disallowとは、アクセスを拒否するページを指定する役割になります。

★Disallowの例

• Disallow: /→すべてのページをアクセス拒否するという意味
• Disallow: a→aのページだけアクセス拒否するという意味
• Disallow:→「アクセス拒否はなし」という意味

ユーザーが見て不必要なコンテンツ（サイトマップや404エラー）には、Disallowを記述しましょう。

2-3：Allow

Allowとは、アクセスを許可するページを指定する役割になります。

★Allowの例

• Allow: /a/b→aのディレクトリにあるbのページだけアクセスを許可するという意味

基本的にDisallowでアクセス拒否してなければ、Allowを記述する必要はありません。

2-4：Sitemap

Sitemapとは、sitemap.xmlを格納するための場所です。記述すると、クローラーがアクセスしやすくなり、Webサイトのクローラビリティを向上することができます。

★Sitemapの例

• Sitemap : https://buzztter.co.jp/sitemap.xml
• Sitemap : https://buzztter.co.jp/index_sitemap1.xml

ファイル名を必ずしも「Sitmap.xml」にする必要はありません。その他の名称でも機能します。

3：robots.txtの動作を確認する方法

robots.txtの記述が完成したら、GoogleのSearch Consoleで動作を確認することができます。

robots.txtテスターの使い方をわかりやすく手順に沿って解説しましょう。

3-1：robots.txtテスターの使い方

①Search Consoleにログイン

公式サイト：Google Search Console

②ダッシュボードのクロール→robots.txtテスターをクリック

③robots.txtを記述したら「送信」をクリック

あとは、robots.txtの記述が反映されるのを待つだけです。

4：robots.txtについて5つの注意点

robots.txtについて注意しておかなければならない点が5つあります。

• robots.txtは完璧ではない
• 反映されるまでに時間がかかる
• ユーザーはアクセスできる
• ユーザーはrobots.txtを見れる
• 重複コンテンツには使用しない

Webサイトの担当者やSEO対策をしている人は、必ずrobots.txtの注意点を把握しておくべきです。

4-1：robots.txtは完璧ではない

robots.txtを記述して必ずアクセスを拒否できるわけではありません。クローラーの中にはrobots.txtの記述を無視してアクセスを続けることもあります。

4-2：反映されるまでに時間がかかる

robots.txtを記述しても即座に反映されるわけではありません。反映されるまでに数分から数時間かかる場合があります。

4-3：ユーザーはアクセスできる

robots.txtを記述してもユーザーはアクセスすることができます。あくまでもクローラーに命令をしているだけと認識してください。

4-4：ユーザーはrobots.txtを見れる

ユーザーはrobots.txtの記述を見ることができます。見られたくない情報や非公開にしたい場合は、パスワードや認証設定をして対処してください。

4-5：重複コンテンツには使用しない

重複コンテンツにrobots.txtを記述しないでください。重複コンテンツにrobots.txtを記述してしまうと、コンテンツの評価も0になってしまいます。

まとめ

robots.txtはSEO対策をする上で、かかせない内部対策です。

基本的には、アクセスしてほしくないページ（アクセスする必要がないページ）がある場合に使用してください。

効果的にrobots.txtを使用することで、クローラビリティを劇的に向上することができます。

他よりも優れたWebサイトにするためにも絶対に覚えておきましょう。