SEO
robots.txtとは
読み:ろぼっつてきすと / 英:robots.txt
ひと言でいうと
robots.txtは、検索エンジンのロボットに、サイトのどこを読みに来てよいか・来ないでほしいかを伝える、サイトの一番上に置くファイルです。
くわしく
https://自社のドメイン/robots.txt に置き、「Disallow: /admin/」のように、ロボットに読みに来てほしくない場所を書きます。サイトマップの場所を書いておくこともできます。
なぜ大事なのか
管理画面や、検索結果を並べ替えただけのページなど、読みに来る必要のない場所を伝えることで、検索エンジンが大事なページを読むことに時間を使えるようになります。
よくある誤解
robots.txt は「読みに来ないで」という指定で、「検索結果に出さないで」という指定ではありません。ほかのページからリンクされていると、中身を読まないままURLだけが登録されることがあります。検索結果から外したいときは noindex を使います。また、1行の書き間違いで、サイト全体を読みに来られなくしてしまうこともあります。
確認と改善のポイント
- 公開前に、制作中の「Disallow: /」(すべて止める指定)が残っていないかを確かめる
- 検索結果から外したいページは、robots.txt ではなく noindex で止める
- Search Console の「設定」→「robots.txt」で、読み込まれている内容を確かめる
この悩みに役立つコラム
robots.txtについて調べている方が、次によく読んでいる記事です。具体的な手順や、ケースを紹介しています。
関連する用語
SEOnoindex(ノーインデックス)noindexは、「このページは検索結果に出さないでほしい」と検索エンジンに伝える指定です。SEOインデックス(検索エンジンへの登録)インデックスは、検索エンジンがページの内容を読み取り、検索結果に表示できるようにデータベースへ登録することです。SEOクロールクロールは、検索エンジンのロボット(クローラー)がページを読みに来て、文章・画像・リンクなどを取得することです。SEOサイトマップ(XMLサイトマップ)サイトマップは、サイトの中のページのURLを一覧にして、検索エンジンに伝えるためのファイルです。一般に sitemap.xml という名前で置きます。
監修:佐保 祐大 / 更新 2026.11.17