SEO

robots.txtとは

読み:ろぼっつてきすと / 英:robots.txt
ひと言でいうと

robots.txtは、検索エンジンのロボットに、サイトのどこを読みに来てよいか・来ないでほしいかを伝える、サイトの一番上に置くファイルです。

具体的なやり方・ケースはコラムで2本の記事を見る ↓

くわしく

https://自社のドメイン/robots.txt に置き、「Disallow: /admin/」のように、ロボットに読みに来てほしくない場所を書きます。サイトマップの場所を書いておくこともできます。

なぜ大事なのか

管理画面や、検索結果を並べ替えただけのページなど、読みに来る必要のない場所を伝えることで、検索エンジンが大事なページを読むことに時間を使えるようになります。

よくある誤解

robots.txt は「読みに来ないで」という指定で、「検索結果に出さないで」という指定ではありません。ほかのページからリンクされていると、中身を読まないままURLだけが登録されることがあります。検索結果から外したいときは noindex を使います。また、1行の書き間違いで、サイト全体を読みに来られなくしてしまうこともあります。

確認と改善のポイント

  • 公開前に、制作中の「Disallow: /」(すべて止める指定)が残っていないかを確かめる
  • 検索結果から外したいページは、robots.txt ではなく noindex で止める
  • Search Console の「設定」→「robots.txt」で、読み込まれている内容を確かめる

出典:robots.txt の概要とガイド(Google 検索セントラル)

この悩みに役立つコラム

robots.txtについて調べている方が、次によく読んでいる記事です。具体的な手順や、ケースを紹介しています。

関連する用語

監修:佐保 祐大 / 更新 2026.11.17
CONTACT

伸びない理由を、一緒に見つけましょう。

依頼内容が固まっていなくても構いません。今の数字と状況を、そのまま聞かせてください。担当者からお返事します。

  • 紹介優先
  • 国内外対応
  • 2営業日以内に返信
ご相談はこちら →