robots.txtの設定ミスでサイト全体が検索結果から消えた話と正しい書き方

導入：突然サイトが検索結果から消えた

男の子

「博士！大事件だぜ！うちのサイトがGoogleの検索結果から完全に消えたんだ！昨日まで1ページ目に出てたのに！」

博士

「ふむ、それは深刻じゃな。最近、robots.txtを変更しなかったかね？」

男の子

「あっ…ステージング環境の設定をうっかりそのまま本番にデプロイしたかも…」

女の子

「まさか Disallow: / のまま公開したんじゃないでしょうね…」

1. robots.txtのミスで起きる「致命的な事故」

博士

「robots.txtはたったテキストファイル1つじゃが、間違えるとサイト全体のSEOを破壊する威力があるのじゃ。」

事故パターン1: 全ページをブロック

# 💀 絶対にやってはいけない設定
User-agent: *
Disallow: /

女の子

「これだとGooglebotを含む全てのクローラーに『全ページの巡回を禁止』と宣言してしまうわ。ステージング環境ではよく使うけど、本番に出したらアウトよ。」

robots.txtのミスで起きる実害

検索インデックスから全削除：数日でGoogleの検索結果からサイトが消える
復旧に数週間〜数ヶ月：一度消えたインデックスの復旧は時間がかかる
広告収益の喪失：検索流入がゼロになりAdSense収益も激減
画像・CSSのブロック：リソースファイルをブロックするとモバイルフレンドリー判定に失敗

2. 正しいrobots.txtの基本と実践的な書き方

博士

「基本的なルールはシンプルじゃ。許可したいものだけを明示的に開放するのではなく、ブロックしたいものだけを指定するのがベストプラクティスなのじゃ。」

推奨される基本構成

# ✅ 推奨される本番用robots.txt
User-agent: *
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /private/
Disallow: /tmp/

# サイトマップの場所を明示
Sitemap: https://example.com/sitemap.xml

男の子

「Sitemapの指定も入れるのか！これでクローラーにサイト構造を教えられるんだな。」

女の子

「そうよ。Sitemapを指定することで、クローラーが効率的にサイトを巡回できるの。特に新しいページを追加したときにインデックスされやすくなるわ。」

当サイトのrobots.txt生成ツールを使えば、ブロックしたいパスとサイトマップURLを入力するだけで正しいrobots.txtを自動生成できます。構文ミスを防ぎ、安全なrobots.txtを簡単に作成しましょう。

3. プロが教える「一歩先の」テクニカルTips

博士

「robots.txtにはいくつか知っておくべき重要な仕様があるのじゃ。」

Tips 1: robots.txtのテスト方法

Google Search Consoleの「robots.txtテスター」を使えば、特定のURLがブロックされているかを事前にチェックできます。デプロイ前に必ずテストする習慣をつけましょう。

Tips 2: Crawl-delay はGooglebotには効かない

Crawl-delay ディレクティブはBingやYandexには有効ですが、Googlebotは無視します。 Googleのクロール頻度を調整したい場合は、Search Consoleの「クロール頻度の設定」を使用してください。

Tips 3: CIパイプラインで本番チェックを自動化

デプロイパイプラインに「本番環境のrobots.txtに Disallow: / が含まれていないか」をチェックするステップを追加するのがプロの対策です。たった1行のチェックで、壊滅的な事故を未然に防げます。

🚨 現場の注意点：robots.txtはあくまで「お願い」

robots.txtはクローラーへの「お願い」であり、強制力はありません。悪意のあるボットは無視してクロールしてきます。機密情報のあるページは、robots.txtだけに頼るのではなく、認証・認可で確実に保護してください。「robots.txtでブロック = セキュリティ対策」ではないことを忘れないでください。

パソコン博士

「robots.txtは地味じゃが、SEOの生命線とも言えるファイルじゃ。設定に不安があるなら、まずはrobots.txt生成ツールで正しいフォーマットを確認してみるのじゃ！」