robots.txt
robots.txt はサイトのルートに置く小さなファイルで、クローラーがサイトのどの部分を取得してよいかを伝えます。
まずはメールで。robots.txt のURLと気になるページを送ってください。次に見るべき点を具体的に返します。
インデックスのスイッチではなく、クローラーへの案内として使います。
robots.txt はクロールを止められますが、Google がすでに知っているURLを確実にGoogleから消すものではありません。
robots.txt は通常 /robots.txt にあるプレーンテキストのファイルです。クローラーに、取得してよいパスと取得しないでほしいパスを伝えます。
検索エンジンは通常これを尊重しますが、プライバシー対策ではなく、検索結果からページを消す確実な方法でもありません。
インデックスさせたくないページには、状況に応じて noindex、canonical、削除、リダイレクト、パスワード保護、Search Console での削除なども必要です。
robots.txt で制御できること 🧭
- 特定パスのクロール
- XMLサイトマップ 行によるサイトマップの発見
User-agent、Allow、Disallowを使ったクローラー別のルール
robots.txt は技術的な SEO の一部です。整ったXMLサイトマップ、canonical、そして順位を取りたいページをクロール可能にする設計と合わせて使うと効果的です。
よくある失敗は、robots.txt でページをブロックしながら、そのページに noindex を置くことです。Google がページをクロールできなければ、noindex を見られない可能性があります。
robots.txt のよくある質問 🙋
robots.txt とは何ですか？
robots.txt は、サイトのクローラー向け指示を書くプレーンテキストファイルです。
robots.txt はどこにありますか？
通常はドメインのルート、たとえば https://example.com/robots.txt にあります。
robots.txt でGoogleからページを消せますか？
確実ではありません。クロールは止められますが、検索から消すには状況に応じて noindex、削除、リダイレクト、パスワード保護、Search Consoleでの削除が必要です。
robots.txt に sitemap を入れるべきですか？
はい。XMLサイトマップ を robots.txt に書いておくと、クローラーが見つけやすくなります。
robots.txt で悪質なボットを止められますか？
従うことを選ぶボットだけです。セキュリティや不正対策には、サーバー、ファイアウォール、アクセス制御のルールが必要です。
用語集に戻る。
robots.txt が役立っているのか、違うものを止めているのか迷っていますか？
robots.txt のURLと気になるページを送ってください。問題がクロール、インデックス、canonical、サイト構造のどこにあるか確認できます。