インデックスのスイッチではなく、クローラーへの案内として使います。
robots.txt はクロールを止められますが、Google がすでに知っているURLを確実にGoogleから消すものではありません。
robots.txt は通常 /robots.txt にあるプレーンテキストのファイルです。クローラーに、取得してよいパスと取得しないでほしいパスを伝えます。
検索エンジンは通常これを尊重しますが、プライバシー対策ではなく、検索結果からページを消す確実な方法でもありません。
インデックスさせたくないページには、状況に応じて noindex、canonical、削除、リダイレクト、パスワード保護、Search Console での削除なども必要です。
robots.txt のよくある質問 🙋
用語集に戻る。
robots.txt とは何ですか？
robots.txt は、サイトのクローラー向け指示を書くプレーンテキストファイルです。
robots.txt はどこにありますか？
通常はドメインのルート、たとえば https://example.com/robots.txt にあります。
robots.txt でGoogleからページを消せますか？
確実ではありません。クロールは止められますが、検索から消すには状況に応じて noindex、削除、リダイレクト、パスワード保護、Search Consoleでの削除が必要です。
robots.txt に sitemap を入れるべきですか？
はい。XMLサイトマップ を robots.txt に書いておくと、クローラーが見つけやすくなります。
robots.txt で悪質なボットを止められますか？
従うことを選ぶボットだけです。セキュリティや不正対策には、サーバー、ファイアウォール、アクセス制御のルールが必要です。
robots.txt が役立っているのか、違うものを止めているのか迷っていますか？
robots.txt のURLと気になるページを送ってください。問題がクロール、インデックス、canonical、サイト構造のどこにあるか確認できます。