robots.txtとは、Webサイトのルートディレクトリに配置するテキストファイルで、検索エンジンのクローラーに対してサイト内のどのページをクロールしてよいか、またはクロールすべきでないかを指示するファイルです。
目次
重要性
robots.txtの設定を誤ると、重要なコンテンツがクロールされずインデックスから漏れたり、逆に非公開にすべきページがインデックスされてしまったりする可能性があります。テクニカルSEOの基本として正しい設定が不可欠です。
シチュエーション
robots.txtファイルはサイトのルートディレクトリに配置し、クロールを許可するパスと禁止するパスを明示的に記述します。Google Search Consoleのrobots.txtテスターを使って設定の正確性を確認し、意図しないブロックがないかチェックします。
