robots.txtは、検索エンジンのクローラーがサイト内のどのURLへアクセスしてよいかを伝えるためのファイルです。検索結果からページを隠す仕組みと同じではありません。
設定を誤ると、確認してほしいページへのアクセスまで妨げるおそれがあります。目的、対象URL、現在の設定を確認してから変更します。
robots.txtの役割を理解する
Google Search Centralの公式資料では、robots.txtはクローラーにアクセスしてよいURLを伝えるものと説明されています。
同じ資料は、Googleの検索結果へウェブページが表示されないようにするための仕組みではないとも説明しています。非公開にしたい情報の保護手段として使いません。
クローラーのアクセス管理と、閲覧者の認証、検索結果への表示管理は目的が異なります。解決したい問題を先に分けます。
ファイルの場所と管理者を確認する
作成方法の公式資料では、robots.txtはサイトのルートに置くと案内されています。
複数のドメインや確認環境がある場合は、それぞれのURLとファイルを確認します。一つの設定がすべての環境へ自動で適用されると推測しません。
- 対象となるドメインと環境
- 現在のrobots.txtの内容
- 編集できる管理者と確認者
- 変更理由と対象URLの一覧
制御したいURLを具体化する
「不要なページを止める」だけでは範囲が曖昧です。対象URL、ページの役割、サイト内リンク、公開状態を確認します。
似た文字列を持つ別のURLまで対象にならないかを見ます。管理画面、画像、動作に必要なファイルをまとめて止めると、意図しない影響が出る場合があります。
検索結果への表示を調整したい場合は、robots.txtだけで判断しません。目的に合う方法を検索サービスの現在の公式資料で確認します。
変更前に現在の状態を保存する
変更前のファイル、確認日時、対象URLの状態を保存します。制作会社や別の担当者が管理している場合は、同時編集を避けます。
設定文をコピーするときは、対象サイトと目的が同じかを確かめます。他社サイトの設定は、そのまま自社へ使える根拠になりません。
範囲を区切って反映する
変更内容を一度に増やさず、対象と理由を一行ずつ確認します。公開後に意図したファイルが配信されているかを見ます。
- 目的と対象URLを一覧にする
- 現在のファイルを保存する
- 公式資料と記述内容を照合する
- 担当者の確認後に反映する
- 対象ページと主要導線を再確認する
確認ツールを使う場合は、表示された結果だけでなく、入力したURLと検査日時を記録します。製品の画面や操作は変わるため、現在の公式案内を参照します。
サイトマップや公開設定を同時に変える場合は、各作業の目的を分けます。robots.txtの変更だけで結果を説明せず、関連する設定と確認結果を同じ記録へ残します。
変更記録を運用へ残す
robots.txtは、サイト改修や環境変更の影響を受けます。新しいページや機能を公開するときに、設定との関係を確認する工程を入れます。
- アクセス管理の目的を説明できる
- 検索結果から隠す設定と混同していない
- 対象ドメインとURLを確認した
- 変更前のファイルを保存した
- 担当者と確認日を記録した
