特定のページを検索されないようにする方法

お客様からホームページの更新依頼があり、さらに「そのページを検索エンジンに引っかからないようにしてほしい」と頼まれました。

そこで、robots.txtというファイルを作成して、そのファイルに検索されたくないページのURLを記述して、サーバーにアップロードしました。

ところが、robots.txtファイルの内容を読み込まれる前に、更新したページが読み込まれてしまったらしく、Googleの検索結果に表示されてしまいました。

そこで、Googleウェブマスターツールからページ削除の申請をして、検索結果に表示されないようにしました。


（参考）robots.txtの作り方

robots.txtファイルには、User-Agent行とDisallow行を書きます。

User-Agent行には対象とする検索エンジンの種類を書きます。
*と書けば全ての検索エンジンが対象になるので、通常はこれを書けばよいでしょう。

Disallow行には対象とするURLを書きます。
URLは、ドメイン名は書かず、サイト内のパスのみを書けばよいです。
書いたパスに前方一致するすべてのURLが検索されなくなるので、フォルダ名まで書けば、そのフォルダ内のファイルを全て指定することになります。

例えば、以下のように書くと、すべての検索エンジンに対して、サイト内のあらゆるページが検索されなくなります。

User-Agent: *
Disallow: /

特定のページを検索されないようにするには、以下のように書きます。

User-Agent: *
Disallow: /hogehoge/
Disallow: /pamyupamyu.html

この場合だと、hogehogeフォルダ内の全ページと、pamyupamyu.htmlのページが検索されなくなります。

作成したrobots.txtファイルは、必ずサイトのトップに置きましょう。
（例：http://hogehoge.jp/robots.txt）