robots.txtでGooglebotをブロックすると、”Googlebot” で始まるすべてのロボットがブロックされる・・・

久しぶりにGoogle ウェブマスターツールを見てみると、kanshin.mobiの携帯サイトクロールエラーに相変わらず「robots.txt により制限された URL」が頻発していた。普通のGooglebotだけをブロックして携帯サイト向けクローラーは許可しているがどうもおかしい。ヘルプを探していると見つけたのがこれ。

Googlebot をブロックすると、”Googlebot” で始まるすべてのロボットがブロックされます。

  • Googlebot: ウェブ インデックスと Google ニュース インデックスからページをクロールします。
  • Googlebot-Mobile: 携帯サイト インデックスのページをクロールします。
  • Googlbot-Image: イメージ検索のインデックスのページをクロールします。
  • Mediapartners-Google: ページをクロールして AdSense のコンテンツを確認します。 このロボットは、お客様が AdSense の広告をサイトに掲載する場合にのみ、サイトをクロールするために使用されます。
  • Adsbot-Google: ページをクロールして、アドワーズ広告のリンク先ページの品質を評価します。このロボットは、お客様が Google アドワーズ広告を使用してサイトを広告する場合にのみ使用されます。

ウェブマスター向けヘルプ センター – Googlebot をブロックするにはどうすればよいですか。

robots.txt 解析でGooglebot-Mobileもテスト対象にしたときに、結果が「許可」。この表示を信じていたのが間違いだったようで。

robots.txt 解析結果

ということで、実際設定するには以下のように。ただトラップ有りのような気がします。

Googlebot をブロックして、Googlebot-Mobile など他の Google ロボットを許可する場合、Allow ルールを使用して特定のロボットにアクセスを許可することができます。 たとえば、次のように指定します。

User-Agent: Googlebot
Disallow: /
User-Agent: Googlebot-Mobile:
Allow:

User-Agent: Googlebot-Mobile:と書かれていますが、英語のヘルプを見るとUser-Agent: Googlebot-Mobileとなっているので、最後のコロンはいらない可能性があります。

広告

投稿者: Shinji Kawarano

瓦野 晋治 (かわらの しんじ) 個人と企業をつなぐサービスに目がない、PC、インターネットおたく。最近はさぼり中ですが、ギター弾きであり、オルタナ、パンク、ハードコアからジャズ、クラシック、現代音楽までのリスナーです。 1980年生まれ。早稲田大学大学院理工学研究科(経営システム工学、人間工学)修了。 大学院在学中にWebデザイナーになりたいと思い立ち、株式会社ユニークアイディ(現 株式会社 関心空間)にアルバイトで採用される。同社が開発した関心空間にどっぷりとはまり、修論を関心空間を題材に執筆。2003年、関心空間に正式に参加。 関心空間社では、関心空間のSEO、アクセス解析、ユーザー動向分析などを担当。また、企業への関心空間エンジン導入案件の、企画、導入支援、制作ディレクション、xhtml, CSS コーディング 等も担当。社内のナレッジコミュニティに、インターネットトレンドやニュースを関心空間ではどう活かせるのか等のコンテンツを投稿し続けた。 2007年9月〜2009年2月 アースリングに在籍。ここは親会社がアニメ企画制作会社の旭プロダクション。主にWebサイト制作ディレクションを担当。 結果、3年に少し足りない2年7ヶ月で退社。国プロやお客さんとの仕事を通じ、基本的な仕事の進め方から、コンサルタントやアナリストとしての在り方を勉強させてもらいました。 2008年8月〜現在 個人事業主としてかわらの創造研究所を開業。個人的な頼み事(例えば、ロケットニュース24)や、ブログと落語ニュースで発生するものを処理するためのもの。 基本的にはロケットニュース24やポーチのサポートをしています。顛末はこちらをご覧下さい。(私事ですが

コメントを残す

以下に詳細を記入するか、アイコンをクリックしてログインしてください。

WordPress.com ロゴ

WordPress.com アカウントを使ってコメントしています。 ログアウト /  変更 )

Google+ フォト

Google+ アカウントを使ってコメントしています。 ログアウト /  変更 )

Twitter 画像

Twitter アカウントを使ってコメントしています。 ログアウト /  変更 )

Facebook の写真

Facebook アカウントを使ってコメントしています。 ログアウト /  変更 )

%s と連携中

%d人のブロガーが「いいね」をつけました。