robots.txtでGooglebotをブロックすると、”Googlebot” で始まるすべてのロボットがブロックされる・・・

久しぶりにGoogle ウェブマスターツールを見てみると、kanshin.mobiの携帯サイトクロールエラーに相変わらず「robots.txt により制限された URL」が頻発していた。普通のGooglebotだけをブロックして携帯サイト向けクローラーは許可しているがどうもおかしい。ヘルプを探していると見つけたのがこれ。

Googlebot をブロックすると、”Googlebot” で始まるすべてのロボットがブロックされます。

  • Googlebot: ウェブ インデックスと Google ニュース インデックスからページをクロールします。
  • Googlebot-Mobile: 携帯サイト インデックスのページをクロールします。
  • Googlbot-Image: イメージ検索のインデックスのページをクロールします。
  • Mediapartners-Google: ページをクロールして AdSense のコンテンツを確認します。 このロボットは、お客様が AdSense の広告をサイトに掲載する場合にのみ、サイトをクロールするために使用されます。
  • Adsbot-Google: ページをクロールして、アドワーズ広告のリンク先ページの品質を評価します。このロボットは、お客様が Google アドワーズ広告を使用してサイトを広告する場合にのみ使用されます。

ウェブマスター向けヘルプ センター – Googlebot をブロックするにはどうすればよいですか。

robots.txt 解析でGooglebot-Mobileもテスト対象にしたときに、結果が「許可」。この表示を信じていたのが間違いだったようで。

robots.txt 解析結果

ということで、実際設定するには以下のように。ただトラップ有りのような気がします。

Googlebot をブロックして、Googlebot-Mobile など他の Google ロボットを許可する場合、Allow ルールを使用して特定のロボットにアクセスを許可することができます。 たとえば、次のように指定します。

User-Agent: Googlebot
Disallow: /
User-Agent: Googlebot-Mobile:
Allow:

User-Agent: Googlebot-Mobile:と書かれていますが、英語のヘルプを見るとUser-Agent: Googlebot-Mobileとなっているので、最後のコロンはいらない可能性があります。

ウィルコムでAmazonモバイルを利用できるように

ちょっと前のニュースですが、ようやくウィルコム端末経由でも、Amazonモバイルを利用できるようになりました。やったー!!

オンラインストアのAmazon.co.jp(http://www.amazon.co.jp/)は、株式会社ウィルコム(本社:東京都港区 代表取締役社長:喜久川 政樹、以下ウィルコム)の公式サイト、およびW-ZERO3向けサイト向けに「Amazonモバイル」(http://amazon.jp/)をオープンしました。

Amazon.co.jp、ウィルコムの公式サイト向けに「Amazonモバイル」をオープン

これで外出先からもアマゾンでいろいろチェックできる。本屋で見つけた本の評判とか、関連する他の本とか。CD、DVDもしかり。

5月27日までキャンペーンやっていたらしいけど、まったく知らなかった・・・この時期に買ってたのに、あぁ。

「和食で朝食→学校とても楽しい」のか?

誤解を招く記事のような気がする。

ご飯、魚、野菜…と毎日しっかりと朝ご飯を食べる子供は、食べない子供に比べて「学校がとても楽しい」と感じる割合が高いことが、大学教授らでつくる教育研究グループのアンケート調査で分かった。和食中心の朝食をとる子供の方が洋食中心より「とても楽しい」と感じていることも判明。研究グループでは「朝食メニューは生活リズムに影響を及ぼす。しっかり食べさせてほしい」と呼びかけている。

和食で朝食取れば「学校とても楽しい」 小5調査-話題!のニュース:イザ!

結果として相関はあったんだろうけど、それが因果関係かどうかは調査した教授も言っていない。。。

調査を担当した千葉大の明石要一教授は「この結果だけで和食がいいとはいえないが、和食の方が調理に手間がかかり、手間をかける家庭のほうが生活リズムも良好なのでは」としている。

相関と因果関係をごっちゃにすると大変なことが起きるので、こういう記事タイトルをつけるのはやめてほしいもんです。

PHPのアップロードファイル制限

PHPでアップロードできるファイルサイズの制限を調べたのでいろいろと。

どうやら、PHP側で関係しているのはupload_max_filesize, post_max_size, memory_limitの3つ。これらをphp.iniで設定してやる(PHPのテクメモ | ファイルアップロードの上限)か、.htaccessで個別に設定してやるか(php.ini ディレクティブ)、で対応できるみたい。