robots.txtでGooglebotをブロックすると、”Googlebot” で始まるすべてのロボットがブロックされる・・・

久しぶりにGoogle ウェブマスターツールを見てみると、kanshin.mobiの携帯サイトクロールエラーに相変わらず「robots.txt により制限された URL」が頻発していた。普通のGooglebotだけをブロ […]