[Google General] robots.txt を Google さんに怒られないように WordPress 向けに調整する

Goggle bot が JavaScript と CSS をより深く理解できるようになっていたため。

• Google ウェブマスター向け公式ブログ: ウェブページをより深く理解するようになりました

症状

2月末のサーバ移転時に、こちらを参考に robots.txt を何も考えずに WordPress 向けに最適化していました。

• WordPressで作ったサイトを最適化するためのrobots.txt | コリス

概ねこんな形になっていました。

User-agent: *
Disallow: /wpmt/wp-admin
Disallow: /wpmt/wp-includes
Disallow: /wpmt/wp-content/plugins
Disallow: /wpmt/wp-content/cache
Disallow: /wpmt/wp-content/themes
Allow: /wpmt/wp-content/uploads

先日、検索時の下記の表示で認識。

対応

上記の「ページがモバイルフレンドリーではありません。」リンクから、Google webmasters tools にアクセス。
エラーの詳細を確認していくと、テーマやプラグインの CSS や JS が取得できないとのことなので、これらの指定を外していく。

User-agent: *
Disallow: /wpmt/wp-admin
Disallow: /wpmt/wp-includes
Allow: /wpmt/wp-includes/js

結果、OK をもらえるようになりました。

このあたりの対応については、こちらが詳しいです。

• robots.txtを改善してGoogleにブログの構造を的確に伝えよう

Google Adsense 絡みのエラー

なお、Google Adsense まわりでエラーが残るのですが、ひとまず無視してかまわないようです。

• Google Adsenseのせいでモバイルフレンドリーテストの結果が不正確になる – Google プロダクト フォーラム