[Server & Network General] robots.txt を Google さんに怒られないように WordPress 向けに調整する

Goggle bot が JavaScript と CSS をより深く理解できるようになっていたため。

症状

2月末のサーバ移転時に、こちらを参考に robots.txt を何も考えずに WordPress 向けに最適化していました。

概ねこんな形になっていました。

robots.txt
User-agent: *
Disallow: /wpmt/wp-admin
Disallow: /wpmt/wp-includes
Disallow: /wpmt/wp-content/plugins
Disallow: /wpmt/wp-content/cache
Disallow: /wpmt/wp-content/themes
Allow: /wpmt/wp-content/uploads

先日、検索時の下記の表示で認識。

2016-05-17_google_01

対応

上記の「ページがモバイルフレンドリーではありません。」リンクから、Google webmasters tools にアクセス。
エラーの詳細を確認していくと、テーマやプラグインの CSS や JS が取得できないとのことなので、これらの指定を外していく。

robots.txt
User-agent: *
Disallow: /wpmt/wp-admin
Disallow: /wpmt/wp-includes
Allow: /wpmt/wp-includes/js

結果、OK をもらえるようになりました。

2016-05-17_google_02

このあたりの対応については、こちらが詳しいです。

Google Adsense 絡みのエラー

なお、Google Adsense まわりでエラーが残るのですが、ひとまず無視してかまわないようです。