[Google General] robots.txt を Google さんに怒られないように WordPress 向けに調整する

公開日: 2016/05/18
更新日: 2019/07/25

Goggle bot が JavaScript と CSS をより深く理解できるようになっていたため。

[markdown]
> * [Google ウェブマスター向け公式ブログ: ウェブページをより深く理解するようになりました](http://googlewebmastercentral-ja.blogspot.jp/2014/05/understanding-web-pages-better.html)

## 症状

2月末のサーバ移転時に、こちらを参考に robots.txt を何も考えずに WordPress 向けに最適化していました。

> * [WordPressで作ったサイトを最適化するためのrobots.txt | コリス](http://coliss.com/articles/blog/wordpress/robotstxt-for-wordpress.html)

概ねこんな形になっていました。

“`prettyprinted:robots.txt
User-agent: *
Disallow: /wpmt/wp-admin
Disallow: /wpmt/wp-includes
Disallow: /wpmt/wp-content/plugins
Disallow: /wpmt/wp-content/cache
Disallow: /wpmt/wp-content/themes
Allow: /wpmt/wp-content/uploads
“`

先日、検索時の下記の表示で認識。

2016-05-17_google_01

## 対応

上記の「ページがモバイルフレンドリーではありません。」リンクから、Google webmasters tools にアクセス。
エラーの詳細を確認していくと、テーマやプラグインの CSS や JS が取得できないとのことなので、これらの指定を外していく。

“`prettyprinted:robots.txt
User-agent: *
Disallow: /wpmt/wp-admin
Disallow: /wpmt/wp-includes
Allow: /wpmt/wp-includes/js
“`

結果、OK をもらえるようになりました。

2016-05-17_google_02

このあたりの対応については、こちらが詳しいです。

> * [robots.txtを改善してGoogleにブログの構造を的確に伝えよう](http://naifix.com/robots-txt-improvement/)

### Google Adsense 絡みのエラー

なお、Google Adsense まわりでエラーが残るのですが、ひとまず無視してかまわないようです。

> * [Google Adsenseのせいでモバイルフレンドリーテストの結果が不正確になる – Google プロダクトフォーラム](https://productforums.google.com/forum/#!topic/webmaster-ja/KOtt1gW1v_o;context-place=forum/webmaster-ja)
[/markdown]