robots.txtってなんだ?

robots.txtとはなんぞや?

2013年4月19日


ワードプレスを使っていて、尚且つGoogleのウェブマスターツールを利用している方なら一度は経験しているかもしれませんが、「重要なページが robots.txt によってブロックされています。」とかいうエラー表示が出てしまうことがあります。(僕の場合はXML Sitemap Generator for WordPress 3.2.9をインストールして有効にしたら出ました)

よくよく説明を読むと、どうやらrobots.txtというところに検索エンジンロボットによるサイトへのアクセスを制限する情報が書き込まれているらしい。

これはイカンということで、サーバーのルートディレクトリを調べてみますが、robots.txtなんてものは存在しない。しかしウェブマスターツールは存在すると主張している???

そこでググってみると、これはこのサイトが解決してくれました。

情報科学屋さんを目指す人のメモ「WordPressの仮想robots.txtの仕組み」

ここを読ませていただくと、どうもワードプレスはfunctions.phpというところに仮想robots.txtを持っているらしい。

解決方法もバッチリ記述してありました。「ルートフォルダにrobots.txtを実際に設置する」ことで、そっちが優先されるようです。

記述の仕方も親切に書いてありましたが、なんとな〜くもう少し良い方法がありそうな気がしたので、そこはもうチョイ突っ込んで、より良いrobots.txtの記述を探してみました。

すると、こちらのサイトで説明されていました。

coliss「WordPressで作ったサイトを最適化するためのrobots.txt」

あとは自分の好みに作り替えるのがベターかと思います。

僕も無事にサイトマップをGoogleに送信することができました。

タグ: , , ,

Leave a Comment

CAPTCHA