(CakePHP2.x)robot.txtの置く場所

スポンサードリンク

クローラーの設定をするrobot.txt

設置し忘れていたので

今回設置しました。

スポンサードリンク

webrootに設置

CakePHPはパーマリンクの設定がしてあるので

設置場所がわからなかったんですが、

webrootに直接robot.txtを設置するだけのようです。

User-agent: * 
Allow: /

上記のように書けば、すべてのクローラーを巡回させることができます。

今回はインデックスさせる予定がないので、

User-agent: * 
Disallow: /

上記のように書いています。

スポンサードリンク