robots.txtメーカー
robots.txtを、オンライン上で簡単に作成できます。 → robots.txtとは?
 制御したい検索エンジンを選択し、必要項目を入力することで、robots.txtのソースコードが出力されます。
出力されたソースコードを、【robots.txt】と保存してお使いください。

設定する項目
  • 全エンジンの一括設定
  • サイトマップの設定

全検索エンジンの一括制御
クロールページ制御

以下に、制御するファイルかディレクトリの
パスを入力してください。
【入力例】
ファイル(index.html)の場合 /index.html
ディレクトリ(/images)の場合 /images/

のクロールを
のクロールを
のクロールを
+ -クリア



robots.txtの出力