ROBOTS.TXT GENERATOR
robots.txt 生成ツール｜サイトマップの記述もまとめて
robots.txt を画面の設定だけで組み立てます。巡回を禁止するパス、クローラーごとの指定、サイトマップの場所に対応し、書き上がった内容をその場で読み返して危険な指定を警告します。通信をしないため、内容が外に出ることはありません。
通信なし・端末内で完結
よくある設定のひな型
危ない指定を警告
Sitemap行に対応
設定
この行があると、Google以外の検索エンジンにも場所が伝わります。分けている場合は目次のURLを書きます。
できあがった robots.txt
0
クローラーの区分
0
サイトマップの行
0
大きさ
枠をクリックすると全部を選べます。
書き上がった内容の点検
保存したファイルは、サイトのトップ直下（https://example.com/robots.txt）に置きます。ここ以外の場所では読まれません。
書く前に知っておくこと
置き場所はトップ直下だけ
https://example.com/robots.txt にしか置けません。サブディレクトリに置いても読まれず、サブドメインごとには別々に必要です。
Disallowは「隠す」ではない
巡回しないでという指示であって、検索結果に出さない指示ではありません。確実に出したくないページには、そのページにnoindexを指定します。
「Disallow: /」は全面禁止
スラッシュ1つでサイト全体が巡回されなくなります。公開前のサイトで入れたまま公開してしまう事故が起きやすい指定です。
サイトマップの行は場所を選ばない
Sitemap行はクローラーの区分に関係なく、ファイル内のどこに書いても有効です。複数書くこともできます。
よくある質問
robots.txtは必ず必要ですか？
必須ではありません。無くてもサイトは正しく巡回されます。ただし「巡回してほしくない場所がある」「サイトマップの場所を伝えたい」ときには置く価値があります。
どこに置けばいいですか？
サイトのトップ直下だけです（https://example.com/robots.txt）。ここ以外の場所に置いても読まれません。サブディレクトリごとに置くこともできません。
Disallowで指定したページは検索結果から消えますか？
消えるとは限りません。robots.txtは「巡回しないでください」という指示であって、「検索結果に出さないでください」という指示ではありません。確実に出したくない場合は、そのページにnoindexを指定します。
Crawl-delayは効きますか？
Googleは読みません。巡回の速さを調整したい場合はSearch Consoleの設定を使います。他の検索エンジンには効くことがあるため、必要なときだけ書きます。
Disallowを空で書くとどうなりますか？
「すべて許可」という意味になります。逆に「Disallow: /」と書くとサイト全体が巡回されなくなるため、書き間違いに注意が必要です。このツールでは、その状態になると警告を出します。
入力した内容は送信されますか？
されません。このツールは通信を一切しません。組み立てたrobots.txtも、お使いの端末から外に出ることはありません。