SITE URL EXTRACTOR

サイトのURL一覧取得ツール｜巡回してURLだけを集める

サイトのURLを1つ入れると、リンクをたどって含まれるURLを一覧として集めます。サイトマップは作らず、URLの把握そのものが目的のツールです。ページ名も一緒に集めるため、構成の説明にも使えます。

robots.txtとnoindexを尊重 3つの形式で保存ページ名も取得サイトマップ作成へ引き継ぎ

巡回するサイト

巡回のしかたを調整する

サブドメインも巡回する ?以降が違うURLを別のページとして集める PDFも一覧に含める

巡回では対象のURLが当サイトのサーバーを経由します。URLも中身も保存しません。

対象	URL	状態	lastmod

今どんなページがあるのかを一覧で把握できます。ページ名も一緒に取れるため、内容まで見渡せます。

Markdownで書き出せばリンク集になります。担当が変わるときの引き継ぎ資料としてそのまま使えます。

リニューアル前に保存しておけば、あとで比較ツールに読み込ませて、消えたページを確かめられます。

集めたURLはボタン一つで生成ツールへ引き継げます。確認してから作りたい場合の流れです。

サイトマップ生成ツールとの違いは？

このツールはURLの一覧を集めることに絞っています。サイトマップのXMLは作りません。サイトにどんなページがあるかを把握したい、一覧を他の作業に使いたい、という場面向けです。そのままサイトマップを作りたい場合は、ボタン一つで生成ツールへ引き継げます。

何ページまで集められますか？

1回あたり500ページまでです。

どんな形式で書き出せますか？

テキスト（1行に1URL）、CSV（ページ名や状態を含む）、Markdownのリンク集の3つです。CSVはExcelでそのまま開ける形式で保存します。

ページの名前も取れますか？

取れます。各ページのタイトルを一緒に集めるため、CSVやMarkdownで書き出すとURLと名前が対になります。サイトの構成を人に説明するときに使えます。

robots.txtで禁止されたページはどうなりますか？

巡回せず、一覧には「robots.txt」の印をつけて残します。noindexのページも同様に印をつけます。存在の把握には役立つため、消さずに表示しています。

集めた内容は保存されますか？

保存しません。サーバーは取得を代行して結果を返すだけで、URLもページの中身も残しません。集めた一覧はお使いの端末の中にだけ残ります。