サイトの全URLを、一覧にする。

サイトのURLを1つ入れるだけです。robots.txt から sitemap.xml を見つけ、 サイトマップインデックスもたどって、サイト内のURLを一覧にします。 取得した一覧は、そのまま他のツールへ渡せます。

  • 無料・登録不要
  • robots.txt を尊重
  • 他ツールへ受け渡し

サイトのURLを入れる

sitemap.xml のURLを直接入れることもできます。 その場合は robots.txt を探さず、そのファイルから読み取ります。

なぜURL一覧から始まるのか

サイトの点検は、たいてい「どのページがあるのか」を数え上げるところから始まります。 ところがその一覧は、データベースを見られる人か、巡回ツールを持っている人にしか作れません。 そのため、点検の道具はあるのに入り口で止まる、ということが起こります。

多くのサイトには、検索エンジン向けに sitemap.xml が置かれています。 このツールは、その既にあるファイルを読むだけです。巡回もしないので、 相手のサーバーに負荷をかけずに数秒で終わります。

sitemap.xml が無いサイトの場合は、 サイトマップ生成ツールで巡回して作れます。

このツールでできないこと

このツールの制約
項目内容
巡回はしませんsitemap.xml に載っていないページは出てきません。サイトマップが古ければ、一覧も古いままです。実際のページを数え上げたい場合は、サイトマップ生成ツールで巡回してください。
圧縮版は読めませんsitemap.xml.gz は現時点で対応していません。非圧縮の .xml をご指定ください。
robots.txt を尊重しますDisallow で禁止されたパスのサイトマップは取得しません。禁止されている場合は、その旨を表示します。
読み取りの上限があります1ファイルにつき8MB、たどるサイトマップは60件、URLは50,000件までです。上限に達した場合は画面に表示します。
サイトマップの中身は検証しません載っているURLが実際に開けるか、noindex が付いていないかは分かりません。それを調べるには メタ情報一括チェッカーへ一覧を渡してください。
取得時に名乗りますRekimeeUrlCollector と名乗ります。ブラウザに偽装しません。