GUIDE
使い方ガイド
llms.txt Builderは、URLを入力するだけでサイト内を自動巡回し、AIエージェント向けの llms.txt / llms-full.txt を生成するツールです。ここでは基本操作からトラブル対処まで、順を追って説明します。
基本の使い方(4ステップ)
対象サイトのURLを入力
トップページのURL(例: https://example.com)を入力し、「生成スタート」を押します。過去に生成したことがあるサイトは、入力欄の上に履歴チップとして表示されるのでクリックだけで再入力できます。
巡回が完了するまで待つ
対象サイトへの負荷を抑えるため、1リクエスト/秒程度のゆっくりしたペースで巡回します。進捗欄に「現在処理中のURL」と「発見リンク数」がリアルタイムで表示されます。
取得したページを確認する
巡回が終わると、取得したページの一覧がチェックボックス付きで表示されます。規約ページやログインページなど「自動除外候補」にはバッジが付きますが、最終的にどのページを含めるかは自分の目で確認して選べます。
生成・ダウンロード
「この内容で生成する」を押すと llms.txt(と、チェックしていれば llms-full.txt)が出力されます。「コピー」または「DL」ボタンでファイルを取得してください。
迷ったら、画面右上の「プロダクトツアー」を開くと、入力フォームの各項目を順番に解説してくれます。
主な機能の説明
取得上限ページ数
巡回する最大ページ数を10〜300ページの範囲で調整できます。小規模なサイトは10〜30ページ、大規模なサイトは上限に近い設定がおすすめです。ページ数が多いほど生成に時間がかかります。
llms-full.txt 同時生成
チェックを入れると、要約版の llms.txt に加えて、各ページの本文全文をまとめた llms-full.txt も同時に生成します。RAGや社内AIナレッジ用途に向いています。
ページ単位プレビュー
巡回完了後、生成前に必ず内容を確認できます。規約・ログイン・カート等のページは自動的にチェックが外れますが、必要であれば手動でチェックを戻すことも、逆に含めたくないページを外すこともできます。
生成履歴
直近に生成したサイトはお使いのブラウザ内(localStorage)に保存され、入力欄の上にチップとして表示されます。他の端末やブラウザには共有されません。
サイトへの設置方法
ファイルをアップロード
ダウンロードした llms.txt(および llms-full.txt)を、対象サイトのWebサーバー ルートディレクトリ直下にアップロードします。
アクセスできるか確認
ブラウザで https://あなたのドメイン/llms.txt にアクセスし、テキストとして正しく表示されるか確認してください。文字化けする場合は、必ずBOM付きUTF-8のまま(メモ帳等で保存し直さない)アップロードしてください。
内容を定期的に見直す
サイトを更新したら、内容も合わせて更新するのがおすすめです。更新頻度の目安は、更新の多いサイトで月1回程度、少ないサイトで数ヶ月〜半年に1回程度です。
困ったときは
「データを取得できませんでした」と表示される
対象サイトの robots.txt が本ツールからのアクセスを許可していないか、トップページ自体が noindex 指定・パスワード保護になっている可能性があります。本ツールは相手サイトの robots.txt の意思を必ず尊重するため、その場合は取得を行いません。
生成に時間がかかる
対象サイトへの負荷を抑えるため、意図的に1リクエスト/秒程度のゆっくりしたペースで巡回しています。ページ数が多いサイトほど時間がかかりますが、これは仕様です。
途中で巡回が打ち切られた
安全のため、1回の生成につき最大300ページまでという上限を設けています。上限に達した場合は、その時点までに取得したページでプレビュー・生成が可能です。
ダウンロードしたファイルが文字化けする
ファイルはBOM付きUTF-8で出力されています。メモ帳やエディタで一度開いて別のエンコーディングで保存し直すと文字化けの原因になるため、ダウンロードしたファイルをそのままアップロードしてください。
よくある質問
自分のサイト以外も生成できますか?
技術的には可能ですが、robots.txt で拒否されているサイトや、noindex指定・パスワード保護されたページは取得しません。生成した内容を公開する前に、対象サイトの権利者としてご自身で内容を確認してください。詳しくは利用規約をご確認ください。
入力したURLや生成結果は保存されますか?
生成結果自体はサーバーに保存されず、その場でブラウザに表示されるのみです。詳しくはプライバシーポリシーをご確認ください。