LLMs.txt（えるえるえむずてきすと）

ラフな解説

最新のものは質よりも多く動いて最適なものを探すこと。
常に変化するので捨てる勇気、迅速な修正（適応）が大事！

LLMs-full.txt とセットで考えるべきもので、

• LLMx.txt : Webサイトの構造を示す。（どのページを見に行くか？）
• LLMs-full.txt : サイトの各ページの詳細情報（どのページにはどういうことが記載されているのか？）

となっている。

まだ、標準仕様となっているわけではないが（※記載時時点）、Webサイトへのクローリング（ロボットが学習・検索目的でWebサイトに訪れ情報を収集してくこと）は相当数になっているので、計測とセットでLLMs.txt の実装も考えていくと良い。（弊社制作 Assignment GPT LogViewer for WordPress のセールストークになります）

解説

LLMsのクローラー向けに情報を提供すること

LLMs（大規模言語モデル）は、その学習や、Webリサーチを目的としてWebサイトへ頻繁にアクセスを行います。これは一般的にサイトインデックスやサイト内の評価を行うようなクローラーでも同様になりますが、そのサイトの構造や特定のページ内のオリジナルな情報（サイト内には、ヘッダー・フッターなど共通箇所が多いですが、クローラーにはその判別は難しいのです）を見極めるには難しいものがあります。

LLMs.txtは、ウェブサイトが大規模言語モデル（LLM）に対して自身のコンテンツを効率的に提供するためのテキストファイルです。このファイルは、サイトのルートディレクトリ（例：https://example.com/llms.txt）に配置され、LLMがウェブサイトの情報を効果的に理解し、処理する手助けをします。  

クローラーアクセスをコントロールすることの重要性

従来、ウェブサイトはrobots.txtを使用して検索エンジンのクローラーに対するアクセス許可や制限を設定してきました。しかし、LLMの普及に伴い、これらのモデルがウェブサイトの情報を適切に取得し、処理することが求められています。LLMs.txtを導入することで、LLMに対してサイト内の重要な情報や推奨されるクロール方法を明示的に伝えることができ、サーバーへの過度な負荷を避けつつ、必要な情報を提供することが可能となります。

LLMs.txt の活用法

LLMs.txtの具体的な活用法として、以下の点が挙げられます：

• •コンテンツの効率的な提供：LLMが必要とする情報を明確に示すことで、モデルの推論精度を向上させます。
• サーバー負荷の軽減：LLMクローラーのアクセス頻度や範囲を制御することで、サーバーへの過度な負荷を防ぎます。
• SEO対策：LLMがウェブサイトの情報を適切に理解し、ユーザーへの回答に利用することで、サイトの露出度や評価を高めることが期待できます。

LLMs.txtは、今後ますます重要性を増すLLMとの効果的な連携を図るための有用な手段となります。ウェブサイト運営者は、このファイルを適切に活用し、AI時代に対応した情報提供を行うことが求められます。

参照（GitHub）

Background

Large language models increasingly rely on website information, but face a critical limitation: context windows are too small to handle most websites in their entirety. Converting complex HTML pages with navigation, ads, and JavaScript into LLM-friendly plain text is both difficult and imprecise.

While websites serve both human readers and LLMs, the latter benefit from more concise, expert-level information gathered in a single, accessible location. This is particularly important for use cases like development environments, where LLMs need quick access to programming documentation and APIs.
DeepL翻訳）　大規模な言語モデルは、ますますウェブサイト情報に依存するようになっているが、コンテキスト・ウィンドウが小さすぎて、ほとんどのウェブサイト全体を扱うことができないという重大な制限に直面している。ナビゲーション、広告、JavaScriptを含む複雑なHTMLページをLLMに使いやすいプレーンテキストに変換するのは難しく、不正確である。

ウェブサイトは人間の読者にもLLMにも役立つが、LLMにとっては、より簡潔で、専門家レベルの情報が、アクセスしやすい1つの場所に集められている方が有益である。これは、LLMがプログラミング・ドキュメントやAPIに素早くアクセスする必要がある、開発環境のようなユースケースにおいて特に重要である。
参照： GitHub – AnswerDotAI / llms-txt