LLMS.TXT 对比 LLMS-FULL.TXT:区别在哪里?
很多人问我,他们的网站到底需要哪种文件。
它们听起来很相似,存放位置也一样,但功能却截然不同。
一个帮助 AI 模型理解你的网站,另一个则帮助 AI 模型回答关于该网站的具体问题。
以下是详细对比。
The Core Difference
llms.txt 是一张地图。它是一个较小的 Markdown 文件,告诉 AI 模型你的网站是什么,以及重要的页面在哪里。
llms-full.txt 则是一本书。它是一个较大的 Markdown 文件,包含了从你的页面中提取、清洗并合并成一个文件的实际文本内容。
When to use llms.txt:
- 营销类网站。
- 小型博客。
- 用户只需要快速摘要的网站。
When to use both:
- 文档类网站。
- API 参考文档。
- 知识库。
- 任何对准确性要求极高的技术网站。
Comparison at a glance:
• Purpose: llms.txt 映射你的网站。llms-full.txt 提供全文。 • Size: llms.txt 为 1–10 KB. llms-full.txt 为 100 KB 到数 MB • Best for: llms.txt 适用于所有人。llms-full.txt 适用于内容密集型网站。
Why you need both
AI 模型面临着权衡。抓取大量页面速度很慢,而使用过多的上下文成本又很高。
如果用户问“这家公司是做什么的?”,模型会使用 llms.txt。它速度快且成本低,能提供快速回答。
如果用户问“如何配置这个 API?”,模型会使用 llms-full.txt。它可以避免发起二十次独立的请求,从而一次性获取所有数据。
Pro Tips for Success:
- 尽可能将 llms-full.txt 控制在 500 KB 以内。过大的文件会导致模型切换到较慢的检索方法。
- 清洗数据。在将文本添加到 llms-full.txt 之前,请移除页眉、页脚和 Cookie 横幅。
- 建立链接。务必在 llms.txt 文件的可选部分(optional section)中提及 llms-full.txt,以便爬虫能够找到它。
- 实现自动化。不要手动更新这些文件。使用脚本或构建插件来保持它们与网站同步。
Source: https://dev.to/lab451/llmstxt-vs-llms-fulltxt-whats-