Methodology v1.0
July 18, 2026 • By AICompatible Team • 8 min read

理解 llms.txt:面向大型语言模型的 W3C 清单标准

核心要点:llms.txt 对 AI 爬虫的关键重要性

llms.txt 标准是一种轻量级、结构化的清单文件,使大型语言模型(LLM)和 AI 爬虫能够以最小的令牌消耗高效解析、理解和导航网站内容。通过提供标准化的 Markdown 格式网站结构和关键资源路线图,llms.txt 已成为在 AI 驱动的搜索和检索系统时代优化内容可发现性的事实 W3C 对齐协议。

什么是 llms.txt?

llms.txt 文件是放置在网站根目录中的纯文本清单(可通过 https://example.com/llms.txt 访问),为大型语言模型提供网站内容、导航路径和资源层次结构的结构化概览。作为 2024 年推出的社区驱动标准,它解决了帮助 AI 系统理解网站架构的基本挑战,而无需进行大量爬取或令牌密集型处理。

与为搜索引擎爬虫设计的传统 sitemaps.xml 文件不同,llms.txt 针对需要人类可读上下文和机器可解析结构的自然语言处理系统进行了优化。该格式利用 Markdown 的简洁性,同时遵循严格的约定,确保在不同 LLM 实现中的一致解释。

技术规范:Markdown 格式标准

llms.txt 标准采用精确定义的 Markdown 结构,平衡了人类可读性和机器可解析性。理解这些格式规范对于正确实施至关重要。

文档结构层次

每个 llms.txt 文件都遵循强制性的层次结构:

  • H1 标题(#): 网站或项目名称,在文档开头仅出现一次
  • 项目摘要: 紧跟 H1 之后的简洁段落(2-4 句),描述网站的目的、主要内容和目标受众
  • H2 章节(##): 主要内容类别或导航区域
  • 链接列表: 使用 [链接文本](URL) 语法的 Markdown 格式链接,可选择性地附带简短描述
  • 可选描述: 链接后的纯文本,提供有关链接资源的上下文

格式规则和约定

该标准强制执行特定的格式要求:

  1. 单一 H1 规则: 仅允许一个 H1 标题,作为文档标题
  2. 相对 URL 与绝对 URL: 两者都可接受,但建议对外部资源和跨域引用使用绝对 URL
  3. 链接描述: 提供时,描述应出现在链接的同一行或紧随其后,用冒号或破折号分隔
  4. 空白: 单个空行分隔章节;应避免多个连续空行
  5. 字符编码: 必须使用 UTF-8 编码
  6. 文件大小: 主 llms.txt 应保持在 100KB 以下以实现最佳解析;较大的内容地图应使用 llms-full.txt

禁止元素

为保持解析一致性,某些 Markdown 元素不建议使用或被禁止:

  • 嵌入 Markdown 中的 HTML 标签
  • 图像和媒体嵌入
  • 表格(改用简单列表)
  • 代码块(文档上下文中除外)
  • 超过两级深度的嵌套列表

实际实施示例

以下是一个全面的示例,展示了虚构技术文档网站的正确 llms.txt 格式:

# TechDocs 平台

TechDocs 平台是为软件开发人员提供的综合资源,提供现代 Web 技术的教程、API 文档和最佳实践。我们的内容服务于寻求权威技术指导的初学者和经验丰富的工程师。

## 入门指南

- [TechDocs 简介](/intro): 平台功能和导航概览
- [快速入门指南](/quickstart): 新用户 5 分钟设置
- [常见问题](/faq): 常见问题和故障排除

## 文档

- [JavaScript 指南](/docs/javascript): 完整的 JavaScript 语言参考和教程
- [Python 文档](/docs/python): 从基础到高级的 Python 编程指南
- [API 参考](/docs/api): 带交互式示例的 RESTful API 文档
- [数据库指南](/docs/databases): SQL 和 NoSQL 数据库实现模式

## 教程

- [Web 开发路径](/tutorials/web-dev): 全栈开发的结构化学习路径
- [DevOps 基础](/tutorials/devops): CI/CD、容器化和云部署
- [安全最佳实践](/tutorials/security): 应用程序安全和漏洞预防

## 资源

- [代码示例仓库](https://github.com/techdocs/examples): 开源代码样本
- [社区论坛](/community): 讨论板和同行支持
- [博客](/blog): 关于新兴技术的最新文章
- [完整内容地图](/llms-full.txt): 完整的分层网站结构

## 关于

- [关于 TechDocs](/about): 使命、团队和平台历史
- [贡献指南](/contributing): 如何贡献内容
- [联系我们](/contact): 与我们的团队取得联系

llms.txt 与 llms-full.txt 的区别

该标准定义了两个互补文件,在内容发现层次结构中服务于不同目的:

llms.txt:主要清单

主 llms.txt 文件作为高级导航地图,提供:

  • 顶级类别: 主要网站部分和主要导航路径
  • 关键入口点: 理解网站内容最重要的页面和资源
  • 精选内容: 代表网站核心价值主张的 20-50 个基本链接
  • 快速解析: 优化用于快速 LLM 消费,令牌使用最少

此文件应回答问题:"AI 应该了解这个网站的最重要的事情是什么?"

llms-full.txt:综合路线图

可选的 llms-full.txt 文件提供详尽的细节:

  • 完整的网站层次结构: 每个重要的页面、文档和资源
  • 深度导航路径: 嵌套内容结构深达 4-5 级
  • 全面覆盖: 大型网站的数百或数千个链接
  • 详细描述: 每个资源的扩展上下文
  • 专业内容: 技术文档、API 端点、数据模式

何时使用每个文件

实施策略取决于网站复杂性:

  • 小型网站(少于 50 页): 仅 llms.txt 就足够了
  • 中型网站(50-500 页): llms.txt 用于主导航,llms-full.txt 用于完整覆盖
  • 大型网站(500+ 页): llms.txt 作为精选门户,llms-full.txt 作为综合参考,可能包含多个特定领域的完整文件

当后者存在时,llms.txt 文件应始终包含指向 llms-full.txt 的链接,通常在"资源"或"附加信息"部分。

LLM 如何解析和利用 llms.txt 文件

理解大型语言模型处理 llms.txt 文件的技术机制,可以阐明为什么正确的格式至关重要。

解析过程

当像 Claude、GPT-4 或 Gemini 这样的 LLM 遇到网站时,典型的工作流程包括:

  1. 发现: LLM 首先检查网站根目录中的 /llms.txt
  2. 令牌化: 文件内容被转换为令牌进行处理
  3. 结构提取: Markdown 标题创建网站组织的分层心智模型
  4. 链接编目: 根据章节位置提取 URL 并确定优先级
  5. 上下文构建: 描述和摘要告知 LLM 对每个资源目的的理解
  6. 导航规划: LLM 根据用户查询和清单结构确定要获取哪些页面

令牌效率和成本优化

llms.txt 标准大幅降低了网站理解的令牌成本:

  • 没有 llms.txt: LLM 可能需要获取和处理 10-20 个页面来理解网站结构,消耗 50,000-200,000 个令牌
  • 有 llms.txt: 相同的理解仅需要 500-2,000 个令牌,处理开销减少 99%

这种效率直接转化为更快的响应时间、更低的 API 成本以及计算带来的环境影响减少。

语义理解增强

除了单纯的导航,llms.txt 还能实现复杂的语义理解:

  • 内容分类: H2 章节标志主题边界和内容领域
  • 关系映射: 章节内的链接位置指示内容关系
  • 优先级推断: 较早的章节和链接表明更高的重要性
  • 意图匹配: 描述性文本帮助 LLM 将用户查询与相关页面匹配

主要 LLM 平台的实施

不同的 AI 系统以不同的方式利用 llms.txt:

  • Claude(Anthropic): 优先使用 llms.txt 进行基于引用的响应,使用清单提供准确的来源归属
  • GPT-4(OpenAI): 将 llms.txt 集成到 Web 浏览功能中,使用它来规划多页面研究策略
  • Perplexity AI: 使用 llms.txt 增强来源多样性并确保网站内容的全面覆盖
  • SearchGPT: 将 llms.txt 视为内容相关性和权威性的主要排名信号

实施最佳实践

成功部署 llms.txt 需要关注几个关键原则:

内容选择策略

  • 优先考虑常青内容: 关注稳定、长期有价值的页面,而不是时效性材料
  • 包含转化路径: 确保关键用户旅程在链接结构中得到体现
  • 平衡广度和深度: 涵盖所有主要主题,同时突出每个类别中最重要的资源
  • 定期更新: 将 llms.txt 视为活文档,在网站结构变化时更新它

技术实施

  • 作为纯文本提供: 使用 text/plain 或 text/markdown MIME 类型
  • 启用缓存: 设置适当的缓存头(建议 24 小时过期)
  • 监控访问: 跟踪 llms.txt 请求以了解 AI 爬虫行为
  • 验证格式: 使用自动化工具确保 Markdown 合规性

LLM 优化内容发现的未来

llms.txt 标准代表了 AI 原生 Web 协议的第一波浪潮。随着 LLM 能力的发展,我们可以期待:

  • 扩展的元数据支持: 可能添加内容新鲜度、权威信号和许可信息
  • 语义注释: 与 schema.org 词汇表集成以获得更丰富的上下文
  • 动态生成: CMS 插件和框架自动生成优化的 llms.txt 文件
  • 分析集成: 跟踪哪些 LLM 访问内容以及它们如何利用清单
  • 标准化努力: W3C 或类似标准机构可能正式采用

今天实施 llms.txt 的组织将自己定位在 AI 驱动的内容发现的最前沿,确保他们的信息在日益由 AI 中介的 Web 中保持可访问性和正确的上下文化。