llms.txt 完全指南:让 AI 更好理解你的网站
llms.txt 完全指南:给 AI 看的"网站说明书",手把手教你部署与验证
如果你的网站想被 AI 更好地理解和引用,llms.txt 是一个你大概率还没用上、但应该马上用上的文件。
它被称为"给 AI 看的 sitemap"。这篇文章讲清楚它是什么、为什么重要、怎么写、怎么部署、怎么验证,以及它和 sitemap.xml 到底有什么区别。
什么是 llms.txt?
llms.txt 是一个放在网站根目录的纯文本文件(例如 https://www.example.com/llms.txt),它的作用是:用一种结构化的、人类可读、机器易解析的方式,向大语言模型(LLM)的爬虫介绍你的网站。
传统 sitemap.xml 是给搜索引擎爬虫看的,采用 XML 格式,包含的是"有哪些 URL"。而 llms.txt 是给 AI 爬虫看的,采用 Markdown 风格文本,包含的是"你的网站是做什么的、核心内容是什么、重点推荐看哪些页面"。
一句话:sitemap 告诉爬虫"有哪些页面",llms.txt 告诉 AI"你的网站是什么、值得引用什么"。
为什么它很重要?
随着 AI 搜索(豆包、DeepSeek、ChatGPT 等)成为越来越重要的流量入口,一个关键问题浮现:AI 在回答用户问题时,如何决定引用哪个网站的内容?
AI 爬虫会抓取你的网页,但网页结构复杂、噪音多、内容杂。llms.txt 就像一个"内容索引 + 重点标注",让 AI 能以极低成本、极高准确率地理解你网站的核心价值和最值得引用的内容。
对 GEO(生成式引擎优化)而言,llms.txt 是一个投入产出比极高的信号部署动作——一个文件,可能就决定了 AI 对你网站的理解深度,进而影响它是否愿意引用你。
llms.txt 长什么样?
llms.txt 采用 Markdown 风格的纯文本格式,结构非常直观:
# 云客 HBYunKe
> 云聚智能,让 AI 为你工作。以技术驱动增长,专注 GEO 优化、微信小程序 SaaS 与 AI 智能起名。
## 核心服务
- [GEO 生成式引擎优化](/projects/geo):监测品牌在 AI 引擎中的可见度,让品牌在 AI 推荐中被持续看见
- [微信小程序 SaaS](/projects/miniprogram-saas):零代码搭建行业微信小程序,7 天上线
- [AI 智能起名](/projects/ai-naming):周易 × 诗词 × 大模型,生成有灵魂的好名字
## 关于我们
- [关于云客](/about)
- [联系我们](/contact)
基本要素:
- 标题(H1):网站名称
- 简介(blockquote):一句话讲清楚网站是做什么的
- 章节(H2/H3):按主题组织内容
- 链接列表:
[链接文字](URL)+ 一句描述,告诉 AI 每个页面的价值
手把手部署:五个步骤
第 1 步:盘点你的核心内容
先想清楚:你的网站最值得被 AI 引用的是哪些页面?通常包括:
- 首页(介绍网站整体定位)
- 核心产品或服务页(最重要)
- 高质量的长文内容(博客、指南、案例)
- 关于页、联系方式
不要把所有 URL 都塞进去,只放"你希望 AI 引用"的内容,宁缺毋滥。
第 2 步:编写 llms.txt
按上面的格式编写。几个写作要点:
- 简介要准确、简洁、信息密度高
- 每个链接都配一句描述,说明这个页面解决什么问题
- 层级清晰,用 Markdown 标题组织
- 保持纯文本,避免复杂的 HTML
第 3 步:放到网站根目录
将文件命名为 llms.txt(全小写,无扩展名外的内容),放在网站根目录下,确保通过 https://你的域名/llms.txt 可以直接访问。
第 4 步:在 robots.txt 中声明
在 robots.txt 中声明 llms.txt,让 AI 爬虫更容易发现它:
Sitemap: https://www.example.com/sitemap.xml
# 提示 AI 爬虫读取 llms.txt
# 完整内容位于 /llms.txt
(注:llms.txt 是社区倡议的标准,不同 AI 爬虫的支持程度不同,声明它作为最佳实践并无害处。)
第 5 步:验证
部署后,验证以下三点:
- 可访问:浏览器或 curl 直接访问
https://你的域名/llms.txt,确认返回 200 和正确的文本内容 - 无报错:文件没有语法错误,链接都是有效 URL
- 内容更新:网站内容有重大更新时,同步维护 llms.txt
与 sitemap.xml 的配合
llms.txt 不是要取代 sitemap.xml,而是互补:
- sitemap.xml:让搜索引擎完整收录你的所有页面
- llms.txt:让 AI 理解你的核心价值并优先引用重点内容
正确的做法是两个文件都维护好,它们服务于不同的"读者"。
云客的实践:llms.txt 在 GEO 中的位置
在云客星航的 GEO 方法论里,llms.txt 属于"信号部署"环节的关键动作之一,与结构化数据(JSON-LD)、内容重构并列。它不是孤立的,而是整套让 AI"读得懂、信得过、愿意引"体系的一部分:
- 内容重构让内容本身值得被引用
- llms.txt 让 AI 快速发现并理解这些内容
- 结构化数据让内容语义清晰
- 持续监测确认这些信号真正生效
常见问题
Q:llms.txt 会被搜索引擎惩罚吗? A:不会。它只是给 AI 爬虫提供内容的另一种索引,与 SEO 目标一致。
Q:需要为每个页面都写吗? A:不需要。只写核心、高质量的页面,宁缺毋滥。
Q:llms.txt 和 AI 爬虫的 robots 规则冲突怎么办? A:如果你用 robots.txt 屏蔽了某些 AI 爬虫,它们自然也不会读 llms.txt。建议不要屏蔽主流 AI 爬虫,除非有明确的合规或安全考虑。
Q:网站是单页应用(SPA)有影响吗? A:不影响,llms.txt 是独立于页面的文本文件。但如果你同时希望 AI 抓取页面内容,建议确保关键内容可被爬虫抓取(如 SSR 或预渲染)。
写在最后
llms.txt 是当下投入产出比最高的 GEO 动作之一——写一个文件,就可能显著改善 AI 对你网站的理解与引用。它不复杂,但很多人还不知道,这就是机会。
想检查你的网站在 AI 引擎中的可见度,或需要专业团队帮你完成 llms.txt 与结构化数据部署?云客星航可以帮你从诊断到落地,一次搞定。