代理访问站点时,除了 robots 与站点地图,还出现了一批面向模型的说明文件与元信息。它们不是标准,但值得作为「站点希望被怎样理解」的补充表达。

01已有的基础设施仍然最重要

robots.txt 表达抓取许可与频率预期,sitemap.xml 提供完整可发现的 URL 清单,二者是任何爬虫与代理的基础。比起追逐新文件,更值得先确认:站点地图是否随内容自动更新、规范链接是否指向正确的 www 或 https 版本、错误页是否返回正确状态码、重要内容是否无需 JS 就能读到。

写文档时把「抓取声明」的结论、适用前提与验证日期一并记下。浏览器能力与合规要求都在快速变化,一条带日期的记录,比一句没有上下文的「最佳实践」更能帮未来的维护者做出正确决定。

02面向模型的说明文件

llms.txt 一类约定试图用简洁的 Markdown 概述站点定位、主要栏目与推荐入口,降低模型理解成本;它不是 W3C 标准,支持程度不一,宜作为补充而非依赖。若提供,内容应与真实站点结构一致、保持精简、标注更新日期,并放在明确位置;不要在里面塞入前台不存在的宣传性描述。

写文档时把「抓取声明」的结论、适用前提与验证日期一并记下。浏览器能力与合规要求都在快速变化,一条带日期的记录,比一句没有上下文的「最佳实践」更能帮未来的维护者做出正确决定。

03语义层才是长期答案

对代理而言,稳定可解析的标题层级、landmark、表单 label、链接文本与结构化数据,比任何一份额外声明更可靠。把精力放在语义质量上,同时用服务器日志观察代理实际访问了哪些路径、在哪些页面出现解析困难,据此调整信息架构。声明文件会变,语义结构不会轻易过时。

写文档时把「抓取声明」的结论、适用前提与验证日期一并记下。浏览器能力与合规要求都在快速变化,一条带日期的记录,比一句没有上下文的「最佳实践」更能帮未来的维护者做出正确决定。

要点速览

  • 先做好 robots.txt 与自动更新的 sitemap.xml
  • 规范链接、状态码与服务端渲染内容比新约定更重要
  • llms.txt 类文件是非标准补充,需精简并与结构一致
  • 用日志观察代理路径,反推信息架构与语义缺口

与其写一份给机器看的说明书,不如把页面本身写清楚。