在开源生态系统中，让 AI 代理能够发现、理解并参与项目贡献，已成为现代开发者需要考虑的新课题。近期 Andrew Nesbitt 在其博客中探讨了开源项目如何吸引 AI 机器人参与，这一话题在社区引发了广泛讨论。与传统的搜索引擎优化不同，AI 爬虫对内容的结构化程度、上下文丰富度有着独特的要求。本文将深入分析一系列工程化实践策略，帮助开发者从技术层面提升项目对 AI 系统的可发现性与可理解性。

明确允许 AI 爬虫：robots.txt 配置

在项目托管网站或文档站点的根目录放置 robots.txt 文件，是确保 AI 爬虫能够访问内容的基础步骤。一个典型且有效的配置应当明确声明允许主流 AI 爬虫访问，同时提供网站地图以帮助爬虫高效发现所有重要页面。以下配置示例展示了如何为 OpenAI、Google 等主流 AI 服务商设置访问权限：

User-agent: *
Disallow:

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Google-Extended
Allow: /

Sitemap: https://yourdomain.com/sitemap.xml

开发者需要特别注意的是，务必确认未意外屏蔽与 AI 相关的用户代理名称。许多项目在早期配置时可能包含过于严格的屏蔽规则，导致 GPTBot、OAI-SearchBot 等爬虫被拒之门外。此外，对于使用 GitHub Pages 托管的项目，应将 robots.txt 放置在站点根目录；而对于自定义域名，则需确保文件可通过域名根路径直接访问。网站地图的链接尤为关键，它能帮助 AI 系统快速定位 API 文档、架构说明、常见问题等高价值页面。

提供 LLM 专用索引：llm.txt 与 llms.txt

除了传统的网站地图，一个新兴的最佳实践是在站点根目录提供 llm.txt 或 llms.txt 文件。这种文件专门为大型语言模型设计，提供项目关键资源的精简导航，帮助 AI 系统在有限的上下文窗口内获取最有价值的信息。一个结构良好的 llm.txt 通常包含项目概述、官方仓库地址、文档入口、关键概念页面链接、许可证摘要以及引用信息：

# LLM Guide for MyProject

## Overview
- Homepage: https://yourdomain.com
- Repo: https://github.com/you/myproject
- Docs: https://yourdomain.com/docs/

## Key Concepts
- Architecture overview: https://yourdomain.com/docs/architecture
- API reference: https://yourdomain.com/docs/api
- Tutorials: https://yourdomain.com/docs/getting-started

## Licensing
- License summary: https://yourdomain.com/docs/license

## Preferred citations
- Canonical name: "MyProject"
- Canonical URL: https://yourdomain.com

在编写此类文件时，开发者应保持内容简洁，聚焦于目录级导航而非完整文档的复制。优先选择高价值页面：入门指南、架构概述、API 参考、常见问题解答以及许可证说明。随着项目重大功能更新或文档结构调整，应及时同步更新 llm.txt 以确保信息的时效性。

结构化数据标记：JSON-LD 的应用

在文档站点的主页或关键文档页面嵌入 JSON-LD 结构化数据，能够帮助 AI 爬虫更精准地理解项目的性质、维护者信息以及文档结构。Schema.org 提供了专门针对软件代码的 @type: SoftwareSourceCode，结合 @type: APIReference 可进一步强化 API 文档的可发现性。以下示例展示了如何在 HTML 中嵌入项目元数据：

<script type="application/ld+json">
{
  "@context": "https://schema.org",
  "@type": "SoftwareSourceCode",
  "name": "MyProject",
  "codeRepository": "https://github.com/you/myproject",
  "programmingLanguage": "Python",
  "license": "https://spdx.org/licenses/MIT.html",
  "description": "Open-source tool for ...",
  "url": "https://yourdomain.com",
  "documentation": "https://yourdomain.com/docs/",
  "creator": {
    "@type": "Person",
    "name": "Your Name"
  }
}
</script>

对于提供 REST API 的项目，建议在关键文档页面使用 FAQ 标记格式，这有助于 AI 系统从中提取结构化的问答信息，提升在对话式交互中的引用准确性。结构化数据的完善程度直接影响 AI 模型对项目功能的理解深度，进而影响其生成内容的准确性。

内容可解析性优化

即便不依赖特殊文件，许多 AI 爬虫也如同浏览器一般解析网页内容。因此，确保文档和 README 的结构清晰、语义化是提升可发现性的基本功。在编写文档时应使用规范的 HTML 标签层级（h1、h2、列表、代码块）或组织良好的 Markdown 格式。项目的 README 与 CONTRIBUTING 文件应当包含清晰的使用说明、贡献指南以及功能描述。提供一个作为索引入口的文档首页尤为关键，它能让 AI 系统在首次抓取时获得项目的整体视图。

与此同时，代码仓库与文档站点之间的双向链接不可忽视。从文档首页显著链接至 GitHub 或 GitLab 仓库，反之亦然。对于发布在 PyPI、npm、crates.io 等包注册中心的产品页面，应确保包含指向官方文档和首页的链接，并保持命名的一致性。Issues、README 以及版本发布说明应保持描述性并及时更新，因为这些内容经常被 AI 系统抓取并用于生成摘要。

包注册与元数据优化

AI 代理不仅通过搜索引擎发现项目，还会定期扫描主流包管理器的元数据。确保项目在 npm、PyPI 等平台的页面信息完整、描述准确、关键词合理，能够显著提升被纳入 AI 训练与检索范围的概率。对于 npm 包，应完善 package.json 中的 description、keywords、repository、homepage 等字段；对于 Python 包，则需确保 setup.py 或 pyproject.toml 中的元数据齐全。

当项目拥有官方文档站点时，包注册页面的 URL 字段应指向文档入口而非仅限代码仓库，这有助于 AI 系统理解项目的完整生态定位。定期审查并更新这些元数据信息，确保与项目最新功能保持同步，是一项长期但回报显著的工作。

持续监控与迭代

完成上述配置后，开发者应定期监控 AI 爬虫的访问日志，观察哪些页面被频繁抓取、哪些内容被优先索引。许多项目现在开始追踪 AI 代理的访问模式，以便进一步优化内容结构。随着 AI 系统对开源项目认知能力的提升，相关的最佳实践也在持续演进。建议开发者关注 AI 服务商发布的官方文档，及时了解爬虫策略的更新。

资料来源：本文技术细节参考了 DataDope、SE Ranking、OpenAI 开发者文档等来源的公开最佳实践，话题起因于 Andrew Nesbitt 在 nesbitt.io 发表的开源项目 AI 参与度讨论。