

# 让 AI 爬虫读懂你的网站：robots.txt、llms.txt 与 UA 放行的完整工程实践

做内容运营的同学可能已经发现一个现象：官网在百度排名不错，但用户问 DeepSeek、豆包"XX 公司是做什么的"时，AI 要么答不上来，要么答非所问。

排查到最后，相当一部分案例的根因在最底层：**AI 爬虫根本没被放进你的网站。**

这篇从工程角度完整梳理：主流 AI 爬虫的 UA 清单、robots.txt 的正确配置、llms.txt 的写法、如何用服务器日志验证爬虫是否真的来了，以及几个常见的踩坑点。

## 一、先搞清楚：AI 爬虫和搜索爬虫不是一回事

传统 SEO 只需要关心 Googlebot 和 Baiduspider。但 AI 时代的爬虫分成三类，用途完全不同：

| 类型 | 代表 UA | 用途 | 对品牌的意义 |
|---|---|---|---|
| 训练爬虫 | GPTBot、ClaudeBot、Bytespider、CCBot | 抓取内容用于模型训练 | 决定 AI 的"长期记忆"里有没有你 |
| 检索爬虫 | OAI-SearchBot、Claude-SearchBot、PerplexityBot、Google-Extended | AI 回答前的实时联网检索 | 决定 AI"现在"能不能查到你 |
| 用户代理抓取 | ChatGPT-User、Claude-User、Perplexity-User | 用户主动让 AI 访问某页面时代抓 | 决定 AI 能不能读你的指定页面 |

三类 UA 的放行策略应该分开考虑。最常见的问题：**只放行了搜索引擎蜘蛛，三类 AI 爬虫全被 robots.txt 默认规则或 CDN 防火墙拦在门外。**

## 二、robots.txt 配置实践

一份覆盖主流 AI 爬虫的 robots.txt 参考配置：

```
# ===== AI 训练与检索爬虫 =====

# OpenAI
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /

# Anthropic
User-agent: ClaudeBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /

# 字节（豆包）
User-agent: Bytespider
Allow: /

# Perplexity
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /

# Google Gemini（注意与 Googlebot 分开）
User-agent: Google-Extended
Allow: /

# Apple / Amazon
User-agent: Applebot-Extended
Allow: /
User-agent: Amazonbot
Allow: /

# 公共语料库
User-agent: CCBot
Allow: /

# ===== 国内搜索引擎 =====
User-agent: Baiduspider
Allow: /
User-agent: 360Spider
Allow: /
User-agent: Sogou web spider
Allow: /
User-agent: YisouSpider
Allow: /

# 兜底：对未来出现的新爬虫保持开放
User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml
```

三个工程要点：

1. **`Google-Extended` 和 `Googlebot` 是独立的 UA**。拦了前者只影响 Gemini 训练，不影响 Google 搜索排名——这是 Google 官方明确的解耦设计，可以放心分开控制。
2. **兜底规则用 `Allow: /` 而不是 `Disallow`**。AI 爬虫的 UA 列表每个月都在变（国内大模型厂商的爬虫命名尤其不统一），白名单模式会漏，黑名单模式（只拦私密路径）更稳。
3. **robots.txt 不是安全层**。私密接口、用户数据路径的防护应该靠应用鉴权和服务器 ACL，别指望 robots.txt——它在规范里只是"君子协定"。

## 三、llms.txt：给 AI 的站点地图

llms.txt 是 2024 年出现的社区标准（llmstxt.org），定位是"给 LLM 看的 robots.txt + sitemap"：用 Markdown 格式声明站点的核心内容地图，让 AI 用最低成本理解"这个站是什么、哪些页面最重要"。

一个最小可用的结构：

```markdown
# 品牌名 — example.com

> 一句话品牌定义：这家公司是谁、做什么、核心产品是什么。

## Primary resources

- [产品总览](https://example.com/products.md)
- [定价说明](https://example.com/pricing.md)
- [常见问题 FAQ](https://example.com/faq.md)
- [客户案例](https://example.com/cases.md)
```

实践建议：

- **放在站点根目录** `/llms.txt`，多语言站点可以做 `/zh/llms.txt`、`/en/llms.txt` 分版，再加一份聚合核心页全文的 `llms-full.txt`——三层结构供不同抓取深度的模型使用：轻量爬虫读总入口，深度抓取直接吃 full 版
- **开头那段"一句话定义"最重要**——AI 抓取后压缩品牌定位时，优先吃的就是这段。定义句要包含：品牌名、域名、品类定位、核心产品名。反例是我们实测见过的：某品牌官网只有营销口号没有定义句，AI 转述时把它的业务压缩成了另一个品类
- 进阶做法：给每个页面提供 `.md` 直出版本（如 `/pricing.md` 返回纯 Markdown），AI 解析成本远低于 HTML。这是目前海外 AI-native 站点的流行做法，国内也开始有站点跟进
- sitemap.xml 记得带 hreflang 双语互链和 lastmod 时间戳，帮检索型 AI 判断内容新鲜度

## 四、验证：用访问日志确认爬虫真的来了

配置完不等于生效，要看日志。AI 爬虫的验证比普通爬虫简单——UA 特征明显：

```bash
# nginx 日志里统计各 AI 爬虫的访问情况
grep -oE "GPTBot|OAI-SearchBot|ClaudeBot|Claude-SearchBot|Bytespider|PerplexityBot|Google-Extended" \
 /var/log/nginx/access.log | sort | uniq -c | sort -rn

# 看某个爬虫具体抓了哪些页面
grep "Bytespider" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20
```

按这个口径建一张周报，盯三个指标：

1. **各家 AI 爬虫的周访问次数**——发布新内容后 3-7 天内有没有出现对应抓取
2. **被抓取的页面清单**——核心事实页（FAQ/定价/案例）在不在清单里；不在就说明入口权重不够，需要加内链、提交 sitemap
3. **HTTP 状态码**——如果爬虫大量收到 403/429，说明 WAF 或限流规则误伤了

一个高频踩坑点：**很多 CDN/WAF 的默认 Bot 防护规则会把 AI 爬虫当成恶意流量拦截**（GPTBot 的抓取频率不低）。robots.txt 放行了但 WAF 在拦，日志里表现为 403 激增——排查时两个层面都要看。

## 五、内容侧的三个配套动作

爬虫进来了，还得有东西可吃、吃得动：

**1. 关键页面静态化。** JS 动态渲染的内容，部分 AI 爬虫（尤其训练类）不执行 JS，抓到的是空壳。核心事实页尽量服务端渲染或纯静态输出。

**2. 结构化表达。** AI 提取信息偏好：H2/H3 分节、FAQ 一问一答（问题做标题、第一句直接给答案）、表格、先结论后展开。一个自查方法：把页面另存为纯文本，如果你自己 10 秒内找不到"这家公司做什么、怎么收费、有什么案例"，AI 也找不到。

**3. 全渠道口径一致。** AI 组织答案时会做跨信源交叉验证，官网、百科、自媒体对同一事实的表述不一致时，处理方式不是挑一个信，而是降权或不引用。建议把品牌的核心事实写成"标准定义句"，所有渠道统一引用同一句话，并定期做一致性审计——这正是 GEO（生成式引擎优化）里"事实治理"环节要解决的问题。

## 六、效果预期与测量

最后说预期管理，避免白忙：

- 配置修复后，**联网检索层**（AI 实时搜索）的变化通常 2-4 周可观测
- **训练语料层**（AI 的长期记忆）要等模型下一次训练更新，以月计，不要作为短期 KPI
- 测量方法：固定 20-30 条真实用户问题 × 3-4 个模型，每条采样 3 次取多数判定，记录提及率/推荐率趋势。`query_id` 固定编号，保证跨周期可比

爬虫放行和内容结构化是"必要不充分条件"——它解决的是"AI 能不能看到你"，至于"AI 会不会推荐你"，还要看信息密度和第三方信源，那是另一个话题，有机会再展开。

---

*本文基于Winin(winin.ai)团队的工程实践整理，配置清单截至 2026 年 9 月，各模型厂商的爬虫 UA 可能调整，建议以官方文档为准。笔者团队长期从事品牌 AI 可见性监测方向工作。欢迎评论区补充你见过的其他 AI 爬虫 UA。*

-

做内容运营的同学可能已经发现一个现象：官网在百度排名不错，但用户问 DeepSeek、豆包"XX 公司是做什么的"时，AI 要么答不上来，要么答非所问。

让 AI 爬虫读懂你的网站：robots.txt、llms.txt 与 UA 放行的完整工程实践

人工智能

网络与通信

运维

AI爬虫放行是品牌在AI搜索结果中可见的前提。本文给出完整工程实践：区分三类AI爬虫（训练/检索/用户代理）并分别配置robots.txt；部署llms.txt作为AI站点地图，提供纯文本版内容；通过nginx日志验证爬虫真实访问，排查WAF误拦；配套静态化页面、结构化表达和全渠道事实一致性治理。配置修复后，联网检索可见性2-4周可观测。

代码解释

服务器

防火墙

DeepSeek

ChatGPT

CDN免费试用


热销域名限时优惠，新客首年免费！


domain

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

AI爬虫放行是品牌在AI搜索结果中可见的前提。本文给出完整工程实践：区分三类AI爬虫（训练/检索/用户代理）并分别配置robots.txt；部署llms.txt作为AI站点地图，提供纯文本版内容；通过nginx日志验证爬虫真实访问，排查WAF误拦；配套静态化页面、结构化表达和全渠道事实一致性治理。配置修复后，联网检索可...

让 AI 爬虫读懂你的网站：robots.txt、llms.txt 与 UA 放行的完整工程实践-腾讯云开发者社区-腾讯云

让 AI 爬虫读懂你的网站：robots.txt、llms.txt 与 UA 放行的完整工程实践

让 AI 爬虫读懂你的网站：robots.txt、llms.txt 与 UA 放行的完整工程实践

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐