腾讯云 EdgeOne 发布了《腾讯云2025年DDoS与应用安全威胁趋势报告》。

在聊报告之前，先看一组我们在EdgeOne上观察到的典型AI爬虫命中数据：

这些不是什么大型互联网平台——就是个人站长、小团队在运营的站点。

一个个人站，一天就被AI爬虫请求了近20万次。

而且这不是恶意攻击，是AI爬虫在正常地批量抓取页面内容。你的站可能也在被抓，只是你不知道——因为AI爬虫通常不执行JavaScript，

它们的访问不会出现在Google Analytics或百度统计里

带着这些案例，我们来看这次报告里的几个关键发现。

📊 Bot流量占全网近四成，AI爬虫是最大增量

Bot流量已经占到全网互联网流量的近四成

，已经成为互联网流量的重要组成部分。

其中AI爬虫是增长最快的类型。各大AI公司的爬虫程序正在全网范围内批量抓取内容，为大模型训练和AI搜索提供语料。它们的抓取是

——不看你的站大不大、有没有名气，只要能被公开访问就会被扫到。

，媒体和内容类站点紧随其后。如果你运营的是内容型站点，被AI爬虫覆盖的概率更高。

📊 AI爬虫带来的不只是流量消耗——它在改变内容的价值链

传统Bot的威胁主要是安全层面的（DDoS、CC攻击、恶意扫描等）。但AI爬虫带来了一种全新的影响——

AI爬虫抓取你的原创内容 → 用于大模型训练 → AI可以直接回答用户的问题 → 

AI搜索引擎抓取你的内容 → 在搜索结果中直接呈现摘要答案 → 

电商/导购站的价格数据被批量获取 → 可能被用于训练自动比价AI → 

你的核心商业数据变成了别人的训练素材

这和传统的"被攻击"不一样。你的站没有宕机、没有被入侵，但你的

内容资产和数据资产在不知不觉中被获取和利用

传统的手动封禁策略对AI爬虫力不从心。

 → AI爬虫使用动态IP池轮换，逐个封禁跟不上

 → 只是"君子协定"，越来越多的AI爬虫并不遵守

 → 部分AI爬虫会伪装User-Agent，不一定能通过UA识别

 → AI爬虫的单次请求频率不一定高，但一天累计下来就是几万到几十万次，很难通过简单的频率阈值来拦截

对没有专职安全人员的个人开发者来说，持续跟踪和封禁新出现的AI爬虫，成本太高。

回到开头的案例，不同类型的站点受AI爬虫的影响各不相同：

公开内容进入模型训练后，AI可以直接回答用户问题，

社区里用户多年积累的知识和讨论，被大模型快速"学走"，社区的独占价值被削弱

内容被AI改写后出现在其他地方，有稀释搜索排名的风险

核心商业数据（价格策略、选品数据）被免费获取，可能被用于训练自动比价或选品AI

高频请求消耗服务器资源，旺季可能影响真实买家的访问体验

AI爬虫只抓数据不渲染广告——如果你靠广告变现，

API接口的返回值可能被抓取，白白消耗调用配额

小站长的低配服务器资源有限，高频爬虫请求可能直接影响正常用户的访问速度

所有站点共同面临的：隐形资源消耗

不管你是哪类站点，AI爬虫的每一次请求都在消耗你的带宽和算力。如果你用按量计费的云服务，

这些成本你在承担，但没有产生任何收入

前面说过，AI爬虫不执行JS，所以不会出现在你的用户统计里。

你的数据面板看起来一切正常，但服务器负载和带宽消耗在悄悄增长。

四、EdgeOne AI爬虫处置：一键开启，自动识别

我们在EdgeOne「基础Bot管理」中上线了AI爬虫处置功能，一键开启，免费可用。

内置主流AI爬虫特征库，覆盖20+种AI爬虫，

特征库持续更新，新出现的AI爬虫会在识别后加入

完全不影响百度、Google等搜索引擎爬虫

你可以根据业务需要选择处置策略：

——直接阻断AI爬虫请求。适合想保护原创内容、保护API数据的站点

——允许AI爬虫访问。适合希望内容被AI索引、通过AI应用触达更多用户的站点（比如产品官网、营销页）

——只记日志不做处置。还没想好怎么配，先记录一段时间再决定

注意：API域名不要用JS挑战，会导致客户端调用失败

可以对不同域名设置不同策略——比如博客域名选拦截、官网域名选放行。

控制台 → 站点 →「安全防护」→「Web防护」→ 域名级防护策略 → 目标域名 →「Bot管理」→「基础Bot管理」→「AI爬虫处置」

不需要写代码、不需要研究规则，

3分钟完成配置，所有套餐（含免费版）都能用。

五、不知道该配什么安全？系统帮你推荐

AI爬虫之外，我们的报告还分析了DDoS攻击、HTTP/S应用层攻击等更广泛的安全威胁。

很多开发者的困扰不是"不想配安全"，而是——面对各类安全威胁时不确定自己的站点该优先防什么、规则该怎么配置。

「安全配置指引」让规则配置更简单：

 在指标分析页面看到可疑流量特征时，选中域名和 Path，点击「创建自定义规则」即可携带当前条件直接跳转到规则配置页，无需重复手动填写匹配条件。

操作路径：控制台 →「数据分析」→「指标分析」→ 筛选域名和 Path →「创建自定义规则」→ 跳转至规则配置页（匹配条件自动带入）

本文聚焦的是报告中AI爬虫和Bot相关的部分。完整报告还覆盖了更广泛的安全威胁趋势：

2025年DDoS攻击趋势全景——攻击峰值突破 4 Tbps，同比增长近3倍，年末强度创历史新高

HTTP/S应用层攻击从"小规模试探"到"超大规模集中爆发"的模式转变

各行业安全威胁对比——游戏行业是DDoS首要目标，政务类网站Bot率最高

一个技术博客，一天被AI爬虫请求了18万次 | 2025安全威胁报告

产品运营

腾讯云报告揭示：AI爬虫流量激增，占全网近40%，威胁内容价值与服务器资源。EdgeOne推出AI爬虫处置功能，支持自动识别20+种AI爬虫，提供拦截/放行/观察/挑战四种策略，3分钟即可配置，免费保护网站免受AI爬虫消耗。

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

一个技术博客，一天被AI爬虫请求了18万次 | 2025安全威胁报告

一个技术博客，一天被AI爬虫请求了18万次 | 2025安全威胁报告

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐