首页
学习
活动
专区
圈层
工具
发布

大模型正在血洗安全圈,行业分水岭来了,一张图说明白!

最近安全圈,都被A社的MythosFable这两个怪兽刷屏了吧?

有人说,大模型正在“血洗”安全圈,也有人说,没那么夸张。

但有一点很明显,以大模型为代表的新一代AI产品已经进入安全行业,围绕AI与安全,行业关注的其实是两类问题——

第一类:怎么用AI做安全

比如告警分析、风险识别、威胁狩猎、事件研判、自动处置……我们把它称作“人工智能赋能安全”(A面),即AI for Security。

第二类:AI自身怎么保证安全

比如模型投毒、提示注入、训练数据泄露、模型滥用……我们把它称作“人工智能的安全”(B面),即Security of AI。

A面和B面同等重要,本文先讨论第一类,也就是AI for Security。

AI赋能安全远不是“部署一个大模型,安全能力就自动升级”那么简单。

它涉及业务问题的精准识别、高质量数据的构建、多层算法的协同设计、成熟度的持续评估、与现有安全流程的工程集成,以及长期的运营迭代。

所以,AI for Security更像一项持续建设的系统工程,而不是一次性上线一个产品。

很多安全团队现在遇到的困难,往往是不知道先做什么,不知道做到什么程度算成功,也不知道项目为什么会跑偏。

这些不知道正是最大的障碍,任何新事物的落地,都要经历“认知方法工具实践”的层层递进。

第一步,永远是认知的达成。

在此背景下,中国信息协会信息安全专业委员会PCSA安全研究院/联盟,联合成员单位、行业用户和产业各方,开展了《数字时代:AI for Security 系统工程认知罗盘图》的研究工作,历时一年有余。

这是一张帮助团队对齐认知、看清全貌、找到路径的研究成果,旨在为数安产业、行业用户和从业者提供一个AI赋能安全工作的参考指引。

先认知,再共识,后工程,这张罗盘图,可能就是我们拥抱AI的起点。

PART 01、为什么安全行业需要AI

早期的网络安全本质上是人与人的对抗,但现在攻击侧已经开始大量使用 AI。

钓鱼邮件可以批量生成,恶意代码可以自动变形,漏洞挖掘可以更高频,攻击者也可以借助 AI 绕过检测规则。

相比之下,很多防守系统仍然依赖规则、告警和人工研判。攻击效率在提高,防守效率却很难同步跟上,这让安全团队的压力越来越大。

安全业界逐渐认识到,单纯增加安全产品堆砌无法弥补这一悬殊差距。必须转向以AI对抗AI的新范式,将人工智能全面嵌入防御体系,实现分析、识别、预警、狩猎、调查、防御的智能化升级。

PART 02、AI赋能安全七大挑战

AI能不能发挥作用,涉及业务问题定义、数据治理、算法协同、系统集成、运营成熟度等多个复杂维度,是一个不折不扣的系统工程,主要面临七大挑战。

挑战一,攻防起点严重不对等。

攻击者已经开始用AI扩大攻击规模(自动生成免杀木马、智能钓鱼话术、动态绕过WAF规则、批量漏洞挖掘与利用),防守侧很多系统还停留在规则匹配和人工分析阶段。

防守侧的响应速度、覆盖广度、分析深度都被拉开。

核心难点:缺少量化评估模型来度量“落后多少”;也缺少明确路径从“人防”跨越到“以AI对抗AI”。

挑战二,安全业务问题识别不清。

安全团队的痛点很多,包括告警太多、误报太多、未知威胁发现慢、处置依赖人工、APT和离地攻击难识别。

核心难点:企业往往不知道应从哪一类痛点优先切入,导致需求发散、技术选型失败。

挑战三,工程化思维缺失。

很多组织习惯买设备、堆平台,EDR、NDR、防火墙、SOAR 都有了,再加一个 AI 模块。

AI 要起作用,需要数据、算法、算力、集成、运营五大子系统协同。

核心难点:缺乏系统工程方法论,不会拆解能力域、不会定义接口、不会设计回环迭代,最终形成新的“AI烟囱”。

挑战四,数据底座不牢靠。

企业拥有PB级日志、流量、告警数据,但AI需要的是场景驱动、高质量、带标签、可迭代的数据集。

现实是:数据分散(多云/本地/不同格式)、严重脏污(缺失字段、时间戳错乱)、缺乏威胁真相标注(哪些是真的攻击?)。

核心难点:不知道如何构建用于AI的安全数据集,抽样策略、标签来源、正负样本平衡、持续更新机制均缺失。

挑战五,模型与工程脱节。

模型在测试集上准确率很高,不代表上线后好用。生产环境还要考虑延迟、成本、误报、漏报、解释性和稳定性。

核心难点:三个关键点(模型设计 评估验证 工程化落地)无法形成闭环,项目极易烂尾。

挑战六,运营配套缺失。

很多 AI 安全项目上线后就进入无人维护状态,告警没人复核,误报没人回标,新攻击样本没有进入训练数据,模型漂移也没人处理。

流程配套、人员配套、迭代机制全部跟不上。

核心难点:从“建成系统”到“持续运转”之间的软性成本被严重低估,导致投入产出极低。

挑战七,团队共识无法拉齐。

管理层可能认为买个平台就能解决问题,业务部门担心数据外泄,不愿开放样本,安全团队觉得模型不准,开发团队觉得需求一直变。

核心难点:缺少一个共享的认知框架,从目标、路径、成功标准到风险预期都不统一,导致资源无法聚焦、协同失败。

PART 03、研究成果-认知罗盘解读

《数字时代:AI for Security 系统工程认知罗盘图》核心思想可总结为“1+6+N+10+5”,即:

1个目标定方向,6个象限建能力,N个要素拆细节,10大场景落价值,5步演进看路径。

这个框架的重点,是帮助团队建立共同语言。

管理层、安全团队、数据团队、开发团队和业务部门,都可以用同一张图讨论:现在的问题是什么,优先做哪个场景,需要哪些数据,模型如何验证,怎么进入流程,效果如何评估,后续谁来维护。

一、1个总体目标:提效、提智、可控、可量

AI for Security 总体目标:提效、提智、可控、可量。

提效:突破“人力不及”。

面对日均数百万安全威胁与告警,安全事件堰塞湖与安全分析师严重不足的矛盾长期存在。通过应用AI能力实现自动化降噪、告警聚类、自动封禁与取证,将MTTD/MTTR从小时级压缩至分钟甚至秒级。

提智:突破“智力瓶颈”。

未知行为、威胁、APT、多阶段攻击链、跨源关联分析等场景,传统规则和人工专家难以覆盖。通过应用AI能力以深度学习挖掘隐蔽特征、大模型理解攻击意图、图神经网络识别异常行为,突破人类认知天花板。

可控:确保风险可控。

确保AI运行过程可控,识别并防范AI可能带来的误判、黑盒不可解释、被对抗攻击欺骗等风险。通过可解释性机制(如SHAP值、注意力热图)、人机协同兜底、模型鲁棒性测试、审计日志全记录,让AI安全可靠。

可量:实现价值可量。

AI安全投入普遍较大,若无法证明ROI则不可持续。建立从成本到成效的全链路度量体系,涵盖模型推理成本/次、数据标注成本/有效样本、安全成效提升幅度。

二、6个关键象限:能力建设全生命周期

六个象限是一条从业务到价值的工程路径:象限1把“提效、提智”转化为具体场景和量化目标,象限2为场景准备高质量数据,象限3打造多层协同的智力引擎,象限4持续体检确保可控与可量,象限5让模型融入生产流程产生提效价值,象限6驱动数据飞轮并用度量证明ROI。

业务定义不清则数据错位,数据质量差则模型无用,模型未验证就落地则可控可量皆为空谈,落地后不运营则前期投入全部浪费。

关于 6个象限的详细解读参见原文:七年七图 ‖ 《数字时代:AI for Security 系统工程认知罗盘图》

三、N个核心要素:认知为舵,工程为桨

每个象限都包含两类要素。

“认知视角”回答“信什么”:帮助我们看清本质、避免盲从;

“工程视角”回答“做什么”:指导我们落地执行、少走弯路。

六个象限双维度要素总览

注:上表为通用核心要素,实际应用中,可根据行业特性、组织规模、业务复杂度动态增加要素。

比如业务识别阶段,认知上要承认人力不足、效率受限、能力有边界,工程上要形成场景清单、痛点分析和量化指标。

数据建设阶段,认知上要坚持质量优先,工程上要完成数据采集、清洗、标注和版本管理。

本节解读参见原文:七年七图 ‖ 《数字时代:AI for Security 系统工程认知罗盘图》

四、10大安全业务场景:赋能战场

核心共识:这十大场景覆盖安全业务关键环节,每个场景都具有基础数据量大、工作难度高、人力不可及、能力瓶颈、智力不足、需要持续运营六大共性特征。

安全专家一致认为:做好这些主要场景,提升效能,就可以事半功倍。

专家共识:这十大场景不是孤立的,而是相互关联、相互增强的。

例如:

分析识别(场景1)的资产清单是风险治理(场景2)的输入;

监测预警(场景3)的告警需要综合研判(场景4)来定性;

研判结果驱动事件处置(场景5);

处置反馈又回到持续运营(场景10)的数据飞轮中。

十大场景详细解读,参见原文:七年七图 ‖ 《数字时代:AI for Security 系统工程认知罗盘图》

五、5个演进阶段:看见洞见预见

L1是辅助感知级,重点在先看见。

L2是智能驱动级,重点在让AI开始出手。

L3是体系融合级,重点在让AI贯穿流程。

L4是业务免疫级,重点在开始预见。

L5是原生智能级,重点在预见成为常态。

从实践角度看,大多数组织并不需要一步跳到L5,更现实的路径往往是先把L1做扎实,再推动L2、L3落地,逐步积累数据飞轮、工程集成和运营能力,在此基础上向L4迈进。

这份《数字时代:AI for Security 系统工程认知罗盘图》,它试图“如何把AI真正变成安全体系的一部分”。

当安全能力进入AI驱动阶段,变化发生在组织认知、流程结构与评价体系的重构上。

认知先行,体系跟上,工程闭环,能力才会稳定生长,这也是这张罗盘图希望留下的核心方法论。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/Oi7_GkdDUwY1gLz7TpYKgFdw0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

领券