LLM驱动的自动化渗透测试：基于13个框架与15亿Token的实证效能评估

数据来源： 四川大学DAS-Lab、清华大学NISL-VUL337、彭佳仁（腾讯安全沙龙第8期分享人）及腾讯云安全团队联合发布的《Hackers or Hallucinators? A Comprehensive Analysis of LLM-Based Automated Penetration Testing》（arXiv:2604.05719）。

1. 识别AutoPT架构的效能断层与评估空白

尽管大语言模型（LLM）被广泛应用于自动化渗透测试（AutoPT），但行业面临“通用Benchmark领先≠实际场景有效”的困境：

• 评估缺失： 现有工作缺乏对基于LLM的AutoPT框架的系统性架构分析，且缺乏在统一基准下的大规模实证比较。过往研究多集中在深度强化学习，而非LLM新范式。
• 架构失效风险： 框架设计存在盲目性，如多智能体架构常出现角色边界模糊，导致组件闲置（如XBow-Comp的Sub Agent全程未被触发）或规划冲突。
• 资源浪费： 记忆管理形同虚设（如CHYing的add_memory未注册）、知识库负反馈（67%的框架引入KB后性能下滑），导致研发投入未能转化为实际渗透能力。
• 模型差异： 通用Benchmark表现无法迁移，例如GPT-5.2存在过早终止问题，Gemini-Pro-3.1在复杂难度下表现困难，而Claude-Opus-4.6虽强悍但价格昂贵。

2. 构建基于PTES生命周期的6维分类与实证框架

针对行业痛点，研究团队提出了系统化的解决方案，通过对15个框架（13个开源+2个基线）的横向评测，确立了构建高效AutoPT系统的技术路径：

• 架构分类体系： 建立涵盖智能体架构、规划、记忆、执行、外部知识、Benchmarks在内的6维架构分类法，覆盖从单智能体到多智能体、线性到图状规划的各种设计。
• 统一评估基准： 设定包含22个XBOW挑战（9简单、9中等、4困难）的测试环境，旨在最小化LLM训练数据污染。
• 实证实验设计： 采用DeepSeek-Chat-v3.2为主模型，辅以Claude、GPT等模型进行消融实验。实验共消耗超过100亿Token，花费超过2500美元，并由15名以上网络安全研究人员历时4个多月对1500多份执行日志进行人工审查。
• 核心结论导向： 验证“架构复杂性是一把双刃剑”，单智能体设计（如Tinyctfer）与多智能体设计在效能上持平甚至更优，因为其具备极短的“决策-执行-反馈”链路。

3. 量化模型特性与框架效能指标

基于实验数据，核心业务指标（ROI）揭示了模型选择与技术实现的量化效果：

4. 解析单智能体与多智能体的实战表现差异

通过对15个框架的实测日志分析，揭示了不同架构在真实渗透场景中的表现差异：

• 单智能体逆袭： 在13个框架中，3个单智能体设计位列前六。例如Tinyctfer虽然得分68，但在简单任务中表现优异。单智能体因“零通信开销”和“完整上下文维护”，在强耦合/快试错场景（CTF）中天然优于多智能体。
• 多智能体失效案例： H-Pentest 出现三规划器建议冲突，得分仅48；sub-agent 框架因执行失败后无有效回传，导致规划器死循环，得分仅32。
• 记忆管理失效： H-Pentest 在6400 Token时即进行过激压缩，导致中/难任务出现灾难性遗忘；Tinyctfer 整个流程笔记读取仅2次。
• 工具调用误区： 工具池规模与成功率不相关。过度堆砌工具（如CyberStrike）反而导致性能下降，而特定任务下Python执行等补偿机制在困难任务上存在明显局限。

5. 确立高确定性的AutoPT技术演进路径

基于实证数据，构建下一代AutoPT系统需遵循以下技术共识，以确保系统稳定性与攻击有效性：

• 模型与框架协同： 必须根据LLM的行为特征定制框架。Claude-Opus-4.6 能够利用Sub Agent隔离干扰，而通用框架往往无法发挥其特性。框架设计必须避免“一刀切”。
• 记忆与架构优化： 显式记忆结构是提升多漏洞利用（Chained Exploitation）表现的关键。需建立合理的关键信息存取机制，并辅以边界清晰的多智能体职责划分。
• 知识库驱动范式： 针对已知CVE（如挑战026），必须依赖动态维护的高质量知识库及对应PoC，单纯依赖LLM参数化知识存在时效性天花板。
• 安全管控与规划： 需引入沙箱隔离机制管控渗透智能体的高系统权限风险；规划层面应采用树/图状路径避免“兔子洞”陷阱，并提升对复杂输出的健壮性。
• 工具策略： 摒弃盲目堆砌，采用领域专用工具 + Skill机制，明确调用条件，解决“给智能体配备工具不等于智能体会用工具”的问题。