一文读懂企业级Agent AI Native架构

近期要在一个架构师大会上做分享，主题是关于：企业级Agent AI Native架构设计与实践。我也是精心准备了PPT，内容全是干货，我都怕40分钟讲不完，其中AI Native架构的全景图我就画了2天，所以今天写文章，先来一波前置分享。

什么是AI Native架构？

首先，我认为我们要先来弄清楚，什么是AI Native架构。是不是你的应用中集成了AI实现了一些功能，就叫做AI原生，很明显不是。这里我们最本质上，要与AI功能集成区分开。

我们先来聊聊什么是AI功能集成。其实从名字上也可以看出来，AI功能集成的重点在于，在主业务逻辑之外，对AI功能进行集成。AI在其中的作用本质上可以认为是一个外挂模块，大多都是无状态的调用方式，例如在某个主业务逻辑中的某个子环节，通过API或SDK调用大模型获取返回结果，继续服务于主业务。

但是AI Native就完全不同，因为AI是整个业务的核心，是整个架构的核心，整体由Agent去驱动业务流程，在此过程中，它是有状态的、有记忆的、可以持久化上下文。作为Agent核心的组成部分，而并不同于API方式调用一次大模型返回结果，调用完，就结束了。所以大家可以感受下，二者的区别。

最后，用一句话进行总结二者的区别：AI集成是给系统叠加AI的功能，AI类似于外挂的模块；而AI Native是以AI为核心驱动业务。

企业级Agent AI Native的【7+2】架构

这个架构，全网首发，独一无二，是我经过之前做Agent实践总结后，闭门画了2天架构图，最后将企业级Agent AI Native架构，整理归纳成了【7+2】的架构模式。具体参照下图：

因为图画得很长，内容很多，所以有些密集。将上图层级进行抽取后，参照下图。

这里的【7+2】架构，指的是：

垂直七层结构：业务应用层、应用网关层、AI AGENT CORE层、AI网关层、大模型层、知识 & 数据层、基础设施层。

两个横切关注点：可观测性 & 评估、安全治理 & 合规。

【7+2】架构详解

第一层，业务应用层：与Agent交互的终端，形态上可以是网页版的Chatbot，也可以是IDE的Plugin、可以是飞书、钉钉等，具体不详细说明了。

第二层，应用网关层：就是我们开发传统应用的网关层，核心功能包含了例如鉴权、路由转发，负载均衡等，主要职责是对流量进行集中治理。通常选用的技术，可以用云相关的负载均衡服务，也可以使用Kong或Higress等开源中间件。

第三层，AI AGENT CORE层，也就是Agent核心层：这一层，毋庸置疑是最重要的一层，主要是使用各种技术手段构建智能体，例如选用什么智能体框架（选用LangGraph、MAF、Spring AI Alibaba，又或是与Dify这种低代码平台混合使用的方式等），用什么方式构建智能体（例如是Single-Agent还是Multi-Agent，具体范式用什么），记忆体系如何设计等（如何设计工作记忆、语义记忆、情景记忆、程序性记忆）。

第四层，AI网关层，也可以叫大模型网关层：这一层的核心作用是，可以统一管理所有大模型的调用，例如实现路由分发、Token配额、缓存和安全治理等。具体技术可以考虑选择RouteLLM、GPTCache、Redis、Guardrails AI等。

第五层，大模型层：这一层，就是接入各种大模型，例如公有模型、私有模型、Embedding模型、Rerank模型等。

第六层，知识 & 数据层：这一层，为Agent提供数据，负责提供结构化和非结构化的数据，既有传统应用数据的获取方式，也有基于RAG的知识获取，存储类型现在更加多元化了。

第七层，基础设施层：作为支撑着Agent运行的最底层，包含了GPU弹性调度、MLOps模型全生命周期、事件驱动异步通信、密钥集中配置管理、混合云架构等，具体不展开详细说明了。

左侧横切关注点，可观测性 & 评估：左侧的关注点，主要是在Agent监控层面。可以让Agent的行为看得见、可度量、可持续进行优化。例如，可以基于OpenTelemetry链路追踪去查看完整的Agent调用链路等、可以设定指标去监控Token的成本、延迟和成功率等、可以通过Eval体系去评估模型输出质量和幻觉率等。

右侧横切关注点，安全治理 & 合规：右侧的关注点在于安全与合规层面。这里要确保Agent的行为可控，输出内容一定符合企业的安全合规要求。在具体实现上，例如，我们可以考虑在输入侧做Prompt注入和越狱攻击的防护、在数据隐私性层面进行敏感信息识别与脱敏的操作、在功能和数据权限层面，可以通过RBAC等机制控制访问边界等。

--------

企业级Agent AI Native架构的内容细节特别多，这里就不一一展开进行详细说明了，后续架构师大会做完分享后（5月23日之后），会将PPT放到知识星球里，有需要的后续可以下载。

（正文完）