
WAIC 2026那场关于多模态的首席科学家圆桌,表面上讨论的是“多模态究竟是大语言模型的外挂,还是下一代智能的灵魂”,真正触及的却是一个更根本的问题:为什么今天的AI可以在第一次见面时表现得如此聪明,完成一百次任务之后,却仍然没有像一个实习生那样真正成长?语言还是视觉、Transformer还是世界模型、长上下文还是外部记忆,这些争论背后都指向同一个尚未解决的能力——模型能否把工作过程转化为经验,把经验转化为自身结构的变化,并在不依赖人类反复打补丁的情况下持续进化。
这是Agent时代最容易被繁荣景象遮住的缺口。今天的Agent已经能够写代码、整理研究、生成报告、调用系统、处理工单,甚至连续完成数十步任务。企业看到它第一次展示时,往往会产生一种强烈判断:既然它已经可以做这么多,那么随着使用次数增加,它自然会越来越懂业务、越来越熟悉组织、越来越少犯错。但现实常常相反。三个月以后,系统可能多了几十条提示词、十几个工具、几百条规则和一个更大的知识库,Agent本身却没有像人一样形成新的判断力。增长的是外围工程,而不是智能主体。
所以,科学家真正争论的不是多模态是否重要,而是我们是否仍在用一套“静态学习、一次训练、反复调用”的范式,去想象一个本应在环境中持续成长的智能体。如果这个问题不解决,无论模型看见多少图片、处理多长视频、拥有多少Token的上下文,它都可能只是一个拥有更丰富感官、更大笔记本,却没有发展能力的超级临时工。
今天的AI最大的悖论是:它出生时越来越聪明,工作以后却几乎不会长大。
张祥雨在圆桌中用Codex和实习生做了一个极有穿透力的对比:编码Agent的即时生产力可能已经相当于多个人,但无论使用多久,它自身的提升依然有限;一个实习生刚加入团队时也许什么都不熟悉,却会通过阅读代码、参与评审、经历故障、接受反馈,在几个月后形成对系统、团队和业务的理解。两者的差别不只是“人有情感、机器没有”,而是人会把经历转化为能力,今天的大多数Agent只能把经历转化为日志。
实习生第一次犯错以后,变化不仅发生在他的笔记本里,也发生在他对问题的注意方式、对风险的敏感度、对同事意图的判断和对流程例外的理解中。下一次面对相似任务时,他不会机械检索上次会议纪要,而是以一种已经被过去改变的状态重新进入问题。经验改变了他看见什么、忽略什么、优先处理什么。这种变化既包含可以说出来的知识,也包含难以完全语言化的直觉、习惯和程序性技能。
Agent则不同。它完成任务后,通常会清空当前上下文;即使系统保存了会话,下一次调用也只是把部分历史重新塞回Context。它可能通过RAG检索到以前的案例,也可能由工程师把失败总结写入System Prompt,但这些信息仍然是外部材料。模型并没有天然形成“我过去在这种条件下判断错了,所以现在需要先检查另一个信号”的稳定倾向。它可以回忆一个教训,却不一定已经被这个教训改变。
这也是为什么“一个Agent顶十个人”与“Agent可以替代一个成熟员工”不是同一个判断。前者描述的是并行执行、生成速度和单位成本,后者要求长期责任、情境理解、异常处理、经验积累与可信成长。Agent可以在一个小时内生成十个方案,但如果每次都以几乎相同的认知状态开始,它只是把静态能力以更低成本复制了十次,并没有形成组织所需要的复利。

Agent把任务变成输出,人把任务变成经验。真正的差距,不在第一次完成任务,而在第一百次之后谁发生了变化。
凯哥判断:Agent今天最强的是“第一次就能做”,最弱的是“做完以后会变”。企业如果只计算第一次交付的效率,就会高估Agent;如果计算一百次任务后的能力曲线,就会看到下一代竞争真正发生在哪里。
今天行业里大量使用“自我进化”“自我反思”“长期记忆”等词,但很多系统所谓的成长,其实混合了三种完全不同的变化。第一种是Context积累:系统把更多历史对话、文档、任务状态和工具结果放进下一次上下文。第二种是外围工程改善:开发人员增加规则、调整提示词、优化工作流、扩充工具或替换模型。第三种才是真正意义上的学习:Agent因为新的经历而形成了可以迁移到未来任务的记忆、策略、表征或参数变化。
Context积累像是给员工一张更大的桌子,可以同时摊开更多材料;外围工程改善像是经理重新设计了流程、更新了模板和检查清单;真正学习则意味着员工的判断结构发生变化。三种方式都能提高任务成功率,但只有第三种具备自我发展的含义。如果不区分它们,企业很容易把工程团队持续维护的成果误认为Agent正在自主成长,并由此对系统自治能力作出过度承诺。
“Self-Reflection”也经常被误解。让模型检查自己的答案、提出批评、重新生成,能够显著提高单次任务质量,这是测试时计算和自我修正的价值。但如果这次反思没有被选择、压缩并沉淀为以后可调用的经验,那么下一次任务仍然需要从头反思。它更像一个人在交卷前多检查一遍,而不是通过这次考试形成了长期能力。反思可以是学习的入口,却不自动等于学习。
同样,外部Memory也可能制造一种“成长的外观”。系统保存了所有任务日志,建立向量索引,每次检索相似案例,看起来像是拥有长期记忆。但如果它不知道什么值得记、如何处理冲突、何时遗忘、怎样把多个事件归纳成稳定规律,Memory最终会变成不断膨胀的数字仓库。模型越用越久,检索噪声越多,旧经验与新规则相互矛盾,系统甚至可能因为记住太多而表现变差。
变化类型 | 发生了什么 | 是否等于Agent成长 |
|---|---|---|
Context变长 | 当前任务能看到更多历史、文档和中间状态 | 否,主要扩展工作记忆 |
RAG/Memory增加 | 系统可以检索更多过去材料和案例 | 不一定,取决于是否形成选择、归纳与迁移 |
提示词与流程优化 | 人类工程师把失败转化为规则和工作流 | 系统进步了,但主要是人在替Agent学习 |
单次自我反思 | 增加测试时计算,修正当前答案 | 不一定,除非反思进入长期学习机制 |
在线学习 | 经历改变未来的记忆、策略、表征或参数 | 是,但必须解决安全、稳定与评估问题 |
日志不是经验,检索不是理解,反思不是成长。只有当过去稳定地改变了未来行为,学习才真正发生。
大语言模型的成功建立在一个非常强大的假设上:人类已经把足够多的知识和行为痕迹留在互联网中,只要收集、清洗并训练这些静态数据,模型就能压缩其中的规律,获得通用能力。这套范式让模型在部署之前完成绝大部分学习,部署之后主要负责推理。它像一个在进入公司前读完了几乎所有教科书和公开资料的天才,但正式工作以后,大脑被固定,只能依靠临时上下文和外部笔记适应企业。
这种“先训练、后使用”的分离,对软件产品非常友好。模型版本可以被充分测试,能力边界相对稳定,企业能够围绕它设计安全规则和成本预算。但它与生命和组织中的学习方式不同。人类并不是学习完成后才开始生活,而是在生活中不断学习;组织也不是制度制定完成后才开始运营,而是在客户、市场、故障和竞争中不断修正流程。真正的智能与环境之间存在一条永不关闭的反馈通道。
当AI从聊天工具走向Agent,这个矛盾就被放大了。聊天模型主要对答案负责,Agent则要对行动负责;答案错误可以重新生成,行动错误可能带来资金损失、生产中断或安全风险。与此同时,Agent又必须适应企业不断变化的价格、规则、系统、人员和例外。如果模型完全冻结,它会越来越依赖外围规则;如果允许它自由更新,又可能产生能力漂移、遗忘旧知识、学习错误经验甚至被恶意反馈操纵。
这就是持续学习中的“稳定性—可塑性”矛盾:系统既要保留已经验证的稳定能力,又要吸收环境中新出现的模式。过度稳定,Agent永远停留在发布当天;过度可塑,它可能因为几次异常反馈就改变核心策略。人类通过睡眠巩固、重复实践、社会反馈、情境区分和长期教育缓慢处理这一矛盾,而AI还缺少同等成熟的机制。
所以,下一代Agent不会简单地在每次任务后修改全部模型参数。更现实的方向,是形成多速度学习系统:短期变化首先进入工作记忆和情境记忆,反复验证的模式再进入语义记忆和程序性策略,只有经过评估、回放、对照实验和安全审查的高价值经验,才可能影响模型权重或核心策略。学习不是一个开关,而是一套有层级、有节奏、有治理的更新制度。
下一代AI的难点不是让模型“可以修改自己”,而是让它知道什么应该改变、改变到哪一层、何时生效,以及如何安全地撤回。
圆桌讨论中,Context被不断拉长,却仍然出现有效长度退化,这并不是单纯的工程优化问题。Transformer的Context更接近工作记忆:它能在当前任务中保留较高分辨率的信息,但注意力资源有限,内容越多,真正重要的信号越容易被淹没。视觉和视频输入进一步放大了这个问题,因为物理世界信息密度巨大,不可能把每一帧、每一个对象和每一次传感变化永远留在Context中。
人类记忆的强大不在于无损保存,而在于主动丢失。我们会迅速过滤大部分感知,只保留与目标、风险和情绪相关的部分;会把具体经历压缩为模式,把重复技能沉淀成几乎不需要意识参与的程序;也会遗忘过时或无关的信息。遗忘不是记忆系统的缺陷,而是智能能够在有限资源下保持有效的必要条件。
企业Agent同样需要分层记忆。瞬时感知记忆负责保存刚刚发生的视觉、语音和传感变化;工作记忆维护当前任务的目标、约束和中间状态;情境记忆保存具体事件及其结果;语义记忆从多个事件中抽象出稳定的业务知识;程序性记忆沉淀完成任务的方法、工具顺序和异常处理策略。除此之外,组织还需要规范性记忆,明确制度、权限和不可逾越的边界。不同记忆有不同的生命周期、可信度和更新权。
因此,Memory首先是治理问题,其次才是存储问题。谁可以写入长期记忆?一条失败复盘需要多少证据才能成为规则?新经验与正式制度冲突时谁优先?个人数据何时删除?被证伪的经验如何撤回?程序性记忆的每次调用是否需要留痕?如果这些问题没有答案,所谓企业Memory OS可能只是一个难以审计、不断累积偏差的黑箱。

记忆不是一个无限仓库,而是从感知、工作状态到情境、语义和程序性经验的多层结构,并由选择、压缩、验证与遗忘共同维持。
01 · SENSORY
保留秒级视觉、语音与传感变化,快速过滤与当前目标无关的信息。
02 · WORKING
承载当前任务目标、约束、计划和中间状态,容量有限但分辨率较高。
03 · EPISODIC
记录特定时间、对象、行动、反馈和结果,支持相似案例回放。
04 · SEMANTIC
从多个事件中归纳稳定知识、概念关系与业务规律。
05 · PROCEDURAL
沉淀如何完成任务、调用工具、处理例外的可复用技能。
06 · NORMATIVE
保存制度、权限、合规与价值边界,约束其他记忆和行动。
张祥雨把下一代自主学习拆成三个问题:怎么学、学什么、怎样学得高效。这三个问题看似朴素,却比“再增加多少参数”困难得多。怎么学,涉及在线更新的机制:是写入外部记忆、调整检索权重、更新策略模型,还是修改基础模型参数?不同层级影响范围不同,风险也不同。一次客户投诉可能只值得进入某个账户的情境记忆,一个跨区域反复出现的故障模式可能需要上升为语义规律,而一套经过大量验证的新操作方式才可能沉淀为程序性技能。
学什么,是探索和价值判断问题。现实世界没有老师为每一步操作标注标准答案,大量反馈是延迟的、模糊的,甚至相互冲突。销售Agent促成了订单,可能牺牲了利润;客服Agent快速结束工单,可能降低了客户信任;交通Agent缩短了主路拥堵,可能把压力转移给支路。系统必须理解组织真正优化的不是单一指标,而是一组有约束、有时间尺度的目标。如果奖励定义错误,Agent会非常高效地学会错误的事情。
怎样高效地学,则涉及现实试错成本。语言模型可以在数学题和代码任务中进行大量Self-Play,因为答案容易验证,生成数据成本较低。但在医疗、金融、交通和工业生产中,一次错误行动可能不可逆,反馈又可能几周甚至几个月以后才出现。Agent不可能通过无限现实试错获得能力,必须结合历史轨迹、离线评估、仿真环境、世界模型、影子运行、小流量试验和人类专家反馈,逐步扩大行动范围。
这里还存在“信用分配”问题。一个复杂任务由几十个步骤组成,最终失败究竟是哪一步造成的?是感知遗漏、知识错误、计划不合理、工具调用失败,还是执行环境已经变化?如果系统只能得到最终的“成功/失败”,就很难知道应该修改哪一层。高质量学习闭环必须保存完整轨迹,并把结果追溯到具体判断和动作,让反馈具有可学习的结构。
真正的自主学习,不是让Agent自由试错,而是让每一次行动都能产生可归因、可验证、可治理的经验。
过去两年,强化学习重新成为大模型发展的核心方法之一。它在推理、数学、代码等任务上的成功,很容易让行业形成另一个简单结论:只要给Agent增加RL,它就能在工作中自我进化。但企业环境与可验证推理任务有本质差别。代码能不能运行、数学答案是否正确,往往可以自动判断;战略建议是否真正有效、客户关系是否改善、风险是否降低,则受到长期环境和多重因素影响,很难用一个即时奖励表达。
张祥雨提出,RL高效的一部分原因来自On-policy:模型自己生成当前能力分布下的数据,再从这些数据中学习。满足这一特征的并不只有强化学习,蒸馏、自我修正和基于结果的回放也可以形成On-policy循环。这个判断很重要,因为它把关注点从某一种算法,转向“学习数据是否来自Agent自己的真实行为,以及结果是否能够反馈回来”。
对于企业来说,最有价值的数据不一定是通用互联网上更多的专家答案,而是Agent自己在本企业任务中产生的决策轨迹。哪些任务被成功完成,哪些步骤需要人类接管,哪些建议被业务人员否决,哪些行动带来长期收益,这些都构成贴近当前策略分布的学习数据。但On-policy数据也可能放大偏差:如果Agent最初不擅长某类任务,它产生的数据会集中在狭窄区域,甚至反复强化自己的错误。因此,系统还需要专家示范、反事实样本、外部评测与受控探索保持多样性。
世界模型在这里承担的是“降低现实反馈成本”的角色。它不是一个会生成漂亮视频的模型,而是一个能够估计环境如何响应行动的内部模拟器。Agent可以在真实执行之前比较多个方案、预演潜在后果、识别高风险路径,再把最值得验证的少数行动带到现实中。世界模型不可能完全替代现实,但可以让现实反馈变得更有选择、更安全,也更具信息价值。
今天大多数企业Agent仍然属于Workflow Agent:它理解请求、检索知识、调用工具、按照预设步骤生成输出。下一阶段的Learning Agent则要在此基础上增加一条跨任务的学习链路。它不仅完成工作,还要观察自己的工作;不仅保存结果,还要知道哪些过程值得沉淀;不仅调用既有规则,还要发现规则失效的条件;不仅在单次任务内反思,还要把高价值反思带到未来。
这要求企业重建六个相互连接的闭环。第一个是任务闭环,从目标到执行结果,确保每项行动可以被追踪。第二个是反馈闭环,把业务结果、用户评价、系统指标和人工接管信息返回Agent。第三个是记忆闭环,对轨迹进行选择、压缩、归类和冲突处理。第四个是评测闭环,持续比较新策略与基线,防止局部提升掩盖整体退化。第五个是治理闭环,控制学习范围、权限、数据使用和上线节奏。第六个是组织闭环,让业务专家、FDE、数据团队和模型团队共同解释失败并决定什么可以成为组织经验。

企业学习闭环必须让任务、反馈、记忆、评测、治理与组织协同形成螺旋式前进,而不是让Agent在同一条工作流上机械循环。
这套架构最关键的原则,是“学习与生产隔离,经验与能力分层”。Agent在生产中产生轨迹,但不能因为一次反馈就立即修改核心策略。新经验首先进入候选记忆区,经过脱敏、归因、证据检查和价值评估;策略更新在沙箱或影子环境中完成,通过回归评测、红队测试和业务对照后,才逐步进入更大范围。每一次更新都必须能够解释来源、评估影响并支持回滚。
因此,企业所追求的不是一个在后台悄悄“自我修改”的黑箱,而是一套可治理的持续学习系统。自治并不意味着无人控制,进化也不意味着随意变化。恰恰相反,越希望Agent长期成长,越需要清晰的记忆权限、证据标准、能力版本和责任边界。
凯哥判断:企业AI的下一代架构,不是让Agent拥有无限自治,而是把每次业务行动变成受治理的学习机会。真正的AI原生企业,是能够安全地把日常经营转化为模型和组织共同经验的企业。
如果Agent要成长,数据集的单位也必须改变。传统监督学习偏好输入—输出对:给定问题,提供正确答案;给定图片,提供准确标签。这类数据适合教模型“什么是对的”,却很难解释“为什么在这个情境下采取这个动作”“动作之后发生了什么”“哪个中间判断造成最终结果”。持续学习更需要Trajectory:状态、目标、约束、计划、动作、工具结果、人工干预、即时反馈、延迟结果与复盘结论的完整链路。
这意味着企业不能只建设知识库,还要建设经验库;不能只保留成功案例,还要有结构地保存失败、接管和例外;不能只记录最终业务指标,还要保留能够归因的中间过程。高质量数据集的评价指标也要从准确率、完整率扩展到轨迹连续性、反馈可验证性、因果可追溯性、任务覆盖度和经验可迁移性。
更重要的是,经验数据天然带有组织敏感性。它可能包含员工行为、客户互动、商业策略和失败决策,不能简单汇总后用于训练。企业需要在采集阶段建立目的限定、最小必要、身份隔离、权限继承和可撤回机制;在使用阶段区分个人记忆、团队记忆和组织记忆,避免一个场景的经验未经授权扩散到另一个场景。数据治理从保护静态字段,升级为治理智能的成长路径。
在这个意义上,高质量数据集不再只是训练项目的交付物,而成为企业学习基础设施。它连接模型、业务过程、评测和组织知识,决定Agent能否从一次次真实工作中形成可验证的复利。未来企业最稀缺的数据,不是又一批互联网文本,而是那些完整记录“当时看见了什么、为什么这么做、做完发生了什么”的真实经验。
未来最贵的数据,不是一个正确答案,而是一段能够解释成功与失败的完整经历。
Agent不会自动成长,也意味着AI落地不能只依赖模型团队。业务现场的目标往往模糊,反馈分散在多个系统和人手中,异常情境没有标准标签,失败原因更需要结合组织背景解释。谁来把这些碎片连接成可学习的轨迹?这正是FDE在AI下半场最重要的新角色。
传统实施团队关注需求、接口、功能和验收;模型团队关注数据、训练和指标;业务团队关注结果,却未必知道如何把隐性经验表达为机器可以学习的结构。FDE要横跨这三个世界:进入现场理解任务如何真实发生,识别关键判断点和例外,设计反馈采集和Memory结构,建立业务评测集,再推动策略在安全边界内迭代。
这使FDE从“把模型接入业务”升级为“让业务持续教会模型”。他的交付物不再只有应用、Agent和接口,还包括任务本体、经验轨迹、分层记忆、评测体系、学习节奏与治理制度。衡量FDE价值的指标,也不应只看上线速度,而要看系统在运行三个月、六个月以后是否减少人工接管、能否解释失败、是否沉淀了可复用能力,以及业务变化后能否安全适应。
Lean-FDE方法论在这里拥有天然优势。精益的核心不是一次性优化,而是通过价值流、快速反馈、问题暴露和持续改善建立组织学习。把这套逻辑引入Agent,就是让每一次任务成为可观察的价值流,让失败快速暴露,让反馈进入记忆和评测,让小步更新代替大规模盲目重训。模型成长与组织改善不再是两条平行线,而是同一个闭环的两面。
AI落地的最后一公里,正在从“把模型接进去”变成“让业务持续教会模型”。
未来五年,基础模型的即时能力仍会快速提升,Agent第一次完成任务的表现也会越来越惊艳。但当模型能力逐渐普及,企业之间真正拉开差距的,将不再只是接入哪个模型,而是谁拥有更高质量的反馈、更完整的经验轨迹、更成熟的Memory治理和更快的安全学习速度。
我们可能会看到两类企业分化。一类企业拥有大量Agent,却需要越来越庞大的工程团队维护提示词、规则和工作流,每一次业务变化都触发新的补丁,Agent数量增长反而带来复杂度债务。另一类企业把任务、反馈、记忆、评测和治理设计成统一基础设施,新Agent一上线就能继承组织经验,旧Agent产生的新经验也能经过验证后服务其他场景。前者规模化的是调用次数,后者规模化的是学习能力。
这也是为什么今天讨论多模态,最终会落到成长问题。多模态让Agent看到更完整的环境,行动让它产生真实后果,Memory让结果可以被保留,世界模型让经验能够被推演,在线学习让过去改变未来。如果缺少最后这条链路,多模态只会给一个不会成长的系统增加更多输入;只有当感知、行动、反馈和记忆共同组成学习闭环,AI才真正迈出从工具到智能体的一步。
回看WAIC科学家的交锋,我们会发现“多模态是外挂还是灵魂”只是表层命题。邱锡鹏关注Context与真实情境,刘子纬追问原生多模态数据和架构,张祥雨把焦点放在在线学习、记忆和自我进化,赵德丽强调物理世界中的行动、算法与反馈。所有观点最终汇聚到一个共同缺口:今天的模型可以调用过去人类积累的知识,却还不能稳定地把自己的当下经历转化为未来能力。
这并不意味着现有Agent没有价值。恰恰相反,它们已经是极其强大的生产力工具。但企业需要区分“能够完成任务”和“能够在任务中成长”。前者可以通过更强模型、更多工具和更好工作流不断提升;后者需要记忆架构、经验数据、在线学习、世界模型、持续评测与治理制度共同突破。
真正值得期待的下一代AI,不是一个永远需要人类在外围增加规则的天才,也不是一个在黑箱中随意修改自己的自治系统,而是一个能够在清晰边界内观察工作、理解反馈、形成经验、验证变化并逐步扩大能力的长期伙伴。它不会因为拥有无限上下文而成长,而会因为建立了正确的学习机制而成长;不会因为记住所有事情而聪明,而会因为知道应该保留什么、忘记什么、改变什么而成熟。
当企业开始围绕这种能力重构数据、架构和组织,Agent的价值曲线才会从一次性效率变成长期复利。那时,我们衡量AI的方式也会发生变化:不再只问它今天能做什么,而要问它昨天经历了什么、从中学会了什么,以及明天是否会因此做得更好。
模型时代比拼的是智能的起点,Agent时代比拼的是成长的斜率。