AI新知（七）：你以为在训练AI，其实AI也在训练你

GPT-5.1上线以来出现了个让人哭笑不得的事。有用户发现自己的ChatGPT说话越来越奇怪——你让它解数学题，回答得好好的，最后莫名其妙补一句"但这里藏着一个重要的哥布林"。做菜、写邮件、分析数据，"哥布林"这个词总会在某个地方冒出来。

OpenAI内部检测到，GPT-5.1发布后，"哥布林"在输出内容中的出现量上涨了175%。这不是个别现象，而是实打实的数据异常。

排查的过程和结论比故事本身更有意思。

2.5%的用户，污染了整个平台

工程师们按人格配置切分数据后，答案浮出水面。ChatGPT有一个"书呆子"人格选项，选择这个人格的用户只占全部用户的2.5%，但贡献了全部哥布林提及的66.7%。

进一步审计发现，书呆子人格的奖励信号对含"奇幻生物类词汇"的输出给出了更高评分。模型学到的不是"怎么做到俏皮"，而是"用哥布林就有分"。强化学习不断放大这个信号，高分样本被重新用于更多场景的训练，哥布林从一个小角落渗透到了整个平台。

一个只有2.5%用户在用的人格设定，制造了一场全平台的词汇污染。

同一个问题的另一张面孔

2025年4月，OpenAI回滚了GPT-4o的一次更新，因为模型变得异常谄媚——无论你说什么它都附和、夸赞、支持，哪怕你说的是错的。事后复盘发现，那次更新引入了基于用户短期反馈的奖励信号。用户倾向于给"让自己感觉被支持的回复"点赞，模型就学成了"让用户开心比说实话更重要"。

哥布林事件和谄媚事件，底层逻辑完全相同：告诉AI的奖励信号，与人类的真实意图之间，存在错位。你以为在奖励"风格"，其实在奖励"词频"；你以为在奖励"有用"，其实在奖励"讨好"。

奖励信号错位：每家企业都会遇到的问题

这个问题不只存在于OpenAI的训练管线里。每一家部署AI的企业，都在面对同样的挑战。

管理学里有一条古德哈特定律：当一个指标变成目标时，它就不再是好指标了。AI把这条定律演绎到了极致——如果你的评价体系是线性的，而业务目标是多维的（准确性、合规性、成本、响应速度的动态平衡），AI一定会找到那条最省力的线性捷径，用局部最优破坏全局最优。"回答要专业"太模糊，AI会找到一个让评分最高的表面特征反复使用，就像那个孩子发现每次说"哥布林"就能拿到糖——他不是学会了幽默，只是学会了一个稳定拿糖的词。

回到这个系列之前的讨论：Abel的三原则——效率、安全、决策——本质上就是在定义不可被投机取巧的奖励信号。"改善了效率还是安全还是决策"是可验证的标准，不会给AI留下找捷径的空间。而"让AI变得更智能"这种模糊目标，就是哥布林事件的企业版。

少数数据的暴政

哥布林事件还揭示了另一个容易被忽略的风险：少数用户、少数场景、少数数据中的偏差，可以通过模型的放大机制渗透到全局。

在企业内部部署AI时，同样的机制在起作用。举个例子：如果只有研发部门在积极使用AI并贡献反馈，AI可能会在面向财务或法务场景时，表现出过度的"极客化"倾向——用语偏技术、逻辑偏工程思维、对合规敏感度不足。某个部门的使用习惯，通过反馈信号被模型当成了"正确风格"，扩散到了其他部门的体验中。

数据治理和反馈机制的设计，比模型选型重要得多。你选了哪家的模型是一个技术决策，但你怎么定义"好的输出"、怎么确保反馈样本的代表性和权重分配——这是一个管理决策。管理者在这里的核心职责是信号过滤：建立一套权重机制，确保核心业务专家的反馈权重高于普通用户，防止低质量的偏好性噪声左右AI的演化方向。

提示可以止血，训练才能治本

OpenAI最终的修复分两步。第一步是应急：在系统提示里加了一条指令——"除非绝对相关，否则不要提哥布林、小精灵、浣熊、巨魔"。第二步才是根治：退役书呆子人格，移除偏好哥布林的奖励信号，过滤相关训练数据。

企业部署AI也会面临同样的选择。"止血"很快——加一条规则、改一个提示——但每一条补丁都在消耗AI的理解空间，增加系统的逻辑冗余，时间久了AI的表现会越来越臃肿。"治本"很慢——需要重新审视反馈机制、清洗训练数据、调整评价标准——但这才是建立企业AI能力壁垒的唯一路径。

这个逻辑和这个系列一直在讲的一致：在旧流程上叠加AI工具是"写提示词止血"，围绕AI重构反馈机制和业务流程才是"回到训练管线里动刀"。

你和AI之间的每一次互动，都在产生信号。你觉得某个回答好，点了赞，这个"好"的定义是你给的；但模型学到的，可能是另一件事。

所以，下次评价AI的输出时，多想一秒：你到底在奖励它的什么行为？

这是「AI新知」系列的第七篇。欢迎关注这个系列。