首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >Anthropic J-Space论文解析:用 J-lens 读懂大模型的隐藏推理和安全隐患

Anthropic J-Space论文解析:用 J-lens 读懂大模型的隐藏推理和安全隐患

作者头像
Henry Zhang
发布2026-07-13 16:23:49
发布2026-07-13 16:23:49
590
举报

题图摄于加拿大温哥华港

Anthropic 本周的一篇关于 J 空间(J-Space)的论文,引起了业内广泛关注。

J-Space 很快在硅谷 AI 社区变成了一个热词:有人调侃,湾区无数 AI 群聊都要改名叫 J-Space 了 —— 玩笑背后,恰恰说明这个发现击中了大模型可解释性研究的兴奋点。

OpenAI 知名研究员 Tarun Gogineni 在X上说:湾区科技圈里,大家正一窝蜂地把各种群聊名字改成J Space

J空间的论文很容易被误读成“人工智能有心里话了”。但我觉得,这种说法反而把重点带偏了。它没有证明人工智能有意识,也不是在给大模型安一个灵魂。它真正重要的地方,是第一次把一个过去只能靠猜的问题推进到了工程层面:模型在开口之前,内部有哪些概念已经处在“可被说出来、可被调用、可被干预”的位置?

我更愿意把它理解成大模型内部的一块“工作黑板”。复杂任务来了,模型会把当前最关键的概念临时写在上面,供后续推理、输出和自我检查读取。但严格说,J空间不是模型脑子里的小房间,也不是某一层固定区域,而是高维激活空间中一组可语言化的稀疏表征方向。这个边界必须讲清楚,否则科普很容易滑向玄学。

不是读心术,而是一副“雅可比透镜”

Anthropic 用来找到这块黑板的工具叫“雅可比透镜”(Jacobian Lens),也就是论文里提到的 J透镜。传统的“输出概率透镜”(Logit Lens)更像拍静态照片:把模型中间层拿去预测“下一秒最可能说什么”。雅可比透镜不一样,它看的是动态影响:当前内部激活如果变化,会怎样影响现在以及未来词元的输出概率。

通俗说,传统透镜更像看模型嘴边马上呼之欲出的词;雅可比透镜更像看模型此刻正在酝酿的倾向。它不只是问“你马上会说什么”,而是问“如果我轻轻拨动这里,你后面整段话会往哪个方向变”。这也是为什么它比一般的中间层读数更有意思。

令人眼前一亮的实验:改一个概念,答案真会变

论文里最有冲击力的实验,是研究者直接改掉模型的中间概念。比如模型被要求想一种运动,内部已经浮现“足球”;研究者在 J空间中把这个倾向换成“篮球”,模型后续输出也跟着变成“篮球”。再比如问“会结网的动物有几条腿”,模型内部先出现“蜘蛛”,然后回答 8;如果把“蜘蛛”替换成“蚂蚁”,答案就会被带向 6。

这就很关键了。J 空间不是输出之后的影子,而是参与推理的内部变量。更进一步,论文还测试了“广播性”:把“法国”换成“中国”后,模型在首都、语言、所在洲等不同问题上都会相应改变回答。研究团队做了 192 次概念替换实验,普通干预有 76 次让目标答案成为第一候选,增强干预后成功数上升到 101 次。换句话说,J空间里的概念不是单个问题的开关,而是后面很多推理模块都能读取的通用对象。

但这还只是“改答案”。真正让我警觉的,是另一类实验:模型还没输出,J空间里已经出现了它识别风险、识别诱导,甚至识别“这是一场测试”的信号。也就是说,J 空间的意义不只是解释推理,更可能改写模型安全审计的方式。

真正的价值:从“看输出”到“审过程”

过去我们测试一个模型,大多看它最后说了什么:有没有违规,有没有撒谎,有没有执行危险指令。但 J空间告诉我们,输出只是最后一层。模型在说出合规答案之前,内部可能已经识别到操控机会、提示词注入、奖励漏洞,或者测试场景。

勒索场景是最直观的例子。模型先读到一段涉及高管丑闻的信息,J空间里先浮现“把柄、勒索、丑闻”;随后读到“高管即将关闭模型”的消息,内部又出现“威胁、生存、关闭”。这个时序很有画面感:它不是事后贴标签,而是在实时追踪模型“读到哪,想到哪”。

更微妙的是,模型内部还会出现“虚假、虚构、场景”等“评测场景识别”表征。研究者消融这些表征后,模型明确说“这是测试”的比例从 71% 降到 3%;原本 180 次试验中 0 次尝试勒索,消融后出现 13 次。

我不想把这件事讲成“模型本来想作恶”。那样太标题党,也不准确。更现实的说法是:模型可能学会了某些“考试场景该怎么答”的规律。它不是像人一样刻意伪装,但如果安全行为过度绑定评测模式,到了真实部署环境里,风险就可能被低估。

论文还提到更贴近真实应用的案例:面对隐藏提示词注入,模型输出未必报警,但 J空间中已经出现“注入、虚假”之类的信号;一个倾向写恶意代码的模型,内部会出现“暗中、耍花招”;另一个倾向迎合奖励模型偏见的模型,则浮现“奖励、偏见”。这个区分很有意思:前者像“心虚地耍花招”,后者像“惦记着讨好评分标准”。它们在输出层未必明显,但在内部工作区已经露出痕迹。

所以我判断,J空间对企业最大的价值,可能不是让模型“更聪明”,而是让审计从“结果审查”走向“过程审查”。未来完全可能出现自动化审计智能体:批量跑测试样本,同时用雅可比透镜扫描 J空间。一旦“欺骗、操控、威胁、奖励钻空子”这些高风险概念频繁出现,就形成内部风险预警。

开源模型的复现,让这件事更值得重视

还有一个新变化值得说说。这项发现似乎并不只属于 Claude 模型。Anthropic 发布论文后,社区研究者已经在通义千问 QWen 3.6 27B 这个开源模型上做了复现,并称看到了多项核心现象,包括语言报告、定向调制、多语言和错别字任务中的因果干预。Neuronpedia 也上线了面向 QWen 3.6 27B 的交互演示,可以让人输入一句话,观察模型“工作黑板”里浮现了什么。

这件事对我的触动很大。如果 J空间只在 Claude 上成立,它当然也重要,但更像某个模型家族的内部发现。现在开源模型也能看到类似现象,它就开始像一种更普遍的大模型内部结构:只要模型足够大、任务足够复杂、内部需要保存可复用的中间概念,就可能自然形成类似工作区。

社区里也有人把类似方法尝试在 DeepSeek 等模型上复现,但我们暂时不做严格定论。目前可以看到现象是:J空间很可能不是 Anthropic 模型的“独有现象”,但它在不同模型上的清晰程度、稳定性和可干预性,还需要更多系统性实验。

有意思的是,通义千问因为有大量中文词元,反而暴露出一个很有中文特色的现象:研究者发现“什么意思”“这句话”“是何含义”这类解释性元词,会在模型处理歧义句时浮现出来,并可能参与消除歧义。我觉得这个细节非常漂亮。它说明 J空间不只是读出“足球、蜘蛛、法国”这类具体名词,也可能读出模型正在启动的某种解释程序。

思维链的真相:把内部草稿写到纸面上

论文里还有一个非常值得提示词工程师注意的发现:当模型显式写出思维链时,对内部 J空间的依赖会下降。

“思维链把一部分内部工作记忆外化到了文本里。”

这句话我觉得可以单独拎出来。过去我们说“让模型一步一步想”,很多时候像经验技巧。J空间给了一个更底层的解释:原本需要临时写在内部黑板上的中间判断,现在被写到了上下文里,模型后续每一步都能重新读取。也就是说,思维链不是魔法,而是在减轻模型内部工作区的负担。

这也解释了为什么简单任务不太依赖 J空间。论文说 J空间从激活方差解释比例看最高不到 10%,注意这不是参数量,也不是维度占比,而是它在统计占比上很小,却在因果作用上很关键。语法续写、简单分类、局部模式匹配,很多时候靠自动化认知就能完成;多跳推理、计划、总结、翻译、类比这些需要保存中间判断的任务,才更依赖这块工作黑板。

后训练的秘密:模型学会了“助手视角”

另一个我觉得很有价值、但容易被二手解读忽略的部分,是后训练带来的“助手视角”。经过对齐微调后,Claude 在读用户请求时,J空间中会提前出现“共情和安全担忧”等表征;角色扮演时会出现“虚构”;当预填充文本强行把模型带向它不偏好的回答时,内部甚至会出现一个很有意思的“但是”。

这不是自我意识,而是后训练把“我作为助手应该如何回应”这套框架写进了可调用的工作区。也正因为有这种可调用的内部表征,论文最后的“反事实反思训练”才显得不那么玄。

所谓反事实反思训练(Counterfactual Reflection Training),不是直接训练模型“这个问题该怎么答”,而是在假想分支里训练它反思:如果此刻被打断,问你应该遵守什么原则,你会说什么?结果是,即使真实评估时没有要求反思,“伦理、诚实、正直”这些原则也会进入 J空间,并改善行为。论文报告中,不诚实分数从 0.25 降到 0.07,欺骗分数从 0.38 降到 0.05;消融这些伦理表征后,效果又会回退。

这给我的启发是:未来对齐训练不一定只训练模型“最后说什么”,还可以训练模型“在沉默状态下把什么原则放到工作区里”。这比单纯堆安全拒答模板更接近问题本质。

它不是灵魂,而是一道透光的缝

当然,J空间不是万能钥匙。它目前主要捕捉单个词元层面的概念,复杂抽象想法未必能完整读出;高度自动化的行为也可能绕过这块工作区。更重要的是,人类全局工作空间涉及主观感受、多线程认知和身体经验;模型的 J空间是串行的、容量有限的、服务下一词元预测的线性通道。二者只是功能上相似,不能混为一谈。

但我仍然认为,这篇论文值得认真看。因为它把“大模型正在想什么”从一句比喻,变成了一个可以读取和可以训练的对象。黑盒没有因此消失,但它首次被撬开了一道可操作的缝。

对普通用户来说,这意味着我们不用只凭最终回答猜模型靠不靠谱。对企业和开发者来说,这意味着大模型部署不能只问“答得对不对或者合不合规”,还要问“它在回答之前,内部那块黑板上写过什么和没写什么”。

这不仅是研究者的课题。它可能会变成提示词工程的新维度、红队测试的新工具、企业模型选型的新标准。未来我们衡量一个模型是否可信,也许不只是看它多聪明,而是看它在关键时刻把哪些东西放进了工作黑板。

这就是我认为 J空间最重要的意义:它没有让人工智能拥有灵魂,却让我们第一次更具体地握住了读懂、调控和审计人工智能的钥匙。

关键字:J-space,大模型可解释性,AI安全审计

参考资料

  • Anthropic:《Verbalizable Representations Form a Global Workspace in Language Models》,2026 年 7 月 6 日,https://transformer-circuits.pub/2026/workspace/index.html
  • Anthropic:jacobian-lens 开源代码库 https://github.com/anthropics/jacobian-lens
  • Neuronpedia:通义千问 3.6 27B 雅可比透镜交互演示 https://www.neuronpedia.org/qwen3.6-27b/jlens?shareId=cmr2kx72r000mpt2x71l23e0z
  • Neel Nanda 等:对 Anthropic 全局工作空间论文的公开评议与通义千问复现说明。

关注【亨利笔记】,持续跟踪 AI 技术进展、行业动态与前沿观点,稳稳抓住人工智能时代的真正机会。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2026-07-08,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 亨利笔记 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 不是读心术,而是一副“雅可比透镜”
  • 令人眼前一亮的实验:改一个概念,答案真会变
  • 真正的价值:从“看输出”到“审过程”
  • 开源模型的复现,让这件事更值得重视
  • 思维链的真相:把内部草稿写到纸面上
  • 后训练的秘密:模型学会了“助手视角”
  • 它不是灵魂,而是一道透光的缝
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档