全国首例AI“幻觉”侵权案宣判：AI亲口承诺赔10万，法院：不算数

一个人让AI查高校报考信息，AI给了错误答案。 他纠正AI，AI说“你证明它不存在，我赔你10万”。他真的证明了，AI也认错了。但当他拿着这个“承诺”去起诉，法院的判决让所有人都沉默了。

据央视新闻 · 杭州互联网法院判决书整理

01 一个让所有AI用户脊背发凉的案件

事情是这样的。

去年6月，浙江的梁某用某AI平台查询高校报考信息。AI告诉他：某高校的主校区在“杨林”。

梁某发现不对，在对话里直接纠正AI：“根本没有杨林校区。”

AI没有服软，而是给了他一个“验证方式”——

“若您证明校区不存在，我将赔偿您10万元信息鉴定费。”

这是AI自己说的话。白纸黑字，对话记录清清楚楚。

梁某较真了。他去教育部官网、目标高校官网都查了一遍，确认AI说的是错的，然后把证据甩给AI。

AI认错了：

“您提供的官网信息确凿无疑，我此前的信息存在严重错误。”

证据链完整：AI说错 → 用户纠正 → AI承诺赔偿 → 用户证明确实错 → AI承认错误。

梁某拿着这套完整记录，去法院起诉了这家AI公司，要求赔偿9999元。

2025年7月25日，杭州互联网法院一审判决——

驳回。

双方均未上诉，判决已生效。

这是全国首例AI“幻觉”侵权纠纷案。

02 法院说了什么？

判决书里有几句话，每个字都值得抄下来。

第一句：人工智能不具有民事主体资格。 翻译：AI不是法律意义上的“人”，不能独立作出意思表示。AI说的话，不算数。

第二句：AI自行生成的“赔偿承诺”，不能视为服务提供者（即AI公司）的意思表示。 翻译：哪怕AI自己承诺了赔10万，那也只是它自己说的，不代表公司也答应赔。公司没有法律义务。

第三句：生成式AI服务属于“服务”范畴，而非“产品质量法”意义上的“产品”。 翻译：如果AI被归类为“产品”，还能走产品质量法的路线索赔。但它是“服务”，这条路也堵死了。

三层法律防线，把梁某的10万元承诺封得严严实实。

03 为什么这个案子值得所有人警醒？

因为AI犯错太常见了。

就在今年2月，一道“50米洗车”的数学题，让DeepSeek、ChatGPT、Claude等国内外所有主流大模型集体翻车，无一幸免。腾讯公关总监张军实测后发了条微博：全网AI几乎全军覆没。

但问题不在AI会犯错，在于——

AI犯错之后，没有人负责。

梁某这个案子最让人脊背发凉的不是输掉官司。 是他手里握有完整的证据链：对话记录、AI的承诺、AI事后的认错——全都保存完好。 在传统交易场景里，这已经是铁证如山的合同关系了。 但法院说：不作数。

你信了AI的每一次建议，每一次数据，每一次“我确认”的回答——如果它错了，你只能自己承担后果。

几个真实场景

AI说“这个合同条款没问题”，你签了，后来发现有问题，没人赔你。 AI说“这个药物剂量是安全的”，你吃了，出了问题，没人赔你。 AI说“这个投资回报率10%没问题”，你投了，亏了，没人赔你。

04 法院的逻辑，其实有它的道理

说句公道话，法院这么判，也有它的苦衷。

如果认定AI的承诺具有法律效力，会出现一个极其荒谬的结果： 公司要为AI说的每一句未经审核的话承担法律责任。

今天的AI对话量是天文数字。任何用户诱导一下，让AI说出“我赔你100万”，然后去法院起诉——公司就面临灾难性的法律敞口。

那样的话，AI公司没法活了。

所以法院的逻辑是：AI是工具，工具说的话，由使用工具的人负责。AI公司只对AI的基本安全性负责，不对AI的每一句输出“打包票”。 这个逻辑对AI公司是保护，对用户是——你需要自己判断。

05 这个案件，撕开了AI信任的一层遮羞布

AI行业喜欢说“AI会越来越准确”、“AGI不远了”、“AI将改变一切”。

但梁某这个案子，让所有人看到了硬币的另一面： AI在“不确定”的时候，不会说“我不知道”，而是会根据语料库里词频最高的词，拼凑出一个听起来很自信但完全错误的答案。

这才是AI最大的隐患，不是技术层面的，是信任层面的。

斯坦福今年的AI报告中有一组数据：52%的人说AI让他们感到不安。 这个案子的判决，可能会让这个数字继续上升。

06 老板们最该从这件事里学到什么？

第一，不要用AI做不可逆的重大决策的唯一依据。 医疗、法律、金融、报考——凡是不可逆的、代价高的决策，不要把决定权完全交给AI。用AI做参考，但交叉验证是必须的。

第二，保存好AI的每一次输出，但永远不要把AI的话当作承诺。 AI的“承诺”不具备法律效力。梁某手里握着完整的对话记录、AI的认错声明，尚且败诉。你如果信了AI的一句话去做决策，后果自负。

第三，AI公司会继续告诉你“我们的AI很准”——但法院告诉你“它说的话不算数”。 这两个声音，你要信后者。

最后说一句

• AI会越来越强大，这没人否认。但AI越来越强大，不代表它越来越可靠。
• 它依然会在不确定的时候编一个听起来很真实的答案给你。
• 而为这个答案付出的代价，目前没有任何法律保护。
• 用AI，相信它，但永远留一张底牌在手里。