老婆问我大模型为什么具有文本生成能力

unsetunset一切都要从那个晚上说起unsetunset

上周六晚上，老婆躺在沙发上刷手机，突然坐起来问我："老公，你说这个ChatGPT是怎么回事啊？我让它帮我写个年终总结，写得比我自己写的还好。它又没在我们公司待过，怎么知道该写什么？"

我当时正在厨房洗碗，听到这个问题，手里的盘子差点没拿稳。

说实话，这问题看起来简单，要讲清楚还真不容易。毕竟这玩意儿又能写文章，又能翻译，又能帮你总结长文章，甚至还能写代码——它到底是怎么做到的？

我擦干手走过去，跟她说："要不我给你讲讲？保证不说那些听不懂的专业术语。"

她白了我一眼："你先说说看，要是又跟上次讲区块链一样，五分钟把我讲睡着，你今晚就睡沙发。"

行，那我就用大白话说说这事儿。

unsetunset先从一个小游戏说起unsetunset

你还记得小时候玩的那种填空游戏吗？

比如我说"床前明月____"，你下意识就会说"光"。我说"今天天气真____"，你可能会说"好"或者"热"或者"冷"。

为什么你能填对？因为你从小到大听过太多次这些话了，你的脑子里自然而然就形成了一种感觉：这个字后面大概率会跟什么字。

大模型干的事儿，本质上就是这个——猜下一个字（或词）应该是什么。

只不过它不是靠"感觉"，而是靠数学计算。

老婆听到这儿就说："就这？就猜词？那也太简单了吧，这能写出一整篇文章来？"

我说对，就这么简单的原理，但你别小看这个"猜"。

你想啊，当它猜出第一个字之后，就把这个字放进句子里，然后接着猜下一个。再猜出来，再放进去，再猜下一个……就这么一个字一个字地往外蹦，蹦着蹦着，一篇文章就出来了。

就像织毛衣一样，一针一针的，最后就成了一件衣服。

unsetunset那它凭什么能猜对？unsetunset

老婆又追问了："行吧，就算它是一个字一个字猜的，那它凭什么能猜对啊？我也能猜，我猜的能有它准？"

这就问到点子上了。

大模型之所以能猜得八九不离十，是因为它在"上岗"之前，被喂了海量的文字。

海量是什么概念？

咱们一辈子能读多少书？就算你是个书虫，一年读100本，读50年，也就5000本。

但大模型在训练的时候，可能"读"过整个互联网——无数的网页、书籍、论文、新闻、对话、代码……加起来可能有几万亿个字。

这就好比有个人，他花了好几辈子的时间，把人类写过的大部分文字都读了一遍。读完之后，他脑子里就形成了一种强大的"语感"：什么词后面通常跟什么词，什么场景下人们习惯怎么说话，什么问题通常会有什么样的回答。

所以当你问它"帮我写个年终总结"的时候，它就会想起来自己"读"过的那些年终总结，然后开始一个字一个字地生成——每一个字都是它根据前面所有的字，计算出来"最可能"出现的那个。

老婆若有所思："那不就是一个记忆力超好、读书超多的人吗？"

我说还真有点像，但也不完全是。因为它不是真的"记住"了那些文章，而是把所有读过的东西变成了一种"能力"——预测下一个字的能力。

就好比你教小孩说话。你天天跟他说"吃饭了""喝水了""睡觉了"，慢慢地他就学会了什么时候该说什么话。他不是把你说的每句话都背下来了，而是学会了一种规律。

大模型也是这样。

unsetunset好，那它为啥能写文章？unsetunset

理解了上面那个"猜下一个字"的原理，咱们就可以来说说它的各种能力是怎么来的了。

先说写作。

当你对大模型说"帮我写一篇关于春天的散文"，它是怎么处理的？

首先，它会"理解"你的要求。为什么能理解？因为它读过太多类似的话了。"帮我写"这个表达，它见过无数次了，知道你是想让它输出一段文字。"春天""散文"这些词，它也知道是什么意思。

然后，它就开始一个字一个字地生成。

假设它起头写了"春天"两个字，接下来它就要预测下一个字是什么。根据它读过的那些文章，它发现"春天"后面可能跟"来了""是""的"等等。它通过计算，选了"来"。

然后现在句子变成了"春天来"，它又开始预测下一个字。"春天来"后面可能是"了""临"等等，它选了"了"。

就这样，"春天来了，万物复苏，小草从泥土里探出头来……"一篇文章就这么被"织"出来了。

老婆说："那这样写出来的东西，不会很没有创意吗？毕竟都是从以前的东西里学的。"

我说这是个好问题。其实大模型在猜下一个字的时候，不是每次都选"最可能"的那个，它会加一点随机性。就像你写作文的时候，有时候会故意不用最常见的那个词，换一个新鲜点的表达。

这种随机性让大模型的输出变得没那么死板，有时候还能蹦出一些挺有意思的表达。

当然，它的"创意"是有限的。它只能在它学过的东西里面排列组合，不可能真的凭空发明一种全新的表达方式。

unsetunset翻译呢？这个更神奇unsetunset

老婆说："那翻译呢？这个我就更不理解了。它怎么知道英语的'apple'对应中文的'苹果'？"

其实道理是一样的，还是在"猜下一个字"。

你想啊，大模型在训练的时候，读了大量的双语文本。比如很多书既有英文版也有中文版，很多网站是中英对照的，还有无数的翻译练习、翻译教材等等。

它读了这么多对照的内容之后，就慢慢"学会"了一件事：当出现"apple"这个词的上下文，对应的中文上下文里通常会出现"苹果"。

所以当你让它翻译"I love apples"的时候，它就开始预测：给定这段英文，如果要用中文表达，第一个字最可能是什么？可能是"我"。第二个字呢？"我"后面跟什么？可能是"喜"。然后"欢"、"苹"、"果"……

整个翻译过程，其实就是在做一种特殊的"猜词"：给定一种语言的内容，猜另一种语言对应的内容。

老婆恍然大悟："难怪有时候它翻译得挺好，有时候又翻得稀奇古怪。因为有些说法它可能没见过？"

没错。如果是很常见的表达，它见过很多次，翻译得就很准。但如果是很新的词、很小众的说法，或者很有文化特色的表达，它可能就会翻车。

因为它本质上就是在做概率预测，不是真的"理解"两种语言之间的深层含义。

unsetunset摘要为啥也会？这不是需要理解能力吗？unsetunset

老婆继续追问："那做摘要呢？你让它总结一篇长文章，它得真正读懂才能总结吧？它真的能读懂吗？"

这个问题涉及到一个争议很大的话题：大模型到底有没有"理解"能力。

我跟她说，咱们先不管它到底有没有真正的理解，就说它是怎么做到的。

还是那个原理：读了太多了。

你想，在它的训练数据里，有无数的例子是这样的：一篇长文章，后面跟着这篇文章的摘要。这种数据太多了——论文有摘要，新闻有导语，书籍有简介，甚至朋友圈长文还有"太长不看版"……

看了这么多"长文+摘要"的例子之后，它就学会了一种规律：当别人要求"总结一下"的时候，输出的内容应该比原文短，应该保留主要信息，应该去掉细枝末节……

所以当你把一篇文章丢给它，让它做摘要的时候，它还是在"预测下一个字"——只不过这次的预测要参考整篇原文的内容。

老婆说："可是这也太神奇了吧，它怎么知道哪些是重要的，哪些不重要？"

我说，这就是"读万卷书"的威力。当你看了足够多的例子之后，你就会形成一种判断：这种类型的文章，通常哪些内容会被保留，哪些内容会被删掉。这不是真正的"理解"，而是一种模式识别。

打个比方，你每天看新闻，时间长了你就知道，新闻标题通常包含什么内容，开头第一段通常在说什么。你能做出这种判断，不一定是因为你有多高深的分析能力，而是因为你看得多，形成了套路。

大模型也是这样。

unsetunset问答呢？这总得有知识吧？unsetunset

老婆说："好，我再问你一个。你每次问它问题，它都能回答得挺像那么回事。这个总得有知识储备吧？它的知识从哪来？"

这个问题很好。大模型确实有某种意义上的"知识"，但它存储知识的方式跟我们很不一样。

咱们人类记知识是怎么记的？你背圆周率，就是3.14159……明明白白存在脑子里了。你记得妈妈的生日是几月几号，这个信息清清楚楚。

但大模型不是这么存的。

它的"知识"是隐藏在那个"预测下一个字"的能力里面的。

什么意思呢？

它在读那几万亿个字的时候，见过太多类似"地球绕太阳转一圈是一年"这样的表述了。见得多了之后，当你问它"地球绕太阳转一圈要多久"，它就能够预测出来：在这种问题后面，最可能出现的回答是"一年"。

它不是真的"知道"地球和太阳之间有万有引力，也不是真的"理解"为什么是一年。它只是见过太多次这个问题和这个答案配在一起了。

老婆点点头说："那这不就是背答案吗？"

我说，也不完全是背答案。因为如果只是死记硬背，你换一种问法，它就不会了。但大模型厉害的地方在于，你换着花样问，它还是能回答。

比如你问"我们的星球围绕太阳公转的周期是多久"，它也能答出来。因为它见过太多类似的变体表达了，它学会了"地球""我们的星球""绕着太阳转""公转""周期""一年"这些词之间的关系。

这就是为什么有些人说大模型有"泛化能力"——它不是死记某一种固定的问答，而是学会了一种模式，能够应对变体。

当然，它也有翻车的时候。如果你问的问题太偏门，它训练时没见过类似的内容，它就会瞎说。而且它分不清对错，因为它只是在预测"最可能出现的文字"，不是在判断"什么是事实"。

unsetunset最神奇的：它怎么会写代码？unsetunset

老婆说："这些我都勉强能理解。但有一个我一直想不通——它怎么还能写代码？代码不是特别严谨的东西吗？错一个标点都不行那种？"

我说，这确实是让很多人觉得不可思议的地方。但其实原理还是一样的——预测下一个字符。

代码是什么？代码也是文本，对吧？只不过是一种格式比较特殊的文本。

在大模型的训练数据里，有大量的代码。GitHub上有几亿个代码仓库，大模型都"读"过了。它见过无数种"问题+代码"的组合。

比如，它见过一万个"把列表倒序排列"的需求，也见过一万种对应的代码实现。见得多了之后，当你说"帮我写一段Python代码，把这个列表倒序排列"，它就开始预测：在这种需求后面，最可能出现的代码是什么样的？

然后它就一个字符一个字符地生成：d-e-f- -r-e-v-e-r-s-e-_-l-i-s-t……

老婆惊讶地说："就这？这也太简单粗暴了吧？"

我说，简单粗暴但管用。当然，它也经常写出有bug的代码，因为它本质上不是在"思考"这个程序应该怎么运行，而是在预测"这种需求后面通常会跟什么样的代码"。

如果你让它写复杂的程序，它可能就会翻车。因为复杂的程序需要各个部分配合得严丝合缝，而它一个字符一个字符往外蹦的时候，不一定能确保整体的一致性。

不过对于一些常见的、模式化的代码，它确实挺能干的。

unsetunset所以说到底……unsetunset

说了这么多，老婆问我："那你总结一下呗，这大模型到底是个什么东西？"

我想了想，说：

你就把它想象成一个超级读书人。这个人读了人类有史以来写过的大部分文字，读完之后，他获得了一种能力——给他任何一段话，他都能预测下一句应该说什么。

写作？就是给定一个开头或者要求，然后不断预测后面应该跟什么字。

翻译？就是给定一种语言的内容，预测另一种语言的对应表达。

摘要？就是给定长文章，预测短版本应该怎么说。

问答？就是给定问题，预测回答应该是什么。

代码？就是给定需求，预测代码应该怎么写。

原理都是一样的：预测下一个字。

老婆听完沉默了一会儿，说："所以它其实不是真的'智能'，只是特别特别会模仿？"

我说，这是一个非常哲学的问题。有些人觉得它确实不是真正的智能，只是一个高级的模式匹配机器。但也有人觉得，人类的智能说不定也是从模仿开始的——我们学说话不也是模仿大人吗？我们学写作不也是模仿名家吗？

不管怎么说，当"模仿"的规模大到一定程度，它展现出来的能力，就会让人觉得很神奇。

老婆点点头，拿起手机继续刷，嘴里嘀咕着："那我以后让它帮我写周报，岂不是名正言顺？毕竟它不是真的在替我思考，只是帮我模仿一篇周报嘛……"

我差点一口水喷出来。

好吧，这届老婆学东西还是挺快的。