AI大模型进阶系列(04) LLM只是在预测下一个词 | "智能"是怎么冒出来的

大模型的AI推理，本质是在一个词一个词地做条件概率预测——「智能」是这个过程在足够大的规模下涌现出来的副产品。

大模型的出现，可以让我们间接理解人类大脑在婴幼儿到青少年成长发育过程智力的变化，正是通过大量的输入，让哇哇坠地后只有原始本能的小孩，成长为能理解和融入这个复杂社会高智商个体。

一、面试官为什么问这个

二、原理与机制拆解

2.1 next token prediction 的本质

2.2 Tokenizer 与 token 的粒度问题

2.3 Transformer 与自注意力的直觉

2.4 温度与采样带来的随机性

2.5 预训练、SFT、RLHF 三阶段

2.6 什么是AI的涌现能力

三、从工程落地视觉看

四、总结

一、面试官为什么问这个

1.1 一道具有分水岭作用的AI面试题

这几年，不管哪种岗位，技术问题往往都要问一些偏AI的，比如：「你讲讲大模型的工作原理吧。」那这个题在考什么？面试肯定是要考核对核心原理、架构的深度理解，越详尽越好。接下来我们细细展开，而且能让大家看得懂的方式由浅入剖析，第四部分给出AI面试过程追问的粗浅参考。

二、原理与机制拆解

2.1 next token prediction 的本质

把所有花哨的说法剥掉，大模型干的事只有一件：给定前面所有的词，预测下一个最可能的词。

你输入「中国的首都是」，模型不是去查数据库，而是计算——在见过的海量文本里，这句后面接「北」的概率有多高，接「上」多高。它算出一个覆盖整个词表的概率分布，挑一个吐出来，比如「北」。然后把「中国的首都是北」当成新输入，再预测下一个——「京」。如此循环，直到输出表示「结束」的 token。

这个「用自己刚生成的输出当作下一步输入」的过程，叫自回归生成（autoregressive generation）。最贴切的类比是一个带状态的串行循环：每轮输出喂回输入，下一轮依赖上一轮，天然无法并行。

图 1. 自回归生成：每次只产出一个 token，输出拼回输入再算下一个。

这里有一个很关键的认知：模型内部没有一个存着「北京是中国首都」这条事实的字段，这条知识以概率形式被压缩进了几千亿参数里。它不检索，它只是在计算。

2.2 Tokenizer 与 token 的粒度问题

上面推理预测用「词」是为了好懂。准确且严谨来说，模型处理的最小单位不是词也不是字符，而是 token——一段介于字符和单词之间的文本片段。

喂给模型之前，一个叫 tokenizer 的组件先把文本切成 token 序列，再把每个 token 映射成一个整数 ID。英文里常见单词往往是一个 token，生僻词切成几段；中文一个字通常对应一到两个 token。模型自始至终看到的是这串整数 ID，根本「看不见」原始的字母和笔画。

这个机制对工程的直接影响有两个。一是计费和上下文都以 token 为单位，不是字数。二是需要精确操作字符的任务——数字母、字符串反转。

2.3 Transformer 与自注意力的直觉

模型凭什么在预测下一个 token 时，能记住并用上前面很远处的信息？靠的是 2017 年那篇《Attention Is All You Need》提出的 Transformer 架构，核心是自注意力机制（self-attention）。

自注意力做的事，是让序列里每一个 token 都能「看到」前面所有 token，并按相关性给它们分配不同权重。预测「京」时，模型对上文的「首都」「北」给更高权重，对无关的词给低权重——它在动态决定「此刻该重点参考哪些上文」。

一个类比：这像一次全连接的关联计算，任意两个位置间都建立一条带权重的边。这也解释了为什么上下文越长、计算量越大，token费用涨得越快——注意力的计算规模随序列长度大致按平方增长。

自注意力：预测下一个 token 时，模型对上文每个 token 分配不同权重。

这里还藏着一个面试常问的反差点：训练时并行，推理时串行。训练时的数据集整段文本是已知的，模型对每个位置同时算「给定前文该预测什么」，一次性并行，这正是 Transformer 能吃下海量语料的效率来源。而推理时后面的词还不存在，只能一个一个往外蹦，回到 2.1 说的自回归生成-串行循环。这一并一串的差异，是后面所有推理性能问题的总根源。

2.4 温度与采样带来的随机性

面试官爱问：同一个问题问两次，为什么答案不一样？就出在这一节。

回到 2.1，模型每一步算出的是一个概率分布而非确定答案。从分布里挑出下一个 token 的过程叫采样（sampling），怎么挑由几个参数控制。

temperature（温度）：调节分布的「陡峭」程度。

温度低（趋近 0），分布被拉尖，模型几乎总选概率最高的 token，输出更确定、保守；

温度高，分布被压平，低概率的词也有机会被选中，输出更发散，也更容易跑偏。

top-p（核采样）：是另一个维度，只在「累积概率达到 p 的最小 token 集合」里采样，动态砍掉长尾里明显不靠谱的候选，出自 Holtzman 等人 2019 年的工作。

对我们AI实践工程的启示很实用：要稳定、可复现的结构化输出（让模型返回 JSON、做分类），就把 temperature 调低甚至设 0；要创意性文案、头脑风暴，这种就可以调高。

2.5 预训练、SFT、RLHF 三阶段

那一个能对话、听话、不乱说的模型，是怎么训出来的？一个大模型训练要经历三个阶段，每个阶段解决不同问题：

一句话总结：预训练给「知识」，SFT 教「听指令」，RLHF 让它「懂分寸」。只做预训练的模型是个博学但不受控的续写机器；后两个对齐阶段才把它变成了今天的 ChatGPT、Claude、通义、文心。

这里要提醒一句：RLHF 的目标是让回答「让人满意」，并不完全等于「让回答为真」——说得漂亮但内容错误的答案也可能骗过标注员拿高分。这条裂缝，也是大模型幻觉的来源之一。

2.6 什么是AI的涌现能力

大模型的「涌现能力」（emergent abilities）的来源，是2022 年的时候相关研究人员观察发现：某些能力在小模型上几乎为零，当规模跨过某个量级后，这些训练目标里没有专门设计的能力（比如多步算术、一定的推理）会相对「突然」地出现——这是大模型「涌现」智能说明的来源。也就是规模到一定程度后，模型会表现出一些训练时没有直接优化的能力。

但这个现象的机制，业界有争论。 2023 年有人提出反驳：所谓「突然涌现」很可能是评测指标选择造成的错觉，换用连续平滑的指标衡量，能力提升其实是渐进、可预测的，并没有那个戏剧性跳变。

三、从工程落地视角看

3.1 自回归串行生成与流式输出

既然大模型推理生成是串行的、一个 token 一个 token 往外蹦，一段几百 token 的回答要跑几百轮，整体耗时可能好几秒。等全部生成完再一次返回，用户会盯着空白屏幕干等。

于是大模型的流式输出成了标配：每生成一个（或一小批）token 就立刻推给客户端，边生成边显示，就是对话产品里「逐字蹦出来」的打字机效果。工程上，服务端到浏览器这段通常用 SSE（Server-Sent Events）承载，一条长连接持续下推。OpenAI、Anthropic 的 API 都提供 stream 参数，置为 true 就以 SSE 流返回增量数据块。

对服务端，这意味着接口层要从「请求-单次响应」切换到「持续下推」——连接保持、增量拼接、中途取消、断连续传都要重新设计。

3.2 KV Cache 与两个延迟指标

自回归有个天然的浪费：生成第 100 个 token 时理论上要重算前 99 个的注意力表示，生成第 101 个又把前 100 个再算一遍——同一段前缀被反复计算，代价高得离谱。

KV Cache 就是为消除这个浪费而生。它把每个 token 在注意力计算中产生的中间结果（Key 和 Value 向量）缓存下来，后续直接复用，只对新增 token 做增量计算。这套路后端太熟悉了——它本质就是一层缓存，用显存换计算，避免对同一前缀重复计算。

KV Cache 的存在，把推理切成了两个性质完全不同的阶段，也因此有了两个必须分开看的延迟指标：

Prefill 与 Decode 两阶段，对应 TTFT 与 TPOT 两个指标。

TTFT（Time To First Token，首 token 延迟）衡量从请求到吐出第一个字要多久，主要由 Prefill 决定——模型要先并行把整段输入过一遍、建好 KV Cache，输入越长这步越慢。TPOT（Time Per Output Token，出字速率）衡量首字之后每个 token 的间隔，由 Decode 的串行速度决定。这俩是两回事：长输入短输出的请求 TTFT 会难看，但 TPOT 就不错，短输入长输出的正相反。

3.3 按 token 计费的成本结构

商业 API 按 token 计费，而且输入和输出 token 通常分开定价，输出往往更贵。回看前两节就知道原因：输入靠 Prefill 一次并行吃下，成本相对低；输出靠 Decode 串行生成，占用算力时间更长，自然贵。

而我们AI工程实践要注意：首先，把一大段长上下文（检索结果或历史对话）喂进去，即使模型只回一句话，输入这部分的钱照付不误——这是 RAG、长对话做成本优化绕不开的账。其次，API 返回体通常带一个 usage 字段，列出 prompt_tokens、completion_tokens，这是做成本监控、给业务分摊费用的一手数据，接入时务必落库。

3.4 上下文窗口的本质

「上下文窗口」（context window）常被误解成模型的「内存」或「记忆」。更准确地说：它是模型单次前向计算里，注意力能覆盖的 token 数量上限。

它不是存着历史的内存，而是一次计算的作用范围。这带来两个推论。

第一，模型对多轮对话「没有记忆」——所谓多轮，是每轮都把之前的全部历史重新拼进输入再算一遍，「记忆」是应用层拼出来的假象。

第二，上下文不是越大越好。窗口一大，2.3 那个平方级注意力成本就顶上来了，更长的 TTFT、更高的费用跟着来，还有「长上下文中间信息被忽略」的现象。窗口大小是一组成本与效果的权衡，不是越高越好的规格参数。

四、总结

回答文章开头说的：「你讲讲大模型的工作原理吧。」我们需要如何回答？

4.1 及格线答法

能 60 秒之内把下面这段自己的话讲顺，这道题就稳了：

「大模型的核心机制是 next token prediction——给定前面所有的文本，预测下一个最可能出现的 token，然后把它拼回输入，再预测下一个，一个接一个地生成，这叫自回归。它靠 Transformer 的自注意力机制，让生成每个词时都能参考前面的全部上文。它不是在检索答案，而是在做条件概率计算，知识被压缩在了几千亿参数里。原始模型只会续写，是靠后续的指令微调和人类反馈对齐，才变成今天这个能对话、听指令的样子。」

这段话是一条完整、自洽的因果链，每一步都能接住追问——背名词的人给不出这种「串起来」的叙述。

4.2 加分答法

在及格线之上叠一层「我懂工程含义」的信号，挑一两条最有把握的说：

• 三阶段训练：预训练给知识、SFT 教听话、RLHF 学分寸，而 RLHF 优化的是「让人满意」不是「为真」，这正是幻觉的机制性来源之一。
• 推理成本结构：从「串行生成」推出流式输出（SSE）是必然、KV Cache 是推理侧的缓存、TTFT 和 TPOT 要分开优化、按 token 计费里输出比输入贵。

4.3 高频追问

面试官通常不会停在主问题，会顺着往下钻，比如以下的追问：

① 温度设 0 就是完全确定性的吗？

想当然答「是」。

其实：不完全是。采样层面趋于确定，但线上仍有非确定性：浮点运算不满足结合律，加上生产环境的动态批处理会让同一请求和不同邻居请求拼批，数值结果有微小差异。Thinking Machines 2025 年的文章把根因归到 batch invariance。

② 是在检索记忆，还是在推理？

都不是。它在做条件概率生成——知识以权重形式压缩在参数里，既不是查库检索，也不是符号推理，而是「算出下一个最可能的 token」。

③ 为什么会产生幻觉？

训练目标是让输出「像」真的，不是「是」真的。模型本质在做概率续写，当某个说法统计上顺滑但事实不存在时，它照样流利说出来。RLHF 优化「让人满意」又放大了这条裂缝。

④ 上下文窗口越大越好吗？

不是。窗口本质是注意力的计算范围不是内存。越大意味着平方级算力成本、更长 TTFT、更高费用，还有长上下文中间信息被忽略。它是成本与效果的权衡。

⑤ 和传统 NLP 模型的本质区别？

传统 NLP 多是「一个任务训一个专用模型」，边界固定；大模型在超大规模通用语料上做 next token prediction，一个模型 + 提示词就覆盖翻译、摘要、问答、写码等大量任务，规模到位后还出现了训练目标之外的能力。

大模型不是在检索答案，也不是在推理记忆，它是在一个词一个词地做条件概率预测——「智能」是这个过程在足够大的规模下涌现出来的副产品。