【零基础手写大模型】之手写推理大模型，手写DeepSeek R1推理大模型

一、 为什么是Transformer？——从“顺序阅读”到“全局扫视”

在Transformer诞生之前，处理文本的主流架构是RNN（循环神经网络）。它的工作方式是“顺序阅读”——一个字接一个字地处理。这就像你只能从左到右逐字阅读一篇文章，读完后面的字，前面的字已经开始模糊了。这种天生串行的机制导致两个致命问题：训练速度慢（无法并行），以及记不住长距离的依赖关系（比如一篇文章开头提到的人名，读到结尾时模型已经忘了）。

Transformer的革命性在于：它抛弃了顺序处理，改为一次性接收整个文本序列，然后让每个词都能直接“看到”序列中的所有其他词。这就好比你把整篇文章铺在桌面上，目光可以随时扫视任意位置，而不是被迫逐行阅读。实现这一点的核心机制，叫做自注意力。

二、 自注意力机制：每个词都有一张“关注度地图”

自注意力是Transformer的灵魂，也是理解整个架构的钥匙。它的核心思想极其朴素：在处理一个词时，模型需要知道当前词应该“更关注”序列中的哪些其他词。

让我们用一个具体例子来理解。句子是：“动物没有过马路，因为它太累了。”当模型处理“它”这个词时，自注意力机制需要计算出：这里的“它”最有可能指代“动物”还是“马路”？通过计算“它”与句子中每个词的关联权重，模型发现“动物”的权重远高于“马路”，于是得出结论——“它”指代的是“动物”。

从实现逻辑上看，自注意力机制为每个词生成了三组向量：Query（查询）、Key（键）和Value（值）。Query代表“我在找什么”，Key代表“我有什么可供匹配”，Value代表“我的实际内容是什么”。每个词的Query会与所有词的Key计算相似度，得到一组权重分数，再用这些分数去加权融合所有词的Value。最终，每个词都获得了一个融合了全局信息的新表示。

这个过程的精妙之处在于：它是通过简单的向量点积和加权求和完成的，计算过程高度并行化，极其适合GPU加速。

三、 多头注意力：从“单一视角”到“多角度观察”

如果只有一个自注意力机制，模型可能只学会了一种“关注模式”——比如只关注动词与主语的关系。但语言是复杂的：同一个词可能需要从语法、语义、指代关系等多个维度来理解。

多头注意力机制解决了这个问题。它相当于并行运行了多组独立的注意力计算（在标准Transformer中是8组或更多），每一组都从不同的角度去关注文本中的关系。一组可能专门捕捉语法结构，另一组专门捕捉语义相关性，还有一组专门处理指代消解。最后，将所有头的输出拼接起来，送入下一层。这让模型拥有了“多双眼睛”同时观察文本的能力。

四、 位置编码：告诉模型“顺序”这件事

由于Transformer一次性处理整个序列，没有天然的先后顺序概念。但“我爱你”和“你爱我”是完全不同的意思——模型必须知道词的位置信息。

位置编码就是用来给每个词注入位置信息的。Transformer的原始设计中采用了正弦和余弦函数的组合来生成位置向量，然后直接加到词的嵌入向量上。这样，模型在处理每个词时，既能知道“这是什么词”，也能知道“这个词在什么位置”。位置编码的设计确保了不同位置的编码向量具有可区分的模式，且任意两个位置的编码关系可以通过数学变换来表达。

五、 残差连接与层归一化：让深层网络“不迷路”

Transformer通常堆叠了数十层甚至上百层。在如此深的网络中，梯度消失和训练不稳定是绕不开的工程挑战。

残差连接的思路很简单：把输入直接“跳过”本层变换，加到输出上。 即输出 = 本层变换(输入) + 输入。这样一来，梯度可以通过这条“捷径”直接回传，即使中间层的变换效果不理想，原始信息也不会丢失。

层归一化则是对每一层的输出进行标准化处理，使其均值为0、方差为1，有效抑制了训练过程中内部协变量偏移问题，让训练过程更稳定、收敛更快。

六、 完整的实现逻辑：编码器-解码器与数据的流动

在实际实现中，标准的Transformer由编码器和解码器两部分构成。编码器负责理解输入文本（比如英语句子），解码器负责基于编码器的理解生成输出文本（比如对应的中文翻译）。每一层都包含多头注意力、前馈网络、残差连接和层归一化。

数据从一个词嵌入向量开始，逐层向上流动，每经过一层，词的表示就更加抽象和上下文相关。最终，解码器最顶层的输出经过一个线性层和Softmax变换，转化为词典中每个词的概率分布——这就是模型“预测”出的下一个词。