大模型-代数基础知识(向量，矩阵，点积)

标量

标量就是一个数字

只有大小概念，没有方向的概念。通过一个具体的数值就能表达完整。比如：重量、温度、长度、提及、时间、热量等都数据标量

向量

向量是数学和物理学中的一个基本概念，表示既有大小又有方向的量。

与标量（只有大小没有方向）不同

向量主要有2个维度：大小、方向

在数学里，向量可以用一串数字表示，比如 [3, 4]。这串数字可以代表空间中的一个点或者一个方向

矩阵

矩阵是二维的数字表格

矩阵可以看作是"多个向量的堆叠"：

3×4 的矩阵 = 3 个长度为 4 的行向量 或者 = 4 个长度为 3 的列向量

矩阵乘法

可乘条件‌：设 A 为 m×n 矩阵，B 为 n×p 矩阵，只有 A 的列数 (n) 等于 B 的行数 (n) 才能相乘 结果维度‌：乘积 C=AB 是 m×p 矩阵，保留第一个矩阵的行数和第二个矩阵的列数 。 ‌元素计算‌：C 的第 i 行第 j 列元素等于 A 的第 i 行与 B 的第 j 列对应元素乘积之和。【点积（Dot Product）】

矩阵乘法的维度规则：

[A, B] × [B, C] = [A, C]

中间的维度必须相同（都是 B），结果取两边的维度。

举例：

矩阵加法

只有同行数同列数的矩阵才可以相加，结果也是同样尺寸的矩阵，其中的每个元素都是相加矩阵对应位置的元素之和

Transformer中

标量：学习率、温度参数 向量：一个 token 的 embedding 矩阵：一批 token 的 embedding、权重矩阵