基于Field的DeepFM稀疏化实现

DeepFM的原始特征是非常稀疏的，所以代码实现需要考虑特征的稀疏化运算；     2. 二、 基于Field的DeepFM稀疏化实现 2.2 网络结构图 1522671691_78_w708_h433.png     如图所示，每一种颜色代表不同Field的特征，我们假设输入是稀疏的维度为 代码地址：https://github.com/ck8275411/deep_rec 2.2 Field-Avg-Pooling原理     Field-Avg-Pooling最麻烦的地方在于：如何在稀疏化的样本

稀疏化训练：DeepSeek万亿参数管理秘籍

行业曾尝试通过以下路径破局： 模型并行：NVIDIA Megatron方案使500B模型训练成为可能，但通信开销占比超40% 量化压缩：INT8量化导致精度损失达7.3%（BERT基准测试） 蒸馏学习 核心技术解析稀疏化训练是一种通过引入稀疏性来减少模型参数数量和计算复杂度的技术。其发展经历了多个阶段，从最初的简单剪枝方法到如今的复杂稀疏化策略。 早期的稀疏化训练主要关注于去除模型中不重要的参数，以减少存储空间。 然而，随着模型规模的不断扩大和应用场景的日益复杂，稀疏化训练技术也在不断演进，逐渐形成了包括结构化稀疏化、动态稀疏化等多种方法在内的完整体系。 稀疏化训练过程在稀疏化训练中，需要引入稀疏性约束或正则化项，以促使模型参数向零靠近。

离线蒸馏奢侈？在线蒸馏难？都不再是问题DKEL统统帮你解决，蒸馏同质化问题也解决！

离线知识蒸馏是一种需要昂贵资源训练教师网络，然后将知识蒸馏到学生网络进行部署的两阶段 Pipeline 。另一方面，在线知识蒸馏是一种一阶段策略，通过互相学习和合作学习来缓解这种需求。 然而，由于学生和教师之间的同质化程度高，PCL中的模型偶尔会崩溃。 在本文中，分析了高同质化的原因，并提出了解决方案。通过独立教师生成一个与学生网络分离的解耦知识。 工作贡献如下： 在线蒸馏方法提出了解耦知识与集成学习的解耦知识，并展示了其在现有方法上的理论及实证优势。 为了应对教师和学生的同学之间的高同质化导致模型崩溃问题，构建了一个具有解耦知识的教师网络。 2 Related work 知识蒸馏通常用于模型压缩，这被分为离线和在线知识蒸馏： 离线知识蒸馏需要一个预训练的教师网络和一个学生网络，学生网络同时学习教师网络和真实值。 崩溃的 essential 原因是教师和学生的同行（简写为 s 和 t ）同质化程度过高，导致蒸馏损失过小。

知识蒸馏综述：蒸馏机制

，可以分为离线蒸馏，在线蒸馏和自蒸馏。 感性上理解三种蒸馏方式： 离线蒸馏可以理解为知识渊博的老师给学生传授知识。 在线蒸馏可以理解为教师和学生一起学习。 自蒸馏意味着学生自己学习知识。 1. 使用在线蒸馏的时候，教师网络和学生网络的参数会同时更新，整个知识蒸馏框架是端到端训练的。 自蒸馏 Self-Distillation 在自蒸馏中，教师和学生模型使用相同的网络。自蒸馏可以看作是在线蒸馏的一种特殊情况，因为教师网络和学生网络使用的是相同的模型。 Revisit knowledge distillation: a teacher-free framework 提出了一种基于标签平滑化的无教师知识蒸馏方法。

知识蒸馏

知识蒸馏概述 蒸馏指的是把不纯净的水加热变成蒸汽，蒸汽冷凝之后变成冷凝水。知识蒸馏也是把有杂质的东西，大的东西变成小的东西，纯的东西。 那么对于之前那个动物分类的总体损失函数如下 知识蒸馏的应用场景 模型压缩 优化训练，防止过拟合(潜在的正则化) 无限大、无监督数据集的数据挖掘 少样本、零样本学习 迁移学习和知识蒸馏 上图中的Baseline 迁移学习指的是把一个领域的模型泛化到另一个领域，比如说用一个识别X光胸片的数据集去训练一个原本识别猫狗的模型，那么这个识别猫狗的模型就慢慢学会了识别X光胸片的各种疾病。 知识蒸馏是把一个模型的知识迁移到另一个模型上。 知识蒸馏的原理 上图中大的绿色的矩形为非常大的教师网络，中间的蓝色的矩形是学生网络。 https://github.com/HobbitLong/RepDistiller 知识蒸馏温度T可视化 import numpy as np import matplotlib.pyplot as

模型蒸馏升级！高温蒸馏：Softmax With Temperature

一个是知识蒸馏的方法用于深度学习，同时也需要深入学习；另一个则是本文的核心：蒸馏中如何合理运用温度，让隐藏的知识更好地挥发和凝结。 蒸馏模型 模型蒸馏或知识蒸馏，最早在 2006 年由 Buciluǎ 在文章 Model Compression [14] 中提出（很多博主把人名都写错了。 先简要概括一下模型蒸馏在做什么。出于计算资源的限制或效率的要求，深度学习模型在部署推断时往往需要进行压缩，模型蒸馏是其中一种常见方法。 对于相同的输入，让学生输出的概率分布尽可能的逼近教师输出的分布，则大模型的知识就通过这种监督训练的方式「蒸馏」到了小模型里。 后话 写完这篇文章才发现，潘小小【经典简读】知识蒸馏（Knowledge Distillation）经典之作 [17] 一文中已有类似的探讨。

稀疏数组

稀疏数组 先看一个实际的需求 五子棋程序中，有存盘退出和续上盘的功能。 ? 分析问题: 因为该二维数组的很多值是默认值0, 因此记录了很多没有意义的数据.->稀疏数组。 1.1 稀疏数组介绍 当一个数组中大部分元素为０，或者为同一个值的数组时，可以使用稀疏数组来保存该数组。 将i存到稀疏数组[0][0]的位置 将j存到稀疏数组[0][1]的位置 将count存到稀疏数组[0][2]的位置 将各个有效值的行列存到稀疏数组下一行，例如[1][0]=行，[1][1]=列，[1][ 1.2 转换思路 二维数组转稀疏数组的思路： 遍历原始的二维数组，得到有效数据的个数sum 根据sum就可以创建稀疏数组sparseArr int[sum+1][3] 将二维数组的有效数据数据存入到稀疏数组 稀疏数组转原始的二维数组的思路： 1.先读取稀疏数组的第一行，根据第一行的数据，创建原始的二维数组，比如上面的chessArr2 =int[5][6] 2.在读取稀疏数组后几行的数据，并赋给原始的二维数组即可

稀疏数组

稀疏数组 当一个数组大部分为0，或者为同一个值的数组时，可以使用稀疏数组来保存该数组 稀疏数组的处理办法是： 1.记录数组一共有几行几列，有多少个不同的值 2.把具有不同值的元素的行列及值记录在一个小规模的数组 （稀疏数组 ）中，从而缩小程序的规模 如下例：将一个二维数组转换为稀疏数组 稀疏数组第一行保存的值是二维数组有多少行和列，有多少个不同的值。 13个有意义的值，那么原来的二维数组还是 7*6=42,而转换后稀疏数组则是 14*3=42,如果原来的二维数组有14、15、16、...个等有意义的值，那么稀疏数组的大小将会超过原先二维数组的大小，这里就得不偿失了 这里就得到两个结论： 二维数组的有效值越少，转换为对应的稀疏数组就越高效 稀疏数组适用于空数据较多的情况下 在使用稀疏数组之前一定要具体问题具体分析，不能一股脑的用！ 代码实现 还是以一个五子棋盘为例 为了对棋盘进行压缩，我们将原来的二维数组的方式转换为稀疏数组的方式 稀疏数组第一行存储的是原来二维数组的行和列以及有效的数据 第二行后存储的是每一个数据的位置和具体值

稀疏数组

当一个数组中大部分元素为0，或者为同一个值的数组时，可以使用稀疏数组来保存该数组。 稀疏数组的处理方法是： 1）记录数组一共有几行几列，有多少个不同的值 2）把具体不同值的元素的行列及值记录在一个小规模的数组中，从而缩小程序的规模。 ? 二维数组转稀疏数组 public class SpareseArray { public static void main(String[] args) { /** d\t",data); } System.out.println(); } /** * 将二维数组转稀疏数组 创建稀疏数组，行数=sum+1 ，多出来的1行是对稀疏数组中总行数、总列数以及非0个总个数的 sparseArr[0][0] = chessArr1.length; sparseArr

稀疏数组

，2020.2 IDEA 激活码 一、稀疏数组的定义 ---- 稀疏（sparsearray）数组：可以看做是普通数组的压缩，但是这里说的普通数组是值无效数据量远大于有效数据量的数组。 当遇到此种情况时，可以使用稀疏数组。 ? 当一个数组中大部分元素为0，或者为同一个值的数组时，可以使用稀疏数组来保存该数组。 二、应用实例 ---- 我们将下图所示的棋盘使用稀疏数组进行存盘退出操作： ? 【1】将上面类似的二位数组棋盘保存到稀疏数组中，并存放至外部备份文件 sparsearray.text 中：稀疏数组可以简单的看作为是压缩，在开发中也会使用到。 比如将数据序列化到磁盘上，减少数据量，在 IO 传输过程中提高效率等等。

MoE-LLaVA——将多模态大模型稀疏化

通常来说，稠密模型的LVLM到此就训练完成，然而我们在发现同时将LLM转为LVLM和把模型稀疏化是具有挑战的。 因此，MoE-LLaVA将使用第二阶段的权重作为第三阶段的初始化以降低稀疏模型学习的难度。 阶段3：作为初始化，我们将FFN复制多份作为专家集合的初始化权重。 其中MoE-LLaVA用3.6B的稀疏激活参数在SQAI上超过了LLaVA-1.5-7B 1.9%。 然而随着模型逐渐被稀疏化，第17到27层的专家的负载突然增大，甚至几乎包揽了所有tokens。对于浅层的5-11层，主要是由专家2，3，4共同协作。 expert 1，4倾向于处理初始化的token。这些结果能够更好的帮助我们理解稀疏模型在多模态学习上的行为并探索未知的可能。 图8 激活通路可视化

稀疏矩阵

在矩阵中，如果数值为0的元素数目远远多于非0元素的数目，并且非0元素分布无规律时，则称该矩阵为稀疏矩阵（sparse matrix）；与之相反，若非0元素数目占大多数时，则称该矩阵为稠密矩阵。 当一个矩阵中含有大量的0值时，可以将矩阵以稀疏矩阵的方式存储以解决资源。在R中，可以用Matrix这个包, 它可以将矩阵转化为稀疏矩阵。 #转化成稀疏矩阵，可以看到0变成了点 library(Matrix) sparseM= Matrix(M) class(sparseM) sparseM ?

稀疏数组

稀疏数组 一、介绍 稀疏数组可以看作是普通数组的压缩，当一个数组中大部分元素为0或同一个值时，可用稀疏数组来保存该数组。 由此可以发现，当一个数组上出现大量无用的数组时，我们可以使用一些方法将其压缩成稀疏数组进行存储，等到使用的时候再进行解压还原。 ，里面的有效值个数有三个， 那么转为稀疏数组后，将会变成一个4*3的稀疏数组。 ，如下图所示 由此可以分析出来，将二维数组转换成为稀疏数组只需要这么几步就可以成功。 遍历原数组，得到原数组中有效值的个数num 创建一个稀疏数组，大小为(num+1)*3 稀疏数组的第0行存放，原数组的行个数，列个数，以及有效值的个数 将有效值的行、列、值转换写入稀疏数组中

知识蒸馏相关技术【模型蒸馏、数据蒸馏】以ERNIE-Tiny为例

在训练过程中，往往以最优化训练集的准确率作为训练目标，但真实目标其实应该是最优化模型的泛化能力。 显然如果能直接以提升模型的泛化能力为目标进行训练是最好的，但这需要正确的关于泛化能力的信息，而这些信息通常不可用。 实验表明通用蒸馏阶段和任务蒸馏阶段的蒸馏loss不匹配时，学生模型的效果会受到影响。 实证结果证明了我们的框架的有效性和所带来的泛化增益 。 二阶段蒸馏：* 通用蒸馏（General Distillation，GD）：在预训练阶段训练，使用大规模无监督的数据， 帮助学生网络学习到尚未微调的教师网络中的知识，有利于提高泛化能力。

知识蒸馏相关技术【模型蒸馏、数据蒸馏】以ERNIE-Tiny为例

在训练过程中，往往以最优化训练集的准确率作为训练目标，但真实目标其实应该是最优化模型的泛化能力。 显然如果能直接以提升模型的泛化能力为目标进行训练是最好的，但这需要正确的关于泛化能力的信息，而这些信息通常不可用。 实验表明通用蒸馏阶段和任务蒸馏阶段的蒸馏loss不匹配时，学生模型的效果会受到影响。 实证结果证明了我们的框架的有效性和所带来的泛化增益 。 二阶段蒸馏： 通用蒸馏（General Distillation，GD）：在预训练阶段训练，使用大规模无监督的数据， 帮助学生网络学习到尚未微调的教师网络中的知识，有利于提高泛化能力。

02 稀疏数组

2.问题分析 上面棋盘可用二维数组进行记录，但是二维数组的很多值是默认值0，因此记录了很多没有意义的数据->稀疏数组 3.基本介绍 当一个数组中大部分元素为0，或者为同一个值的数组时，可以使用稀疏数组来保存该数组 稀疏数组的处理方法是： 记录数组一共有几行几列，有多少个不同的值。 把具有不同值的元素的行列及值记录在一个小规模的数组中，从而缩程序的规模。 4.应用实例 （1）使用稀疏数组，来保留类似前面的二维数组（棋盘、地图等） （2）把稀疏数组存盘，并且可以重新恢复原来的二维数组 public class MySparseArray { } } Console.WriteLine(sum); Console.WriteLine("3.创建稀疏数组 [i,j]; } } } Console.WriteLine("4.输出得到的稀疏数组

数组 – 稀疏数组

原数组中存在大量的无效数据，占据了大量的存储空间，真正有用的数据却少之又少 压缩存储可以节省存储空间以避免资源的不必要的浪费，在数据序列化到磁盘时，压缩存储可以提高IO效率 3.存储方式 1. 比如将数据序列化到磁盘上，减少数据量，在IO过程中提高效率等等。 * *

* 为什么要进行压缩？

少即是多：视觉SLAM的点稀疏化(IROS 2022)

； 提供了详细的位姿准确性、点减少和各种室内/室外公共数据集的改进速度比较； 据作者所知，本文的工作是第一次将关于特征和帧关系的多个属性同时集成到稀疏化特征图中，也是第一次为稀疏化地图的本地化性能的维护提供了验证 ；[22]通过边缘化旧节点的稀疏化节点，同时保持剩余节点的所有信息，并给出一个标准化的最小化问题，以保持图组合的稀疏性；[39]设计了一种动态变量重新排序的方法，为快速增量Cholesky分解在增量更新和批量更新之间做出决定减少了与逆排列相关的工作量 问题中的变量，最小化图稀疏化过程中的信息损失；[6]使用一种基于信息的方法和最小化问题的增量版本来高效地稀疏地标和姿态的数量，而不影响估计轨迹的准确性。 Methods 作者在ORB-SLAM2上融合了本文所提出的方法；一旦通过n > 1帧的三角化估计的地图点之间的连通性和相机姿势被表示为一个具有流量和成本的图结构，作者提出了一个点稀疏化的图表示的解决方案 Conclusion 本文介绍了一种基于图的SLAM点稀疏化方法，该方法在点稀疏化过程中同时实现了3个目标:最大点连通性（maximizing the point connectivity）、最大空间多样性

机器学习10：梯度优化与L正则化稀疏性

5，模型参数的稀疏性与L1正则化： 模型参数具有稀疏性有那些优点：稀疏性，说白了就是模型的很多参数是0。 上图从解空间形状角度展示了L1正则化与模型参数稀疏性关系：L1“棱角分明”的解空间显然更容易与目标函数等高线在角点碰撞，从而产生稀疏解。 5.2，函数叠加： ? 上图从函数叠加角度展示了L1正则化与模型参数稀疏性关系：目标函数变成L(w)+C|w|，其函数曲线为绿色。此时，最小值点在红点处，对应的w是0，产生了稀疏性。 在一些在线梯度下降算法中，往往会采用截断梯度法来产生稀疏性，这同L1正则项产生稀疏性的原理是类似的。 考虑加上L2正则化项，目标函数变成L(w)+Cw2，其函数曲线为黄色。 上图从函数叠加角度展示了L1正则化与模型参数稀疏性关系：L1正则化相当于对模型参数w引入了拉普拉斯先验，L2正则化相当于引入了高斯先验，而拉普拉斯先验使参数为0的可能性更大。

深度学习基础知识（六）--LPCNet之GRU稀疏化

上文介绍了LPCNet的算法原理和工程，本文主要介绍LPCNet的加速方案之稀疏化处理。我们首先了解GRU，然后再看作者如何对GRU进行稀疏化，来提升网络性能。 LPCNet中如何实现稀疏化代码如下：#Training from scratchsparsify = lpcnet.Sparsify(2000, 40000, 400, density)grub_sparsify = lpcnet.SparsifyGRUB(2000, 40000, 400,args.grua_size, grub_density)表示2000之前batch迭代不进行稀疏化；2000-40000 每间隔400个迭代进行一次稀疏化；40000后每个迭代进行稀疏化，这里通过加一个callback对象sparsify。 384gru和循环无关的与W_{xr},W_{xz},W_{xh}矩阵运算提前合并计算好，因为X要先嵌入再和W_x相乘，可以将两个操作一起计算与循环相关的W_{wr},W_{wz},W_{wh}进行了稀疏化