- 综合排序
- 最热优先
- 最新优先
- 来自专栏Fish
双精度，单精度和半精度
浮点数是计算机上最常用的数据类型之一，有些语言甚至数值只有浮点型（Perl，Lua同学别跑，说的就是你）。 常用的浮点数有双精度和单精度。除此之外，还有一种叫半精度的东东。 双精度64位，单精度32位，半精度自然是16位了。 半精度是英伟达在2002年搞出来的，双精度和单精度是为了计算，而半精度更多是为了降低数据传输和存储成本。 很多场景对于精度要求也没那么高，例如分布式深度学习里面，如果用半精度的话，比起单精度来可以节省一半传输成本。考虑到深度学习的模型可能会有几亿个参数，使用半精度传输还是非常有价值的。 比较下几种浮点数的layout: 双精度浮点数： ? 单精度浮点数： ? 半精度浮点数： ? 它们都分成3部分，符号位，指数和尾数。 不同精度只不过是指数位和尾数位的长度不一样。
6.9K50发布于 2019-05-27 - 来自专栏活动
DeepSeek 量化压缩实战：INT8 精度保持方案详解
（三）量化压缩技术的优势量化压缩是模型压缩的重要方法之一，通过降低模型参数的精度来实现压缩。 其中，INT8 量化将模型参数从 32 位浮点数（FP32）转换为 8 位整数（INT8），显著减少了模型的存储空间和计算量。 早期的量化方法主要集中在对权重参数进行简单的截断或舍入操作，但这些方法往往会导致较大的精度损失。 卷积层 2 32 64 3x3 1 1 ReLU 池化层 2 2x2 2 全连接层 1 64x8x8 （二）数据预处理数据预处理是模型训练和量化压缩的重要前提。对于 CIFAR-10 数据集，数据预处理步骤包括数据加载、归一化、数据增强等。
1.6K20编辑于 2025-03-27 - 来自专栏量子位
YOLOv8已至，精度大涨！教你如何在自定义数据集上训练它
这次升级不少，包括命令行界面、Python API、backbone结构等，精度相比YOLOv5高了一大截（速度官方还没公布）。 不知道YOLOv8这一出，v5版本还会“苟”多久？ oh我们还发现已经有人用它在自定义数据集上完成了一波训练，效果是这样滴： 这精准度和稳定性，让网友狠狠夸赞了一波。 具体怎么玩？ 在自定义数据集上训练YOLOv8 正式教程开始之前，我们还是先来认识一下这个新版本。 它的出品公司还是Ultralytics，也就是发布YOLOv5的那家。 那么接下来，我们就正式开始教程部分了—— 在自定义数据集上训练YOLOv8。 1、首先，安装上我们的新YOLOv8，“pip”或者“git clone”一下。 ) 3、开始训练 使用下面的命令将数据集下载片段（snippet）粘贴到你的YOLOv8 Colab notebook中，开始训练。
4.8K20编辑于 2023-02-28 - 来自专栏AI智韵
YoloV8改进策略：EfficientViT提升YoloV8的速度和精度，打造高效的YoloV8
将EfficientViT引入到YoloV8中，打造实时高效的YoloV8，效果如何呢？这篇文章将告诉你答案！ Yolov8官方结果 YOLOv8l summary (fused): 268 layers, 43631280 parameters, 0 gradients, 165.0 GFLOPs 0.831 Speed: 0.2ms preprocess, 3.8ms inference, 0.0ms loss, 0.8ms postprocess per image 改进一 测试结果 YOLOv8l 0.823 Speed: 0.2ms preprocess, 4.4ms inference, 0.0ms loss, 0.7ms postprocess per image 改进二 测试结果 YOLOv8l 欢迎大家在自己的数据集上做尝试。
72010编辑于 2024-10-22 - 来自专栏联远智维
高精度数据采集板（一）
前几天学习了嘉立创开源的《NBIoT定位器》项目，对移远通信模块进行了调试，并将结果上传到ONENET云平台；然而实际应用场景中不仅需要定位模块，还经常涉及到信号采集任务，因此近来设计了一款高精度数据采集版 ，通过STM32L431 + BC20 + AD7190模块采集传感器数据输出数据并上传到云平台，具体结果如下所示：图片硬件结构 数据采集版硬件结构主要包含：主控模块、AD7190模数转化模块
1.1K40编辑于 2022-09-01 - 来自专栏全栈程序员必看
oracle number数据类型的精度
p: 1—38 s: -84—127 a、s > 0 (精确到小数点右边 s 位，并四舍五入 。然后检验有效数位是否 <= p) 例如：number(5,2) 有效数字最多是5位，保留小数点后2位； 123.45 — 123.45 123 — 123.00 1.2356 — 1.24 0.001 — 0.00 b、s < 0 (精确到小数点左边 s 位，并四舍五入 。然后检验有效数位是否 <= p + |s|) 例如：number(5,-2) 小数点左边最后2位四舍五入，最多7位有效数字 123456 — 123460 1234567.6789 — 1234600 1 — 0 总结：在 p < s 这种情况下 只能用来存放大于0小于1的小数。 在 p > s 这种情况下 小数点前最多只能插入：p – s个数字，但小数点后的数字可以是任意长度（保存时会四舍五入）
1.7K20编辑于 2022-09-15 - 来自专栏csxiaoyao
HDU 1002 高精度 大数据加法
一条很简单的大数据加法题，题意简单明了 题目： A + B Problem II Time Limit: 2000/1000 MS (Java/Others) Memory Limit
63720发布于 2019-02-18 FP8端到端精度强化学习训练技术
为了使这些工作负载可行，研究人员和工程师正转向使用低精度数据类型（如FP8）来提高训练和面向吞吐量的生成性能。 张量数据类型量化粒度缩放因子类型权重FP8 (E4M3)128, 128FP32（块状）输入激活FP8 (E4M3)1, 128FP32（块状）输出梯度FP8 (E4M3)1, 128FP32（块状）表 实验表明：对于候选方案1（FP8生成 + BF16训练），重要性采样可以缩小与BF16 RL的精度差距，但无法完全消除。对于最终方案（端到端FP8），重要性采样完全消除了与BF16训练的精度差距。 精度BF16仅FP8生成FP8端到端验证准确率0.6160.5860.613表2：不同精度配置下Llama3 8B验证准确率结果在加速方面，与BF16相比，FP8方案实现了持续超过15%的吞吐量提升。 Qwen3-30B GRPO在OpenMathInstruct-2数据集上的准确率曲线，使用8个H100节点。
10310编辑于 2026-04-26- 来自专栏AI智韵
YoloV8改进策略：Hiera改进YoloV8，实现精度和速度的双提升！
spm=1001.2014.3001.5502 YoloV8的官方结果 YOLOv8l summary (fused): 268 layers, 43631280 parameters, 0 gradients p3 230 105 0.99 1 0.995 0.801 p8 Speed: 0.2ms preprocess, 3.8ms inference, 0.0ms loss, 0.8ms postprocess per image 改进一 测试结果 YOLOv8l 0.854 tu-22 230 98 0.999 1 0.995 0.844 运算量下降，精度提升 改进二 测试结果 YOLOv8l summary (fused): 277 layers, 46783152 parameters, 0 gradients, 172.5 GFLOPs
25310编辑于 2024-10-22 JavaScript——数字超过精度导致数据有误
前言 接口返回的number类型的数据，超过了JavaScript中Number类型的限制，浏览器自动进行了转换； console.log(7232167009634730040) 内容 以下内容来自 大于这个值的整数在 JavaScript 中会失去精度或变为 Infinity。 > 9007199254740991 // 最大安全整数 9007199254740991 > 9007199254740992 9007199254740992 // 超出范围,已经失去精度 这可以保证数字的精度。 API 直接返回字符串,如 "7232167009634730040"。前端检查是否可以转为 Number,如果不能则使用字符串处理。 这样也可以避免精度丢失的问题。 API 返回支持大数的类型,如 String、Decimal 等。然后前端引入对应库处理。 在前后端共同配合下,返回和解析合适格式的数值。
48510编辑于 2024-08-15- 来自专栏计算机视觉战队
字节跳动开源8比特混合精度Transformer引擎
由于目前流行的深度学习框架不支持 int8 精度，所以量化感知训练需要插入 fp16 的伪量化结点来模拟 int8 量化，导致量化感知训练反而比 fp16 混合精度训练慢 2-3 倍。 比较 LightSeq fp16 和 LightSeq int8，可以看出随着数据量的增大，LightSeq int8 越来越快。 量化技术 int8 量化的加速收益主要来自如下几个方面： GEMM 精度从 fp16 降低到 int8 后，计算时间缩短； 自定义算子采用 int8 输入输出后，数据读写时间缩短； 梯度采用 int8 红色箭头表示流动数据的类型是 int8，绿色箭头表示第二层 FFN 的 GEMM 输出是 int32 数据类型。 （附论文下载） CVPR21小样本检测：蒸馏&上下文助力小样本检测（代码已开源） 半监督辅助目标检测：自训练+数据增强提升精度（附源码下载） 目标检测干货 | 多级特征重复使用大幅度提升检测精度（
82240编辑于 2023-08-24 - 来自专栏架构精进之路
不可忽视的PHP数据精度损失问题
不知大家在开发过程中有没有常常会遇到数据精度问题呢，类似下面这样的： <?php $a = 0.57; echo intval(floatval($a) * 100); 预期输出结果57，实则56。 首先我们要知道浮点数的表示(IEEE 754)： 浮点数, 以64位的长度(双精度)为例，会采用1位符号位(E)，11指数位(Q)，52位尾数(M)表示(一共64位) 符号位：最高位表示数据的正负，0表示正数 ，1表示负数； 指数位：表示数据以2为底的幂，指数采用偏移码表示； 尾数：表示数据小数点后的有效数字。 （暂且当作 0 舍 1 入） 双精度浮点数能表示多少精度呢？ 对于高精度数据操作，建议使用以下函数： bcadd — 将两个高精度数字相加 bccomp — 比较两个高精度数字，返回-1, 0, 1 bcdiv — 将两个高精度数字相除 bcmod — 求高精度数字余数
1.2K10发布于 2021-02-05 - 来自专栏计算机视觉战队
Yolo系列模型的部署、精度对齐与int8量化加速
模型的onnx，在coco val数据集上对齐torch版本与TensorRT版本的精度。 2、详解TensorRT量化的三种实现方式 TensorRT量化的三种实现方式包括trt7自带量化、dynamic range api，trt8引入的QDQ算子。 在基于PytorchQuantization导出的含有QDQ节点的onnx时，我们发现尽管量化版本的torch模型精度很高，但是在TensorRT部署时精度却很低，TRT部署收精度损失很严重，通过可视化其他量化形式的 engine和问题engine进行对比，我们发现是一些层的int8量化会出问题，由此找出问题量化节点解决。 实践证明，我们采用上述配置的分离PTQ量化在yolov8上可以取得基本不掉点的int8量化精度。
1.5K20编辑于 2023-11-08 - 来自专栏用户5637037的专栏
图插值激活提高数据高效深度学习的自然精度和鲁棒精度
Both Natural and Robust Accuracies in Data-Efficient Deep Learning 摘要：提高深度神经网络(DNNs)的准确性和鲁棒性，并使其适应较小的训练数据 本文用一个基于拉普拉斯图的高维插值函数代替DNNS的输出激活函数(典型的数据无关的Softmax函数)，该函数在连续极限下收敛于高维流形上的Laplace-Beltrami方程的解。 与传统的以Softmax函数作为输出激活的DNN相比，该框架具有以下主要优点：第一，它更适用于不使用大量训练数据而训练高容量DNN的数据高效学习。
82110发布于 2019-07-17 - 来自专栏机器之心
字节跳动开源8比特混合精度Transformer引擎
由于目前流行的深度学习框架不支持 int8 精度，所以量化感知训练需要插入 fp16 的伪量化结点来模拟 int8 量化，导致量化感知训练反而比 fp16 混合精度训练慢 2-3 倍。 比较 LightSeq fp16 和 LightSeq int8，可以看出随着数据量的增大，LightSeq int8 越来越快。 量化技术 int8 量化的加速收益主要来自如下几个方面： GEMM 精度从 fp16 降低到 int8 后，计算时间缩短； 自定义算子采用 int8 输入输出后，数据读写时间缩短； 梯度采用 int8 最后多机训练的瓶颈主要在梯度的通信，将梯度量化为 int8 精度可以大大加快分布式训练的速度。 量化原理 为了弥补量化带来的精度损失，通常需要用量化感知训练来模拟量化过程。 红色箭头表示流动数据的类型是 int8，绿色箭头表示第二层 FFN 的 GEMM 输出是 int32 数据类型。
1.4K10编辑于 2022-12-15 - 来自专栏我爱计算机视觉
YOLO系列模型的部署、精度对齐与int8量化加速
模型的onnx，在coco val数据集上对齐torch版本与TensorRT版本的精度。 在基于PytorchQuantization导出的含有QDQ节点的onnx时，我们发现尽管量化版本的torch模型精度很高，但是在TensorRT部署时精度却很低，TRT部署收精度损失很严重，通过可视化其他量化形式的 engine和问题engine进行对比，我们发现是一些层的int8量化会出问题，由此找出问题量化节点解决。 实践证明，我们采用上述配置的分离PTQ量化在yolov8上可以取得基本不掉点的int8量化精度。 原文链接：https://www.hbblog.cn/%E6%A8%A1%E5%9E%8B%E9%83%A8%E7%BD%B2/mmyolo_tensorrt/ END
1.1K20编辑于 2023-11-07 - 来自专栏算法学习日常
高精度加法和高精度减法
（期末了，天天都会想创作，但是有点怕费时间，耽误复习，之前想发一个关于C语言程序漏洞的博客，但是写一半操作发现那个漏洞被vs改了，因此没发布，今天就写一下我前几周写过的算法题，高精度加减法吧（用C++写法更方便 1.引入： 高精度算法：是可以处理较大数据的算法，这里所说的较大数据指的是已经爆了long long范围的，而此算法是模拟正常加减法计算操作的算法。 2.高精度加法 （题目链接：P1601 A+B Problem（高精） - 洛谷 | 计算机科学教育新生态 (luogu.com.cn)） #include <iostream> #include <cstring > using namespace std; typedef long long ll; int main() { //因为加法都是从后往前加，但是数据输入时却是从前往后输入，因此先把他当作字符串输入 （题目链接：P2142 高精度减法 - 洛谷 | 计算机科学教育新生态 (luogu.com.cn)） 与加法相似，但是要多调换字符串这一步骤 #include <iostream> #include
42210编辑于 2024-03-25 LLM 系列（十一）：从 DeepSeek UE8M0 来回顾精度革命
• 通信开销：在分布式训练中，需要在多个 GPU 之间频繁同步梯度和参数，数据精度减半，意味着通信带宽需求也减半，能有效缓解节点间的通信瓶颈。 共享缩放因子：为每一个数据块计算一个唯一的、高精度的缩放因子（例如，用 FP16 格式存储），这个缩放因子捕捉了该数据块内数值的整体量级和精度信息。 3. 量化：数据块内的每个数值，都除以这个共享的缩放因子，然后用极其粗糙的 UE8M0 格式来表示。 4. 而 8 位的 UE8M0 数据本身，则变成了一个极其简单的、只表示相对量级的索引，硬件处理起来异常高效（乘法可以简化为更快的位移操作）。 这种设计是“范围优先”理念的逻辑终点。 UE8M0 将此推向极致：将所有比特都交给指数，以应对最极端的数据分布，而将精度问题完全外包给更高层级的元数据——缩放因子。
90410编辑于 2025-09-02- 来自专栏LET
精度，Precision
上一节我们讲了球心坐标和本地坐标之间的转换，这里也有一个精度的问题。 如果不想花时间，只需要记住，float可以有7位有效数字，而double可以有16位，选择合适的浮点类型，当你的精度需求超过这个范围时，你就要小心了。 相机抖动 如果精度达不到要求，怎么办？ 但在Virtual Earth中，如果我们近地面浏览，RTC-rendering还是会出现浏览范围超过float精度的情况，就会出现精度的丢失，也就是相机抖动。 不管怎样，你能看到的，要么范围大，精度低，要么范围小，精度高。 本文主要介绍了我对精度的理解，float精度为何会有损失，以及RTC和RTE解决相机抖动的思路，因为孩子发烧，无能为力，夜不能寐，索性写写文章，聊以自慰，因而写的过程比较压抑。
1.6K70发布于 2018-06-20 - 来自专栏铭毅天下
Elasticsearch 8.X 聚合查询下的精度问题及其解决方案
2、问题归类及出现场景 上述问题可以归类为：Elasticsearch聚合查询下的精度问题。 在日常的数据处理工作中，我们经常会遇到使用Elasticsearch进行大数据查询、统计、聚合等操作。 在Elasticsearch中，数据精度问题主要出现在聚合（aggregation）操作中。 数据和查询的DSL如下（已在 Elasticsearch 8.X 环境下验证过）： 数据： POST /product/_bulk { "index" : { "_id" : "1" } } { "name 最终结果如下图所示，达到预期精度。 4.3 业务层面自己写代码实现。 在应用层面进行精度控制：将原始数据获取到应用层，然后在应用层进行精确的计算。 在应用层面处理数据的精度问题通常需要两个步骤： 首先，需要从 Elasticsearch 获取原始数据； 然后，在应用层进行精确的计算。
2.8K10编辑于 2023-08-18
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号