- 综合排序
- 最热优先
- 最新优先
- 来自专栏Fish
双精度，单精度和半精度
浮点数是计算机上最常用的数据类型之一，有些语言甚至数值只有浮点型（Perl，Lua同学别跑，说的就是你）。 常用的浮点数有双精度和单精度。除此之外，还有一种叫半精度的东东。 双精度64位，单精度32位，半精度自然是16位了。 半精度是英伟达在2002年搞出来的，双精度和单精度是为了计算，而半精度更多是为了降低数据传输和存储成本。 很多场景对于精度要求也没那么高，例如分布式深度学习里面，如果用半精度的话，比起单精度来可以节省一半传输成本。考虑到深度学习的模型可能会有几亿个参数，使用半精度传输还是非常有价值的。 比较下几种浮点数的layout: 双精度浮点数： ? 单精度浮点数： ? 半精度浮点数： ? 它们都分成3部分，符号位，指数和尾数。 不同精度只不过是指数位和尾数位的长度不一样。
6.9K50发布于 2019-05-27 - 来自专栏安富莱嵌入式技术分享
【STM32H7的DSP教程】第30章 STM32H7复数浮点FFT（支持单精度和双精度）
mod=viewthread&tid=94547 第30章 STM32H7复数浮点FFT（支持单精度和双精度） 本章主要讲解复数浮点FTT，支持单精度和双精度。 DSP库的早期发行版提供了单独的radix-2和radix-4对浮点数据进行运算的算法。 这些功能仍然提供，但已弃用。 数据结构arm_cfft_sR_f32_len64可以认为是常数，计算的过程中是不能修改的。同样是这种数据结构还能用于混合基的FFT正变换和逆变换。 30.5 实验例程说明（MDK） 配套例子： V7-220_复数浮点FTT(支持单精度和双精度) 实验目的： 学习复数浮点FFT，支持单精度浮点和双精度浮点 实验内容： 启动一个自动重装软件定时器，每100ms 220_复数浮点FTT(支持单精度和双精度) 实验目的： 学习复数浮点FFT，支持单精度浮点和双精度浮点 实验内容： 启动一个自动重装软件定时器，每100ms翻转一次LED2。
1.6K10发布于 2021-06-17 - 来自专栏安富莱嵌入式技术分享
【STM32H7的DSP教程】第31章 STM32H7实数浮点FFT（支持单精度和双精度）
mod=viewthread&tid=94547 第31章 STM32H7实数浮点FFT（支持单精度和双精度） 本章主要讲解实数浮点FTT，支持单精度和双精度。 一个N点的实数序列FFT逆变换采用下面的步骤实现： 实数FFT支持浮点，Q31和Q15三种数据类型。 比如做1024点FFT，这里的输出也会有1024个数据，即512个复位。 31.5 实验例程说明（MDK） 配套例子： V7-221_实数浮点FTT(支持单精度和双精度) 实验目的： 学习实数浮点FFT，支持单精度浮点和双精度浮点 实验内容： 启动一个自动重装软件定时器，每100ms 上电后串口打印的信息： 波特率 115200，数据位 8，奇偶校验位无，停止位 1。
1.5K30发布于 2021-06-17 - 来自专栏联远智维
高精度数据采集板（一）
前几天学习了嘉立创开源的《NBIoT定位器》项目，对移远通信模块进行了调试，并将结果上传到ONENET云平台；然而实际应用场景中不仅需要定位模块，还经常涉及到信号采集任务，因此近来设计了一款高精度数据采集版 ，通过STM32L431 + BC20 + AD7190模块采集传感器数据输出数据并上传到云平台，具体结果如下所示：图片硬件结构 数据采集版硬件结构主要包含：主控模块、AD7190模数转化模块
1.1K40编辑于 2022-09-01 - 来自专栏全栈程序员必看
oracle number数据类型的精度
然后检验有效数位是否 <= p + |s|) 例如：number(5,-2) 小数点左边最后2位四舍五入，最多7位有效数字 123456 — 123460
1.7K20编辑于 2022-09-15 - 来自专栏csxiaoyao
HDU 1002 高精度 大数据加法
一条很简单的大数据加法题，题意简单明了 题目： A + B Problem II Time Limit: 2000/1000 MS (Java/Others) Memory Limit
63720发布于 2019-02-18 - 来自专栏安富莱嵌入式技术分享
【STM32H7的DSP教程】第32章 STM32H7的实数FFT的逆变换(支持单精度和双精度)
mod=viewthread&tid=94547 第32章 STM32H7的实数FFT的逆变换(支持单精度和双精度) 本章主要讲解实数FFT的逆变换实现。 双精度函数arm_rfft_fast_f64实现FFT正变换和逆变换 32.6 实验例程说明(MDK) 32.7 实验例程说明(IAR) 32.8 总结 32.1 初学者重要提示 STM32H7支持硬件单精度浮点和硬件双精度浮点 32.6 实验例程说明（MDK） 配套例子： V7-222_实数浮点FFT逆变换(支持单精度和双精度) 实验目的： 学习实数浮点FFT逆变换，支持单精度浮点和双精度浮点 实验内容： 启动一个自动重装软件定时器 222_实数浮点FFT逆变换(支持单精度和双精度) 实验目的： 学习实数浮点FFT逆变换，支持单精度浮点和双精度浮点 实验内容： 启动一个自动重装软件定时器，每100ms翻转一次LED2。 上电后串口打印的信息： 波特率 115200，数据位 8，奇偶校验位无，停止位 1。
1.1K30发布于 2021-06-17 JavaScript——数字超过精度导致数据有误
前言 接口返回的number类型的数据，超过了JavaScript中Number类型的限制，浏览器自动进行了转换； console.log(7232167009634730040) 内容 以下内容来自 大于这个值的整数在 JavaScript 中会失去精度或变为 Infinity。 > 9007199254740991 // 最大安全整数 9007199254740991 > 9007199254740992 9007199254740992 // 超出范围,已经失去精度 这可以保证数字的精度。 API 直接返回字符串,如 "7232167009634730040"。前端检查是否可以转为 Number,如果不能则使用字符串处理。 这样也可以避免精度丢失的问题。 API 返回支持大数的类型,如 String、Decimal 等。然后前端引入对应库处理。 在前后端共同配合下,返回和解析合适格式的数值。
48510编辑于 2024-08-15- 来自专栏架构精进之路
不可忽视的PHP数据精度损失问题
不知大家在开发过程中有没有常常会遇到数据精度问题呢，类似下面这样的： <?php $a = 0.57; echo intval(floatval($a) * 100); 预期输出结果57，实则56。 首先我们要知道浮点数的表示(IEEE 754)： 浮点数, 以64位的长度(双精度)为例，会采用1位符号位(E)，11指数位(Q)，52位尾数(M)表示(一共64位) 符号位：最高位表示数据的正负，0表示正数 ，1表示负数； 指数位：表示数据以2为底的幂，指数采用偏移码表示； 尾数：表示数据小数点后的有效数字。 （暂且当作 0 舍 1 入） 双精度浮点数能表示多少精度呢？ 对于高精度数据操作，建议使用以下函数： bcadd — 将两个高精度数字相加 bccomp — 比较两个高精度数字，返回-1, 0, 1 bcdiv — 将两个高精度数字相除 bcmod — 求高精度数字余数
1.2K10发布于 2021-02-05 - 来自专栏用户5637037的专栏
图插值激活提高数据高效深度学习的自然精度和鲁棒精度
Both Natural and Robust Accuracies in Data-Efficient Deep Learning 摘要：提高深度神经网络(DNNs)的准确性和鲁棒性，并使其适应较小的训练数据 本文用一个基于拉普拉斯图的高维插值函数代替DNNS的输出激活函数(典型的数据无关的Softmax函数)，该函数在连续极限下收敛于高维流形上的Laplace-Beltrami方程的解。 与传统的以Softmax函数作为输出激活的DNN相比，该框架具有以下主要优点：第一，它更适用于不使用大量训练数据而训练高容量DNN的数据高效学习。
82110发布于 2019-07-17 - 来自专栏算法学习日常
高精度加法和高精度减法
（期末了，天天都会想创作，但是有点怕费时间，耽误复习，之前想发一个关于C语言程序漏洞的博客，但是写一半操作发现那个漏洞被vs改了，因此没发布，今天就写一下我前几周写过的算法题，高精度加减法吧（用C++写法更方便 1.引入： 高精度算法：是可以处理较大数据的算法，这里所说的较大数据指的是已经爆了long long范围的，而此算法是模拟正常加减法计算操作的算法。 2.高精度加法 （题目链接：P1601 A+B Problem（高精） - 洛谷 | 计算机科学教育新生态 (luogu.com.cn)） #include <iostream> #include <cstring > using namespace std; typedef long long ll; int main() { //因为加法都是从后往前加，但是数据输入时却是从前往后输入，因此先把他当作字符串输入 （题目链接：P2142 高精度减法 - 洛谷 | 计算机科学教育新生态 (luogu.com.cn)） 与加法相似，但是要多调换字符串这一步骤 #include <iostream> #include
42210编辑于 2024-03-25 - 来自专栏LET
精度，Precision
上一节我们讲了球心坐标和本地坐标之间的转换，这里也有一个精度的问题。 如果不想花时间，只需要记住，float可以有7位有效数字，而double可以有16位，选择合适的浮点类型，当你的精度需求超过这个范围时，你就要小心了。 相机抖动 如果精度达不到要求，怎么办？ 但在Virtual Earth中，如果我们近地面浏览，RTC-rendering还是会出现浏览范围超过float精度的情况，就会出现精度的丢失，也就是相机抖动。 不管怎样，你能看到的，要么范围大，精度低，要么范围小，精度高。 本文主要介绍了我对精度的理解，float精度为何会有损失，以及RTC和RTE解决相机抖动的思路，因为孩子发烧，无能为力，夜不能寐，索性写写文章，聊以自慰，因而写的过程比较压抑。
1.6K70发布于 2018-06-20 - 来自专栏全栈程序员必看
numpy.astype数据精度导致数据变化的问题「建议收藏」
在用numpy.astype强制转换数据类型的时候，由于numpy精度的问题将会对长度超过16位的数据发生不可预见的变化。 98092567621991296, 29336557186973848], [27275086880071664, 17713014931142608]], dtype=int64) 可以发现，所有数据前 16位都是相同的，16位以后就不可控了，导致错误发生的原因，就是numpy的32位精度问题导致的。 我尝试了DataFrame的object类型可以解决，解决方式如下： 将numpy转换为DataFrame的时候，指定数据类型为object。 生成之后，在利用astype将其转换为int64即可。
73010编辑于 2022-08-15 - 来自专栏计算机视觉战队
打假Yolov7的精度，不是所有的论文都是真实可信
在MS COCO的数据集上结果如下： 首先在coco验证集上，验证官方提供的yolov7.pt，其实用的是L版本（类似YOLOv5-L，YOLOX-L，PPYOLOE-L），结果如下： pt --name yolov7_640_val 改数据预处理letterbox的auto=True，因为实际预测都是固定尺寸，也只能到640尺寸 通过上面的结果很明显可以看到mAP为50.8，掉了 这种YOLO系列测速都是没有比对nms的耗时的，所以为了精度可以对nms大作文章。 原因：边训边eval和单独拿权重去eval，从数据处理到评测工具都走的不是一套逻辑！ 全新设计的超实时Anchor-free目标检测算法（附源代码下载） 目前精度最高效率最快存储最小的目标检测模型（附源码下载）
1K10编辑于 2022-07-26 - 来自专栏图像处理与模式识别研究所
含有带有很少误差条的数据全精度数据图。
import numpy as np import matplotlib.pyplot as plt # example data x = np.arange(0.1, 4, 0.1) y1 = np.exp(-1.0 * x) y2 = np.exp(-0.5 * x) # example variable error bar values y1err = 0.1 + 0.1 * np.sqrt(x) y2err = 0.1 + 0.1 * np.sqrt(x/2) # Now switch t
60810编辑于 2022-05-28 - 来自专栏ACM算法竞赛——模板
ACM算法竞赛——高精度除以低精度（模板）
// A / b = C ... r, A >= 0, b > 0 vector<int> div(vector<int> &A, int b, int &r) { vector<int> C; r = 0; for (int i = A.size() - 1; i >= 0; i -- ) { r = r * 10 + A[i]; C.push_back(r / b); r %= b; } reverse(C.
63250编辑于 2022-05-14 数据中心高精度电压监测装置
、AI运维等新技术应用为什么要在数据中心中加装高精度电压监测装置保障设备稳定运行适应敏感设备需求：数据中心的服务器、存储设备等对电压稳定性要求极高。 助力故障快速定位：当数据中心发生电力故障时，高精度电压监测装置记录的详细电压数据能帮助运维人员快速判断故障位置和原因，缩短故障排查时间，加快维修进度，减少故障对业务的影响，提高数据中心的可用性。 提供运维决策依据：长期积累的高精度电压监测数据可作为数据中心电力系统运维管理的重要依据。通过对历史数据的分析，运维人员可制定更合理的设备维护计划、电力扩容方案等，优化数据中心的电力资源配置。 高精度电压监测装置可提前发现电压问题并预警，配合 UPS 等设备，确保在电压异常时设备能正常关机或继续运行，保护数据的完整性和一致性。 加装高精度电压监测装置有助于数据中心满足相关法规、标准和规范的要求，确保数据中心的建设和运营符合行业标准。
27000编辑于 2025-02-17- 来自专栏量化投资与机器学习
波动率预测：日内数据显著提升预测精度
更复杂的模型，如自回归条件异方差(ARCH)和广义ARCH (GARCH)，在以简单估计器为基准时，并没有提高美国股市的预测精度。期权隐含波动率数据的使用仅略微改善预测。 本文的实证部分比较了10种模型在联合数据集上的预测精度，并进行了基准分析。为了控制复杂性风险和过拟合风险，所有模型都选择了三个或三个以下的估计参数。值得注意的是，该研究发现，复杂性不会提高预测。 接下来，本文使用S&P500指数2000年至2020年期间的日度收益率数据对上述多个模型进行实证分析，其中2000-2016年的数据用作样本内数据计算最有参数（最小化MSE），2016-2020的数据用作样本外数据 其中，ARCH模型及intra-day日内模型的预测噪音较高，因为只使用了非常有限的跟踪数据。 下图3给出了预测精度方面的结果。总体而言，与固定方差估计相比，大多数模型的预测精度提高了约25%。 Negative Momentum和基于日内数据的intraday预测模型，分别提高了32%和34%的预测精度，是表现最好的两个模型。
1.3K20编辑于 2023-04-20 - 来自专栏陈林峰的专栏
一个数据精度引发的血案
前言 最近在做X项目的时候用到了弹性搜索引擎ES（Elasticsearch），在检索遇到了一个诡异的问题，当存储(长)整型数据超过某个值（具体就是百万）,就会出现数据精度丢失的情况，比如put下面一个数据 }, ...... } 然后get出来，发现uid被转成科学计数，存在精度丢失问题，uid在系统表示用户的身份，出现了偏差导致非常严重的后果，而浮点型数据却没有影响。 bFloat; return p; 2.2 Double精度问题 改完之后整形数据自然就没啥问题，但是我们知道在计算机系统中，C/C++的浮点数据F/D分别占用32/64位，是按照指数+尾数方式存储 ，精确范围分别为小数点后6位和15位，采用流算子对double数据进行json转换还是存在精度丢失的问题，虽说浮点型数据在逻辑服务开发工作中比较少用到，但是从框架的角度希望能有一个比较完美的解决方案。 结语 SRF/TAF框架提供了一些公共函数实现Number到String的转换，大量都采用流算子实现，大家在日常的业务代码开发中，用它处理浮点型的数据要十分注意数据精度丢失问题。
4.2K20发布于 2017-09-06 - 来自专栏ACM算法竞赛——模板
ACM算法竞赛——高精度乘低精度（模板）
// C = A * b, A >= 0, b >= 0 vector<int> mul(vector<int> &A, int b) { vector<int> C; int t = 0; for (int i = 0; i < A.size() || t; i ++ ) { if (i < A.size()) t += A[i] * b; C.push_back(t % 10); t /= 10; } w
65340编辑于 2022-05-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号