- 综合排序
- 最热优先
- 最新优先
- 来自专栏Fish
双精度，单精度和半精度
浮点数是计算机上最常用的数据类型之一，有些语言甚至数值只有浮点型（Perl，Lua同学别跑，说的就是你）。 常用的浮点数有双精度和单精度。除此之外，还有一种叫半精度的东东。 双精度64位，单精度32位，半精度自然是16位了。 半精度是英伟达在2002年搞出来的，双精度和单精度是为了计算，而半精度更多是为了降低数据传输和存储成本。 很多场景对于精度要求也没那么高，例如分布式深度学习里面，如果用半精度的话，比起单精度来可以节省一半传输成本。考虑到深度学习的模型可能会有几亿个参数，使用半精度传输还是非常有价值的。 解析一个浮点数就5条规则: 如果指数位全零，尾数位是全零，那就表示0 如果指数位全零，尾数位是非零，就表示一个很小的数（subnormal），计算方式 (−1)^signbit × 2^−126 × 0 .fractionbits 如果指数位全是1，尾数位是全零，表示正负无穷 如果指数位全是1，尾数位是非零，表示不是一个数NAN 剩下的计算方式为 (−1)^signbit × 2^(exponentbits
6.9K50发布于 2019-05-27 - 来自专栏联远智维
高精度数据采集板（一）
前几天学习了嘉立创开源的《NBIoT定位器》项目，对移远通信模块进行了调试，并将结果上传到ONENET云平台；然而实际应用场景中不仅需要定位模块，还经常涉及到信号采集任务，因此近来设计了一款高精度数据采集版 ，通过STM32L431 + BC20 + AD7190模块采集传感器数据输出数据并上传到云平台，具体结果如下所示：图片硬件结构 数据采集版硬件结构主要包含：主控模块、AD7190模数转化模块 、BC20物联网通信模块以及电源管理模块等，部分硬件电路图如图2所示：图片结果展示 后续对电路板的性能进行了测试，过程中把AD7190的信号线进行短接，模块具体的采样结果为-0.0013499mV ，具体如图3所示，从测试结果可以看出，模块的零偏误差小于2uv，外界环境引起的噪声信号小于1uv，该电路板具有非常优异的稳定性，能够满足医疗等场景的需求。
1.1K40编辑于 2022-09-01 - 来自专栏全栈程序员必看
oracle number数据类型的精度
然后检验有效数位是否 <= p) 例如：number(5,2) 有效数字最多是5位，保留小数点后2位； 123.45 — 123.45 123 — 然后检验有效数位是否 <= p + |s|) 例如：number(5,-2) 小数点左边最后2位四舍五入，最多7位有效数字 123456 — 123460
1.7K20编辑于 2022-09-15 - 来自专栏csxiaoyao
HDU 1002 高精度 大数据加法
一条很简单的大数据加法题，题意简单明了 题目： A + B Problem II Time Limit: 2000/1000 MS (Java/Others) Memory Limit Sample Input 2 1 2 112233445566778899 998877665544332211 Sample Output Case 1: 1 + 2 = 3 Case 2: [j]='0'; b[j]='0'; c[j]=0; d[j]=0; e[j]=0; } scanf("%s %s",a,b); l1=strlen(a); l2= strlen(b); l=l1>l2 ? l1:l2; x=0; for(j=l1-1;j>=0;j--) { c[j]+=a[x++]-'0'; } x=0; for(j=l2-1;j>=0;j--) {
63720发布于 2019-02-18 JavaScript——数字超过精度导致数据有误
前言 接口返回的number类型的数据，超过了JavaScript中Number类型的限制，浏览器自动进行了转换； console.log(7232167009634730040) 内容 以下内容来自 Claude JavaScript 的 Number 类型可以安全表示的最大整数是 2^53 - 1,也就是 9007199254740991。 大于这个值的整数在 JavaScript 中会失去精度或变为 Infinity。 这可以保证数字的精度。 API 直接返回字符串,如 "7232167009634730040"。前端检查是否可以转为 Number,如果不能则使用字符串处理。 这样也可以避免精度丢失的问题。 API 返回支持大数的类型,如 String、Decimal 等。然后前端引入对应库处理。 在前后端共同配合下,返回和解析合适格式的数值。
48510编辑于 2024-08-15- 来自专栏架构精进之路
不可忽视的PHP数据精度损失问题
不知大家在开发过程中有没有常常会遇到数据精度问题呢，类似下面这样的： <?php $a = 0.57; echo intval(floatval($a) * 100); 预期输出结果57，实则56。 首先我们要知道浮点数的表示(IEEE 754)： 浮点数, 以64位的长度(双精度)为例，会采用1位符号位(E)，11指数位(Q)，52位尾数(M)表示(一共64位) 符号位：最高位表示数据的正负，0表示正数 ，1表示负数； 指数位：表示数据以2为底的幂，指数采用偏移码表示； 尾数：表示数据小数点后的有效数字。 我们来看看小数用二进制怎么表示： 乘2取整，顺序排列，即将小数部分乘以2，然后取整数部分，剩下的小数部分继续乘以2，然后取整数部分，剩下的小数部分又乘以2，一直取到小数部分，但是像0.57这样的小数像这样一直乘下去 对于高精度数据操作，建议使用以下函数： bcadd — 将两个高精度数字相加 bccomp — 比较两个高精度数字，返回-1, 0, 1 bcdiv — 将两个高精度数字相除 bcmod — 求高精度数字余数
1.2K10发布于 2021-02-05 - 来自专栏AIWalker
ANTNet|端侧架构，精度速度双超MobileNetV2
作者通过实验表明：基于ANTBlock构建的ANTNet可以跨数据集取得更优的性能(相比同等计算消耗的端侧网络架构，比如MobileNet与ShuffleNet系列)。 在CIFAR100数据集上，所提方法取得了75.7%的top1精度，它比MobileNetV2高1.5%且少8.3%的参数量与19.6%的计算量；在ImageNet数据集上，所提方法取得了72.8%的top1 精度，它比MobileNetV2高0.8%，同时在iphone5上的速度为157.7ms(比MobileNetV2快20%)。 Experiments 直接上结果吧，下表给出了所提方法在CIFAR100数据集上的性能对比。相比MobileNetV2与ShuffleNetV2两大知名端侧模块，所提方法具有更高的精度。 ? image-20200731145119700 下表给出了ImageNet数据集上所提方法的性能对比。很明显，ANTNet再一次优胜。 ?
1.9K30发布于 2020-08-10 - 来自专栏用户5637037的专栏
图插值激活提高数据高效深度学习的自然精度和鲁棒精度
Both Natural and Robust Accuracies in Data-Efficient Deep Learning 摘要：提高深度神经网络(DNNs)的准确性和鲁棒性，并使其适应较小的训练数据 本文用一个基于拉普拉斯图的高维插值函数代替DNNS的输出激活函数(典型的数据无关的Softmax函数)，该函数在连续极限下收敛于高维流形上的Laplace-Beltrami方程的解。 与传统的以Softmax函数作为输出激活的DNN相比，该框架具有以下主要优点：第一，它更适用于不使用大量训练数据而训练高容量DNN的数据高效学习。
82110发布于 2019-07-17 - 来自专栏GEE数据专栏，GEE学习专栏，GEE错误集等专栏
Landsat Collection 2 T1一级数据详细介绍（数据处理过程和几何精度）
几项数据处理、几何和辐射改进，以及新的数据分发过程，定义了 Collection 2 Level-1 数据。 Landsat 7 ETM+ 和 Landsat 4-5 TM 精度校正逻辑 对 Landsat 7 增强型专题制图器 (ETM+) 和 Landsat 4-5 专题制图器 (TM) 精度校正算法进行了改进 此 GCP 约束减少了可处理为 1 级地形精度 (L1TP) 产品的采集数量。 几何精度改进 全球土地测量 (GLS) 数据库是用于对 Landsat Level-1 数据进行地理配准的 GCP 库的主要来源。 此更新提高了全球 Landsat 档案空间、时间以及与 Sentinel-2 的逐像素大地测量精度和互操作性。 来源/使用：公共领域。 地图 1. 第 4 阶段 GCP 改进的地理区域。
92610编辑于 2024-02-02 - 来自专栏算法学习日常
高精度加法和高精度减法
（期末了，天天都会想创作，但是有点怕费时间，耽误复习，之前想发一个关于C语言程序漏洞的博客，但是写一半操作发现那个漏洞被vs改了，因此没发布，今天就写一下我前几周写过的算法题，高精度加减法吧（用C++写法更方便 1.引入： 高精度算法：是可以处理较大数据的算法，这里所说的较大数据指的是已经爆了long long范围的，而此算法是模拟正常加减法计算操作的算法。 2.高精度加法 （题目链接：P1601 A+B Problem（高精） - 洛谷 | 计算机科学教育新生态 (luogu.com.cn)） #include <iostream> #include <cstring > using namespace std; typedef long long ll; int main() { //因为加法都是从后往前加，但是数据输入时却是从前往后输入，因此先把他当作字符串输入 （题目链接：P2142 高精度减法 - 洛谷 | 计算机科学教育新生态 (luogu.com.cn)） 与加法相似，但是要多调换字符串这一步骤 #include <iostream> #include
42210编辑于 2024-03-25 - 来自专栏GEE数据专栏，GEE学习专栏，GEE错误集等专栏
Google Earth Engine ——数据全解析专辑（CPOMCryoSat2ANTARCTICA_DEM）南极洲10m精度DEM数据集
南极洲DEM数据 This dataset is a digital elevation model (DEM) of the Antarctic ice sheet and ice shelves based on observations recorded by the CryoSat-2 satellite radar altimeter between July 2010 and July 2016. The DEM is formed from spatio-temporal fits to elevation measurements accumulated within 1, 2, and 5 07-01T00:00:00 - 2016-07-01T00:00:00 Dataset Provider CPOM Collection Snippet ee.Image("CPOM/CryoSat2/ #377EB7 resampled 2 km fit 3 #E2191B resampled 5 km fit 数据引用： Slater, T., Shepherd, A., McMillan, M
30310编辑于 2024-02-02 - 来自专栏LET
精度，Precision
上一节我们讲了球心坐标和本地坐标之间的转换，这里也有一个精度的问题。 如果不想花时间，只需要记住，float可以有7位有效数字，而double可以有16位，选择合适的浮点类型，当你的精度需求超过这个范围时，你就要小心了。 相机抖动 如果精度达不到要求，怎么办？ 但在Virtual Earth中，如果我们近地面浏览，RTC-rendering还是会出现浏览范围超过float精度的情况，就会出现精度的丢失，也就是相机抖动。 不管怎样，你能看到的，要么范围大，精度低，要么范围小，精度高。 本文主要介绍了我对精度的理解，float精度为何会有损失，以及RTC和RTE解决相机抖动的思路，因为孩子发烧，无能为力，夜不能寐，索性写写文章，聊以自慰，因而写的过程比较压抑。
1.6K70发布于 2018-06-20 - 来自专栏全栈程序员必看
numpy.astype数据精度导致数据变化的问题「建议收藏」
在用numpy.astype强制转换数据类型的时候，由于numpy精度的问题将会对长度超过16位的数据发生不可预见的变化。 98092567621991296, 29336557186973848], [27275086880071664, 17713014931142608]], dtype=int64) 可以发现，所有数据前 16位都是相同的，16位以后就不可控了，导致错误发生的原因，就是numpy的32位精度问题导致的。 我尝试了DataFrame的object类型可以解决，解决方式如下： 将numpy转换为DataFrame的时候，指定数据类型为object。 生成之后，在利用astype将其转换为int64即可。
73010编辑于 2022-08-15 - 来自专栏图像处理与模式识别研究所
含有带有很少误差条的数据全精度数据图。
np import matplotlib.pyplot as plt # example data x = np.arange(0.1, 4, 0.1) y1 = np.exp(-1.0 * x) y2 ) ax_c.errorbar(x, y2, yerr=y2err, errorevery=6) ax_r.set_title('second series shifted by 3') ax_r.errorbar (x, y1, yerr=y1err, errorevery=(0, 6)) ax_r.errorbar(x, y2, yerr=y2err, errorevery=(3, 6)) fig.suptitle it makes clean curves xdata1.sort() xdata2.sort() # create some y data points ydata1 = xdata1 ** 2 ydata2 ydata1, color='tab:blue') ax.plot(xdata2, ydata2, color='tab:orange') # create the events marking the
60810编辑于 2022-05-28 - 来自专栏ACM算法竞赛——模板
ACM算法竞赛——高精度除以低精度（模板）
// A / b = C ... r, A >= 0, b > 0 vector<int> div(vector<int> &A, int b, int &r) { vector<int> C; r = 0; for (int i = A.size() - 1; i >= 0; i -- ) { r = r * 10 + A[i]; C.push_back(r / b); r %= b; } reverse(C.
63250编辑于 2022-05-14 数据中心高精度电压监测装置
、AI运维等新技术应用为什么要在数据中心中加装高精度电压监测装置保障设备稳定运行适应敏感设备需求：数据中心的服务器、存储设备等对电压稳定性要求极高。 助力故障快速定位：当数据中心发生电力故障时，高精度电压监测装置记录的详细电压数据能帮助运维人员快速判断故障位置和原因，缩短故障排查时间，加快维修进度，减少故障对业务的影响，提高数据中心的可用性。 提供运维决策依据：长期积累的高精度电压监测数据可作为数据中心电力系统运维管理的重要依据。通过对历史数据的分析，运维人员可制定更合理的设备维护计划、电力扩容方案等，优化数据中心的电力资源配置。 高精度电压监测装置可提前发现电压问题并预警，配合 UPS 等设备，确保在电压异常时设备能正常关机或继续运行，保护数据的完整性和一致性。 加装高精度电压监测装置有助于数据中心满足相关法规、标准和规范的要求，确保数据中心的建设和运营符合行业标准。
27000编辑于 2025-02-17- 来自专栏量化投资与机器学习
波动率预测：日内数据显著提升预测精度
更复杂的模型，如自回归条件异方差(ARCH)和广义ARCH (GARCH)，在以简单估计器为基准时，并没有提高美国股市的预测精度。期权隐含波动率数据的使用仅略微改善预测。 本文的实证部分比较了10种模型在联合数据集上的预测精度，并进行了基准分析。为了控制复杂性风险和过拟合风险，所有模型都选择了三个或三个以下的估计参数。值得注意的是，该研究发现，复杂性不会提高预测。 接下来，本文使用S&P500指数2000年至2020年期间的日度收益率数据对上述多个模型进行实证分析，其中2000-2016年的数据用作样本内数据计算最有参数（最小化MSE），2016-2020的数据用作样本外数据 其中，ARCH模型及intra-day日内模型的预测噪音较高，因为只使用了非常有限的跟踪数据。 下图3给出了预测精度方面的结果。总体而言，与固定方差估计相比，大多数模型的预测精度提高了约25%。 Negative Momentum和基于日内数据的intraday预测模型，分别提高了32%和34%的预测精度，是表现最好的两个模型。
1.3K20编辑于 2023-04-20 - 来自专栏陈林峰的专栏
一个数据精度引发的血案
前言 最近在做X项目的时候用到了弹性搜索引擎ES（Elasticsearch），在检索遇到了一个诡异的问题，当存储(长)整型数据超过某个值（具体就是百万）,就会出现数据精度丢失的情况，比如put下面一个数据 }, ...... } 然后get出来，发现uid被转成科学计数，存在精度丢失问题，uid在系统表示用户的身份，出现了偏差导致非常严重的后果，而浮点型数据却没有影响。 bFloat; return p; 2.2 Double精度问题 改完之后整形数据自然就没啥问题，但是我们知道在计算机系统中，C/C++的浮点数据F/D分别占用32/64位，是按照指数+尾数方式存储 ，精确范围分别为小数点后6位和15位，采用流算子对double数据进行json转换还是存在精度丢失的问题，虽说浮点型数据在逻辑服务开发工作中比较少用到，但是从框架的角度希望能有一个比较完美的解决方案。 结语 SRF/TAF框架提供了一些公共函数实现Number到String的转换，大量都采用流算子实现，大家在日常的业务代码开发中，用它处理浮点型的数据要十分注意数据精度丢失问题。
4.2K20发布于 2017-09-06 - 来自专栏ACM算法竞赛——模板
ACM算法竞赛——高精度乘低精度（模板）
// C = A * b, A >= 0, b >= 0 vector<int> mul(vector<int> &A, int b) { vector<int> C; int t = 0; for (int i = 0; i < A.size() || t; i ++ ) { if (i < A.size()) t += A[i] * b; C.push_back(t % 10); t /= 10; } w
65340编辑于 2022-05-14 - 来自专栏奇妙的算法世界
高精度模板
以下输出需从高位开始 高精度加法 vi add(vi&A, vi &B){ if(A.size()<B.size()) return add(B,A); vi C; int t= t+=B[i]; C.push_back(t%10); t/=10; } if(t) C.push_back(t); return C; } 高精度减法 vi C=sub(B,A); printf("-"); for(int i=C.size()-1;i>=0;i--) printf("%d",C[i]); } 高精度乘法 if(i<A.size()) t+=A[i]*b; C.push_back(t%10); t/=10; } return C; } 高精度除法
93720发布于 2020-10-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号