典型文献
计量学中浮点运算造成的痕量偏差对数据修约的影响及解决方案
文献摘要：
介绍了两种实现"奇进偶不进"修约规则的典型方法,方法一是先对被修约数进行"四舍五入"运算,再使用MOD函数(求余函数)判断修约目标最后一位数字的奇偶性,然后对运算结果进行修正;方法二是先通过MOD函数对被修约最后一位数字的奇偶性进行判断,再采用IF函数选择向上修约还是向下修约.计算机程序是采用二进制的方式进行数据存储,采用浮点运算进行数据运算,这会造成计算机计算结果与实际计算结果之间的极为微小的偏差,会对上述典型方法的修约造成影响.以酸度计检定项目自动化修约为例,介绍了计算机浮点运算在修约过程中对计算结果产生的痕量影响.这种影响具有一定的不确定性并且会累积,会导致部分修约结果产生错误,通过用范围判断取代单点判断的方法来消除这种影响,从而保证修约结果的准确.
文献关键词：
计量学;浮点运算;Excel函数;修约;数据处理
中图分类号：
作者姓名：
毛森;王晓伟;杨宇;李光旭
作者机构：
河南省计量科学研究院,郑州 450047
文献出处：
引用格式：
[1]毛森;王晓伟;杨宇;李光旭-.计量学中浮点运算造成的痕量偏差对数据修约的影响及解决方案)[J].化学分析计量,2022(08):63-67
A类：
B类：
浮点运算,痕量,数据修约,约数,四舍五入,MOD,余函数,一位数,奇偶性,IF,择向,计算机程序,二进制,数据存储,算进,造成影响,酸度计,检定项目,单点,Excel
AB值：
0.290654
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
