耐特信计量检测服务平台_计量管理软件

快捷导航
计量基础
收藏本版 |订阅

计量基础 今日: 0|主题: 1927|排名: 2 

发新帖
打印 上一主题 下一主题

协方差可略的三条是误导——关于相关性的讨论(3)...

[复制链接]
lisi 发布于: 2016-8-18 17:55 4357 次浏览 16 位用户参与讨论
跳转到指定楼层
-
                         协方差可略的三条是误导
                                     —— 关于相关性的讨论(3)
-

                                                                                                                  史锦顺
-
(一)计量规范《JJF1059.1-2012》的表述
协方差可略的三条
4.4.4.1 协方差的估计方法
       a)两个输入量的估计值xi与xj的协方差在以下情况时可取零或忽略不计
       1)xi和xj中任意一个量可作为常数处理
       2)在不同实验室用不同测量设备、不同时间测得的量值
       3)独立测量的不同量的测量结果
-
(二)交叉因子的史氏求法
       误差量有两个特点,一个是“绝对性”,一个是“上限性”。误差分析的基础是误差元(测得值减真值)。误差合成的任务是把误差元变成误差范围(误差元的绝对值的一定概率意义上的最大可能值)。误差范围体现误差量的两个特点。误差范围恒正,误差范围是误差量的上限。
       误差合成就是把误差元变成误差范围。
       标准误差σ是随机误差的表征量,3σ是随机误差范围。贝塞尔公式,以平均值代换掉标准误差定义中的真值,可实现对标准误差的计算,称为实验标准误差。
       标准误差的定义是取“均方差”,是系列测得值的误差(以真值为参考)的“平方和的平均值的根”。贝塞尔公式的实验标准误差,是残差(测得值减平均值)的“平方和的平均值的根”。
       在随机误差的处理上,经典误差理论用“方和根法”,利用了“二量之和的平方等于二量各自平方的和”这个随机变量的特性,是巧妙而成功的。
-
       1980年启动而于1993年推行的不确定度论(包括1980年后的一些误差理论书籍),把“方和根法”,推广到仅有系统误差或以系统误差为主的场合,这就出了问题。这里仔细分析一下各种情况。
-
2.1理论基础
       函数的变化量,等于函数对各个自变量偏微分的和。就是泰勒展开的一级近似。
              f(x,y) = f(xo,yo)+ (?f/?x) (x-xo)+ (?f/?y) (y-yo)                           (1)
              f(x,y) - f(xo,yo) =(?f/?x) Δx+ (?f/?y) Δy                                     (2)
              Δf =(?f/?x)Δx + (?f/?y)Δy                                                        (3)
       公式(3)是变量关系的普遍形式。对所研究的特定函数来说,?f/?x、?f/?y是常数。
       变量关系用于测量计量领域,x是测得值,xo是真值, Δx是测得值x的误差元;y是测得值,yo是真值,Δy是测得值y的误差元;f(x,y)是求得的函数值, f(xo,yo) 是函数的真值,Δf= f(x,y)-f(xo,yo) 是求得的函数值的误差元。
-
2.2 交叉因子的一般表达
       设函数的误差由两项误差Δx、Δy引起。由此,函数的两项误差元为:
             Δf(x) = (?f/?x) Δx
             Δf(y) = (?f/?y) Δy
       把分项误差作用的灵敏系数与该项误差归并,记为:
             Δf(x) = ΔX
             Δf(y) = ΔY

       函数的误差元式(3)变为:
             Δf=ΔX +ΔY                                                                            (4)
       对(4)式两边平方并求和、平均:
            (1/N)∑Δf^2=(1/N)∑(ΔX +ΔY)^2  
                             =(1/N)∑ΔX^2 + 2(1/N)∑ΔXΔY+(1/N)∑ΔY^2               (5)
       (5)式右边的第一项为σ(X)^2,第三项为σ(Y)^2; (5)式的第二项是交叉项,是我们研究的重点对象。第二项为
              2(1/N)∑ΔXΔY = 2{(1/N)(∑ΔXΔY) / [σ(X) σ(Y)]} [σ(X) σ(Y)]
               = 2J [σ(X) σ(Y)]                                                                      (6)
       (5)成为
               σ(f)^2 = σ(X)^2+2 J [σ(X) σ(Y)] + σ(Y)^2                                 (7)
       (6)式(7)式中的J为:
               J =(1/N)(∑ΔXΔY) / [σ(X) σ(Y)]                                                    (8)
       当前,称J(通常记为r)为相关系数。这和统计理论的相关系数,物理意义不一致。为澄清已有的混淆,以下称J为交叉因子。
-
2.3 随机误差间合成的交叉因子
       记误差元为ε,系统误差元为β,随机误差元为ξ。
       对随机误差的合成,ΔX是ξx, ΔY是ξy,代入(8)式,并变成残差形式(以平均值为参考),有:

               J =[1/(N-1)](∑ξxξy) / [σ(X) σ(Y)]                                                   (9)
       由于ξx、ξy是随机误差,可正可负,可大可小,有对称性与有界性,多次测量,是大量的,因此,随机误差间的合成的交叉因子为零(或可以忽略)。
       随机误差合成,“方和根法”成立。由(7)式,有
              σ(f) =√[σ(X)^2+ σ(Y)^2]                                                              (10)
-
2.4 随机误差与系统误差合成的交叉因子
       两个分项误差,一个是随机的,记为ξ;一个是系统的(重复测量中不变),记为β。代入公式(8),有
               J =(1/N)(∑ξiβ) / [σ(X) σ(Y)]                                                           (11)
       系统误差元是常数可以提出来,有
               J =(1/N) (β∑ξi) / [σ(X) σ(Y)]                                                           (12)
       精密测量,要进行多次重复测量取平均值,ξi 相当于残差,残差之和为零。因此精密测量时,随机误差与系统误差的交叉因子可以忽略,因此,“方和根法”成立。
       说明一点。此前,我没做过这项推导,又顾及单次测量无抵消作用的情况,曾主张随机误差与系统误差的合成用“绝对值合成法”。此法不错,但保守。鉴于现在已有上述证明,且注意到“单次测量”仅出现在随机误差可略(重复测量中示值为常值)的普通测量中,可以不必顾虑。由是,我的主张更改为:系统误差范围与随机误差范围合成,可以用“方和根法”合成。
-
2.5 系统误差与系统误差合成的交叉因子
      设(8)式中ΔX为系统误差βx ,ΔY为系统误差βy,则系统误差的交叉因子为
               J =(1/N)(∑βxβy) / [σ(X) σ(Y)]                                                         (13)

      βx、βy为系统误差。系统误差在系列测量时不变,是常数。有
               σ(X)= |βx|                                                                                     (14)
               σ(Y)= |βy|                                                                                     (15)
       将(14)(15)代入(13),则得系统误差的交叉因子为:
               J =(1/N) (∑βxβy) / [ |βx| |βy| ]
                 =(1/N)Nβxβy / [|βx| |βy|]
                 =±1
       即有
               |J|=1                                                                                            (16)
       当βxβy同号时,系统误差的交叉因子为+1;当βxβy异号时,系统误差的交叉因子为-1.
       当系统误差的交叉因子为+1时,(7)式为:
              σ(f)^2 = σ(X)^2+2 σ(X) σ(Y) + σ(Y)^2     
                   = [σ(X) + σ(Y)]^2
       既有:
              σ(f) = σ(X) + σ(Y)                                                                            (17)
       即      
                | Δf | =|ΔX|+|ΔY|   
       也就是
                | Δf | =|βx|+|βy|                                                                           (18)

        (18)式就是绝对值合成公式。
       当系统误差的交叉因子为-1时,(15)式变为二量差的公式。因为通常只是知道系统误差之误差范围,又鉴于误差量“上限性”的特点,二量差的公式不能用。
-
       综上所述,系统误差在“方和根法”合成时,交叉项中的交叉因子是+1(相关系数为-1的解不能用);这样,“方和根法”,就回归为“绝对和法”。
       测量仪器的误差,通常以系统误差为主。在有系统误差存在,特别是以系统误差为主的通常情况下,交叉项中的误差项,不是弱相关而是强相关(借用常用说法)。这样,不确定度评定的通常的假设条件“不相关”,通常是不成立的。就是说,不确定度评定的“方和根法”是没道理的。不确定度理论有五大难关:分布规律、不相关假设、变系统为随机、范围到方差的往返折腾、求自由度,都是自找麻烦,并无必要;不仅不必要,由于忽略交叉项,不合理地缩小误差范围,违背误差量的上限性特点,成为工程的隐患。

       除对纯随机误差外,不搞“方和根合法”合成,也就避免了不确定度论提出以来的困扰计量界的五大难关,多么轻松!
-
2.6 系统误差比重大时,合成的交叉因子
       测量仪器的误差,通常是以系统误差为主的。 若系统误差在总误差的比重,大于60%,则误差因子也会大于0.6,就是强相关。因此,正视测量仪器以系统误差为主的实际情况,各仪器的测量误差合成,一般不能用“方和根法”。
-
(三)《JJF1059.1-2012》置疑

      【JJF1059.1-2012条款】出处见(一),下同。
       1)xi和xj中任意一个量可作为常数处理;协方差可以忽略
      【史评】
       这条的意思,是说:xi与xj中,有一个是常量,协方差就可忽略。两个都是常量,则更可忽略。在讨论误差合成中,系统误差是常量。本条款说:二分项误差中,有一个是系统误差,则协方差可略。二误差都是系统误差,则协方差当然可略。
       由前边(二)中的推导证明,可知:两个误差都是随机误差,协方差可略;两误差中有一个是随机误差,另一个是系统误差,协方差也可略。当二量都是系统误差时,强相关,协方差不可略。
       可见,本文的协方差忽略条件是有一个是纯随机误差;而JJF1059却说协方差的忽略条件是有一个是系统误差。
       两种说法有本质区别。规范条款认为协方差通常可以忽略;因此通常可用“方和根法”;本文分析则说明,通常“方和根法”是不成立的。因为测量仪器的误差,不仅有系统误差,而且通常是以系统误差为主的。
-

      【JJF1059.1-2012条款】
       2)在不同实验室用不同测量设备、不同时间测得的量值;协方差可以忽略。
      【史评】
       不同实验室、不同测量设备、不同时间的测量,都避免不了有系统误差存在,而且测量仪器一般是以系统误差为主。必须至少有一个是纯随机误差(或随机误差占绝大比例),才能忽略协方差。因此,在不同实验室用不同测量设备、不同时间测得的量值,只要系统误差占主导,就不能忽略协方差。   
-
      【JJF1059.1-2012条款】
       3)独立测量的不同量的测量结果;协方差可以忽略。      
      【史评】
       此条不妥。理由同上。只要测量中系统误差占较大比例,而不是纯随机误差,就不能忽略协方差。
-
       总之,《JJF1001-2012》为宣扬GUM的“方和根法”而强调的“协方差可忽略”的三项条款,是不对的,是一种误导。
-
       强调指出:
       在讨论合成方法中,把交叉项能否忽略,说成是相关不相关,这本身就是一种误导。两个完全不相关的量,只要取这二量的和的平方,平方的展开式中,就必然有交叉项。此交叉项能不能忽略,不是二量是否相关的问题,而是必须有一个量可正可负地变化,或两个量同时可正可负的变化,才能忽略交叉项。如果两个量都是常量,交叉项必定不能忽略。同号为正,而异号为负,不存在抵消的问题。不确定度论出世以来,把交叉项同“相关系数”联系起来,造成严重的误导。许多人在此误导之下,以为二量不相关就可以忽略交叉项,其实,这是错误的。

       本文与前文,笔者也时而有“相关”与“不相关”的说法,那是“借用”或仅仅是针锋相对地辩论,其实本人并没有囿于不确定度论的说教。
-
回复

使用道具 举报

已有16人评论

沙发
wangyoo2003 发表于 2016-8-18 18:45:11
       先生说:“一个石破天惊发现背后或许存在着一个低级错误”。
       这句话用在不确定度理论与不确定度评定上,是很恰当的。
-
       本来,误差理论中的误差合成方法,很简单,也很明确。
       1 随机误差是统计变量,用统计理论处理。单个量值的统计,用贝塞尔公式;随机误差合成,用“方和根法”。随机误差可正可负,因此二项和的平方,等于二项平方的和。交叉项为零。“方和根法”成立。
       2 符号和量值都知道的系统误差叫已定系统误差。可以修正,也可以进行代数(符号加量值)运算。
       3 通常的系统误差是未定系统误差。就是只知道它在重复测量中是个常量,不是量值可变的随机误差。未定系统误差的符号与量值都是不知道的。但知道其最大可能的范围,就是其上限值。
-
       误差理论与不确定度理论,对待1、2两种情况,处理方法基本一致。分歧产生在对未定系统误差的处理上。经典误差理论认为:对未定系统误差的合成用“绝对和法”;而不确定度理论主张用“方和根法”。不确定度理论为能用“方和根法”,要过五大难关,就是分布、不相关、变系统为随机、方差与范围间的往返折腾、求自由度。因为不确定度理论要把未定系统误差当作随机误差处理,就得过这五个难关。
       第一关,要知道量值与误差的分布规律,这是很难很难的事情。专家都处理不了;一般的测量者、计量者不可能处理。
       第二关,要“假设不相关”,这是掩耳盗铃。本质是二项和展开式中的交叉项可以忽略。这在有系统误差存在的条件下是不可能的。来本网发帖的两位专家:njlyx、崔伟群都证明系统误差的相关系数的绝对值是1(我也证明了这一点)。而测量仪器一般是以系统误差为主的。这就是说“假设不相关”是错误的;“方和根法”对一般情况(有系统误差的仪器)是不成立的。
      以后再论另外的三关;就现在的讨论,这第二关就是不确定度论的滑铁卢。交叉项的交叉系数(类比地称为相关系数)是+1(-1的解,不符合误差的上限性,废弃),于是,“方和根法”就转化为“绝对和法”。这就是说,不确定度论必须自己退回到误差理论。而一经返回误差理论,那烦人的五个难关,也就没有必要了,烟消云散了。
-
回复 支持 反对

使用道具 举报

板凳
快乐.每一天 发表于 2016-8-18 18:45:43
  JJF1059.1-2012的4.4.4.1 协方差的估计方法a)款讲的这3条说的是测量不确定度分类是否相关,是否需要计算协方差的规则,根本见不是讲误差合成中的相关性问题。
  不确定度分量是否相关,是否需要计算相关系数、协方差,关键是测量某个输入量a时,给输出量引入的不确定度会不会影响到测量输入量b时给输出量引入的不确定度分量也发生某种规律性变化。这和数学关系式中各变量、自变量之间的相关性完全是两码事。
  在不同实验室用不同测量设备、不同时间测得的量值,以及独立测量的不同量,他们的测量过程各自独立,一个人测量a如何能够影响另一个人测量b?以测量速度为例,张三用秒表测量时间,李四用卷尺测量距离,张三的时间测量怎么会影响李四的距离测量?在研究不确定度分量的相关性时,一定要避开函数式变量间的相关性,避开误差合成中误差的相关性。不确定度是靠测量过程信息估计得到的,不确定度分量的相关性也只与两个输入量的测量过程的特性信息有关。
回复 支持 反对

使用道具 举报

地板
c99945 发表于 2016-8-18 18:52:16
未定系统误差经过溯源就变成了已知的系统误差。问题的关键是史老在校准时不愿意对已知的系统误差进行修正,而要执意引入不确定度的评定中去,才造成了一系列麻烦。但是我们看看国家的校准规范,或以”等“来确定准确度的检定规程,无不在内容中都是明确要求带入标准器修正值的。
回复 支持 反对

使用道具 举报

5#
wsm123123 发表于 2016-8-18 18:56:57
这就是说,不确定度论必须自己退回到误差理论。

下这么绝对的结论,恐怕没什么意义
回复 支持 反对

使用道具 举报

6#
redfree 发表于 2016-8-18 19:03:15
  我认为问题的关键仍然是史老师抱定了不确定度就是误差或误差范围,忽视了误差的定义和不确定度的定义存在着天壤之别,所以总是用看待或解释误差分析理论的角度来看待或解释不确定度评定,这样来看不确定度,不确定度评定就是万劫不复的,同样如果用看待不确定度的观点看待误差理论也会万劫不复。其实两个理论都是科学的,都是测量实践所必须的,不能因为误差理论诞生的早就掐死不确定度,也不能因为不确定度评定诞生的晚就得到偏爱而废掉误差理论。
  不确定度与误差两个定义不同,两套理论不同,两种来源不同,两者用途也不同,它们是测量领域大家庭中天生一对好姐妹。不能用误差分析理论照套不确定度评定,也不能用不确定度评定理论照套误差分析。因此,不能用误差合成的相关性去看待不确定度合成中的相关性。
回复 支持 反对

使用道具 举报

7#
esky520 发表于 2016-8-18 19:15:58
先生是时间频率计量专家,看一下频标漂移的相关系数说不定会对不确定度相关系数有新的理解
回复 支持 反对

使用道具 举报

8#
everloses 发表于 2016-8-18 19:44:45
不确定度并不算一个石破天惊的发现,是经典误差理论的发展和演变,仅此而已
回复 支持 反对

使用道具 举报

9#
darny 发表于 2016-8-18 19:49:27
这个试验最终导致瑞士和意大利两个国家实验室主任辞职
回复 支持 反对

使用道具 举报

10#
buffona 发表于 2016-8-18 20:23:33
相关系数、协方差不是概率论中的吗?难不成概率论中这些也是不对的?
回复 支持 反对

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册   

本版积分规则

QQ| 耐特信计量检测服务平台_计量管理软件  

Copyright © 2001-2016 Netson Inc.   All Rights Reserved.

Powered by Netson ( 粤ICP备14061212号-1 )

快速回复 返回顶部 返回列表