耐特信计量检测服务平台_计量管理软件

标题: 协方差可略的三条是误导——关于相关性的讨论（3） [打印本页]

作者: lisi 时间: 2016-8-18 17:55
标题: 协方差可略的三条是误导——关于相关性的讨论（3）
-
                     协方差可略的三条是误导
                                 —— 关于相关性的讨论（3）
-
                                                                                                               史锦顺
-
（一）计量规范《JJF1059.1-2012》的表述
协方差可略的三条
4.4.4.1 协方差的估计方法
   a）两个输入量的估计值xi与xj的协方差在以下情况时可取零或忽略不计：
   1）xi和xj中任意一个量可作为常数处理；
   2）在不同实验室用不同测量设备、不同时间测得的量值；
   3）独立测量的不同量的测量结果。
-
（二）交叉因子的史氏求法
   误差量有两个特点，一个是“绝对性”，一个是“上限性”。误差分析的基础是误差元（测得值减真值）。误差合成的任务是把误差元变成误差范围（误差元的绝对值的一定概率意义上的最大可能值）。误差范围体现误差量的两个特点。误差范围恒正，误差范围是误差量的上限。
   误差合成就是把误差元变成误差范围。
   标准误差σ是随机误差的表征量，3σ是随机误差范围。贝塞尔公式，以平均值代换掉标准误差定义中的真值，可实现对标准误差的计算，称为实验标准误差。
   标准误差的定义是取“均方差”，是系列测得值的误差（以真值为参考）的“平方和的平均值的根”。贝塞尔公式的实验标准误差，是残差（测得值减平均值）的“平方和的平均值的根”。
   在随机误差的处理上，经典误差理论用“方和根法”，利用了“二量之和的平方等于二量各自平方的和”这个随机变量的特性，是巧妙而成功的。
-
   1980年启动而于1993年推行的不确定度论（包括1980年后的一些误差理论书籍），把“方和根法”，推广到仅有系统误差或以系统误差为主的场合，这就出了问题。这里仔细分析一下各种情况。
-
2.1理论基础
   函数的变化量，等于函数对各个自变量偏微分的和。就是泰勒展开的一级近似。
            f(x,y) = f(xo,yo)+ (?f/?x) (x-xo)+ (?f/?y) (y-yo)                         （1）
            f(x,y) - f(xo,yo) =(?f/?x) Δx+ (?f/?y) Δy                                  （2）
            Δf =(?f/?x)Δx + (?f/?y)Δy                                                       （3）
   公式（3）是变量关系的普遍形式。对所研究的特定函数来说，?f/?x、?f/?y是常数。
   变量关系用于测量计量领域，x是测得值，xo是真值, Δx是测得值x的误差元；y是测得值，yo是真值，Δy是测得值y的误差元；f(x,y)是求得的函数值， f(xo,yo) 是函数的真值，Δf= f(x,y)-f(xo,yo) 是求得的函数值的误差元。
-
2.2 交叉因子的一般表达
   设函数的误差由两项误差Δx、Δy引起。由此，函数的两项误差元为：
         Δf(x) = (?f/?x) Δx
         Δf(y) = (?f/?y) Δy
   把分项误差作用的灵敏系数与该项误差归并，记为：
         Δf(x) = ΔX
         Δf(y) = ΔY
   函数的误差元式（3）变为：
         Δf=ΔX +ΔY                                                                         （4）
   对（4）式两边平方并求和、平均：
         (1/N)∑Δf^2=(1/N)∑(ΔX +ΔY)^2
                           =(1/N)∑ΔX^2 + 2(1/N)∑ΔXΔY+(1/N)∑ΔY^2             （5）
   （5）式右边的第一项为σ(X)^2，第三项为σ(Y)^2; （5）式的第二项是交叉项，是我们研究的重点对象。第二项为
            2(1/N)∑ΔXΔY = 2{(1/N)(∑ΔXΔY) / [σ(X) σ(Y)]} [σ(X) σ(Y)]
            = 2J [σ(X) σ(Y)]                                                                   （6）
   （5）成为
            σ(f)^2 = σ(X)^2+2 J [σ(X) σ(Y)] + σ(Y)^2                               （7）
   （6）式（7）式中的J为：
            J =(1/N)(∑ΔXΔY) / [σ(X) σ(Y)]                                                 （8）
   当前，称J（通常记为r）为相关系数。这和统计理论的相关系数，物理意义不一致。为澄清已有的混淆，以下称J为交叉因子。
-
2.3 随机误差间合成的交叉因子
   记误差元为ε，系统误差元为β，随机误差元为ξ。
   对随机误差的合成，ΔX是ξx, ΔY是ξy，代入（8）式，并变成残差形式（以平均值为参考），有：
            J =[1/(N-1)](∑ξxξy) / [σ(X) σ(Y)]                                                 （9）
   由于ξx、ξy是随机误差，可正可负，可大可小，有对称性与有界性，多次测量，是大量的，因此，随机误差间的合成的交叉因子为零（或可以忽略）。
   随机误差合成，“方和根法”成立。由（7）式，有
            σ(f) =√[σ(X)^2+ σ(Y)^2]                                                             （10）
-
2.4 随机误差与系统误差合成的交叉因子
   两个分项误差，一个是随机的，记为ξ；一个是系统的（重复测量中不变），记为β。代入公式（8），有
            J =(1/N)(∑ξiβ) / [σ(X) σ(Y)]                                                          （11）
   系统误差元是常数可以提出来，有
            J =(1/N) (β∑ξi) / [σ(X) σ(Y)]                                                          （12）
   精密测量，要进行多次重复测量取平均值，ξi 相当于残差，残差之和为零。因此精密测量时，随机误差与系统误差的交叉因子可以忽略，因此，“方和根法”成立。
   说明一点。此前，我没做过这项推导，又顾及单次测量无抵消作用的情况，曾主张随机误差与系统误差的合成用“绝对值合成法”。此法不错，但保守。鉴于现在已有上述证明，且注意到“单次测量”仅出现在随机误差可略（重复测量中示值为常值）的普通测量中，可以不必顾虑。由是，我的主张更改为：系统误差范围与随机误差范围合成，可以用“方和根法”合成。
-
2.5 系统误差与系统误差合成的交叉因子
   设（8）式中ΔX为系统误差βx ，ΔY为系统误差βy，则系统误差的交叉因子为
            J =(1/N)(∑βxβy) / [σ(X) σ(Y)]                                                       （13）
   βx、βy为系统误差。系统误差在系列测量时不变，是常数。有
            σ(X)= |βx|                                                                                  （14）
            σ(Y)= |βy|                                                                                  （15）
   将（14）（15）代入（13），则得系统误差的交叉因子为：
            J =(1/N) (∑βxβy) / [ |βx| |βy| ]
               =(1/N)Nβxβy / [|βx| |βy|]
               =±1
   即有
            |J|=1                                                                                           （16）
   当βxβy同号时，系统误差的交叉因子为+1；当βxβy异号时，系统误差的交叉因子为-1.
   当系统误差的交叉因子为+1时，（7）式为：
            σ(f)^2 = σ(X)^2+2 σ(X) σ(Y) + σ(Y)^2
               = [σ(X) + σ(Y)]^2
   既有：
            σ(f) = σ(X) + σ(Y)                                                                         （17）
   即
            | Δf | =|ΔX|+|ΔY|
   也就是
            | Δf | =|βx|+|βy|                                                                         （18）
      （18）式就是绝对值合成公式。
   当系统误差的交叉因子为-1时，（15）式变为二量差的公式。因为通常只是知道系统误差之误差范围，又鉴于误差量“上限性”的特点，二量差的公式不能用。
-
   综上所述，系统误差在“方和根法”合成时，交叉项中的交叉因子是+1（相关系数为-1的解不能用）；这样，“方和根法”，就回归为“绝对和法”。
   测量仪器的误差，通常以系统误差为主。在有系统误差存在，特别是以系统误差为主的通常情况下，交叉项中的误差项，不是弱相关而是强相关（借用常用说法）。这样，不确定度评定的通常的假设条件“不相关”，通常是不成立的。就是说，不确定度评定的“方和根法”是没道理的。不确定度理论有五大难关：分布规律、不相关假设、变系统为随机、范围到方差的往返折腾、求自由度，都是自找麻烦，并无必要；不仅不必要，由于忽略交叉项，不合理地缩小误差范围，违背误差量的上限性特点，成为工程的隐患。

   除对纯随机误差外，不搞“方和根合法”合成，也就避免了不确定度论提出以来的困扰计量界的五大难关，多么轻松！
-
2.6 系统误差比重大时，合成的交叉因子
   测量仪器的误差，通常是以系统误差为主的。若系统误差在总误差的比重，大于60%，则误差因子也会大于0.6，就是强相关。因此，正视测量仪器以系统误差为主的实际情况，各仪器的测量误差合成，一般不能用“方和根法”。
-
（三）《JJF1059.1-2012》置疑
    【JJF1059.1-2012条款】出处见（一），下同。
   1）xi和xj中任意一个量可作为常数处理；协方差可以忽略。
   【史评】
   这条的意思，是说：xi与xj中，有一个是常量，协方差就可忽略。两个都是常量，则更可忽略。在讨论误差合成中，系统误差是常量。本条款说：二分项误差中，有一个是系统误差，则协方差可略。二误差都是系统误差，则协方差当然可略。
   由前边（二）中的推导证明，可知：两个误差都是随机误差，协方差可略；两误差中有一个是随机误差，另一个是系统误差，协方差也可略。当二量都是系统误差时，强相关，协方差不可略。
   可见，本文的协方差忽略条件是有一个是纯随机误差；而JJF1059却说协方差的忽略条件是有一个是系统误差。
   两种说法有本质区别。规范条款认为协方差通常可以忽略；因此通常可用“方和根法”；本文分析则说明，通常“方和根法”是不成立的。因为测量仪器的误差，不仅有系统误差，而且通常是以系统误差为主的。
-
    【JJF1059.1-2012条款】
   2）在不同实验室用不同测量设备、不同时间测得的量值；协方差可以忽略。
   【史评】
   不同实验室、不同测量设备、不同时间的测量，都避免不了有系统误差存在，而且测量仪器一般是以系统误差为主。必须至少有一个是纯随机误差（或随机误差占绝大比例），才能忽略协方差。因此，在不同实验室用不同测量设备、不同时间测得的量值，只要系统误差占主导，就不能忽略协方差。
-
    【JJF1059.1-2012条款】
   3）独立测量的不同量的测量结果；协方差可以忽略。
   【史评】
   此条不妥。理由同上。只要测量中系统误差占较大比例，而不是纯随机误差，就不能忽略协方差。
-
   总之，《JJF1001-2012》为宣扬GUM的“方和根法”而强调的“协方差可忽略”的三项条款，是不对的，是一种误导。
-
   强调指出：
   在讨论合成方法中，把交叉项能否忽略，说成是相关不相关，这本身就是一种误导。两个完全不相关的量，只要取这二量的和的平方，平方的展开式中，就必然有交叉项。此交叉项能不能忽略，不是二量是否相关的问题，而是必须有一个量可正可负地变化，或两个量同时可正可负的变化，才能忽略交叉项。如果两个量都是常量，交叉项必定不能忽略。同号为正，而异号为负，不存在抵消的问题。不确定度论出世以来，把交叉项同“相关系数”联系起来，造成严重的误导。许多人在此误导之下，以为二量不相关就可以忽略交叉项，其实，这是错误的。
   本文与前文，笔者也时而有“相关”与“不相关”的说法，那是“借用”或仅仅是针锋相对地辩论，其实本人并没有囿于不确定度论的说教。
-

作者: wangyoo2003 时间: 2016-8-18 18:45
   先生说：“一个石破天惊发现背后或许存在着一个低级错误”。
   这句话用在不确定度理论与不确定度评定上，是很恰当的。
-
   本来，误差理论中的误差合成方法，很简单，也很明确。
   1 随机误差是统计变量，用统计理论处理。单个量值的统计，用贝塞尔公式；随机误差合成，用“方和根法”。随机误差可正可负，因此二项和的平方，等于二项平方的和。交叉项为零。“方和根法”成立。
   2 符号和量值都知道的系统误差叫已定系统误差。可以修正，也可以进行代数（符号加量值）运算。
   3 通常的系统误差是未定系统误差。就是只知道它在重复测量中是个常量，不是量值可变的随机误差。未定系统误差的符号与量值都是不知道的。但知道其最大可能的范围，就是其上限值。
-
   误差理论与不确定度理论，对待1、2两种情况，处理方法基本一致。分歧产生在对未定系统误差的处理上。经典误差理论认为：对未定系统误差的合成用“绝对和法”；而不确定度理论主张用“方和根法”。不确定度理论为能用“方和根法”，要过五大难关，就是分布、不相关、变系统为随机、方差与范围间的往返折腾、求自由度。因为不确定度理论要把未定系统误差当作随机误差处理，就得过这五个难关。
   第一关，要知道量值与误差的分布规律，这是很难很难的事情。专家都处理不了；一般的测量者、计量者不可能处理。
   第二关，要“假设不相关”，这是掩耳盗铃。本质是二项和展开式中的交叉项可以忽略。这在有系统误差存在的条件下是不可能的。来本网发帖的两位专家：njlyx、崔伟群都证明系统误差的相关系数的绝对值是1（我也证明了这一点）。而测量仪器一般是以系统误差为主的。这就是说“假设不相关”是错误的；“方和根法”对一般情况（有系统误差的仪器）是不成立的。
   以后再论另外的三关；就现在的讨论，这第二关就是不确定度论的滑铁卢。交叉项的交叉系数（类比地称为相关系数）是+1（-1的解，不符合误差的上限性，废弃），于是，“方和根法”就转化为“绝对和法”。这就是说，不确定度论必须自己退回到误差理论。而一经返回误差理论，那烦人的五个难关，也就没有必要了，烟消云散了。
-

作者: 快乐.每一天 时间: 2016-8-18 18:45
　　JJF1059.1-2012的4.4.4.1 协方差的估计方法a）款讲的这３条说的是测量不确定度分类是否相关，是否需要计算协方差的规则，根本见不是讲误差合成中的相关性问题。
　　不确定度分量是否相关，是否需要计算相关系数、协方差，关键是测量某个输入量ａ时，给输出量引入的不确定度会不会影响到测量输入量ｂ时给输出量引入的不确定度分量也发生某种规律性变化。这和数学关系式中各变量、自变量之间的相关性完全是两码事。
　　在不同实验室用不同测量设备、不同时间测得的量值，以及独立测量的不同量，他们的测量过程各自独立，一个人测量ａ如何能够影响另一个人测量ｂ？以测量速度为例，张三用秒表测量时间，李四用卷尺测量距离，张三的时间测量怎么会影响李四的距离测量？在研究不确定度分量的相关性时，一定要避开函数式变量间的相关性，避开误差合成中误差的相关性。不确定度是靠测量过程信息估计得到的，不确定度分量的相关性也只与两个输入量的测量过程的特性信息有关。

作者: c99945 时间: 2016-8-18 18:52
未定系统误差经过溯源就变成了已知的系统误差。问题的关键是史老在校准时不愿意对已知的系统误差进行修正，而要执意引入不确定度的评定中去，才造成了一系列麻烦。但是我们看看国家的校准规范，或以”等“来确定准确度的检定规程，无不在内容中都是明确要求带入标准器修正值的。

作者: wsm123123 时间: 2016-8-18 18:56
这就是说，不确定度论必须自己退回到误差理论。

下这么绝对的结论，恐怕没什么意义

作者: redfree 时间: 2016-8-18 19:03
　　我认为问题的关键仍然是史老师抱定了不确定度就是误差或误差范围，忽视了误差的定义和不确定度的定义存在着天壤之别，所以总是用看待或解释误差分析理论的角度来看待或解释不确定度评定，这样来看不确定度，不确定度评定就是万劫不复的，同样如果用看待不确定度的观点看待误差理论也会万劫不复。其实两个理论都是科学的，都是测量实践所必须的，不能因为误差理论诞生的早就掐死不确定度，也不能因为不确定度评定诞生的晚就得到偏爱而废掉误差理论。
　　不确定度与误差两个定义不同，两套理论不同，两种来源不同，两者用途也不同，它们是测量领域大家庭中天生一对好姐妹。不能用误差分析理论照套不确定度评定，也不能用不确定度评定理论照套误差分析。因此，不能用误差合成的相关性去看待不确定度合成中的相关性。

作者: esky520 时间: 2016-8-18 19:15
先生是时间频率计量专家，看一下频标漂移的相关系数说不定会对不确定度相关系数有新的理解

作者: everloses 时间: 2016-8-18 19:44
不确定度并不算一个石破天惊的发现，是经典误差理论的发展和演变，仅此而已

作者: darny 时间: 2016-8-18 19:49
这个试验最终导致瑞士和意大利两个国家实验室主任辞职

作者: buffona 时间: 2016-8-18 20:23
相关系数、协方差不是概率论中的吗？难不成概率论中这些也是不对的？

作者: zhoujingli 时间: 2016-8-18 20:25
   先生说：问题的关键是史老在校准时不愿意对已知的系统误差进行修正，而要执意引入不确定度的评定中去，才造成了一系列麻烦。
-
   “不修正”是史锦顺的个人问题吗？不是的。
   从测量计量的整体来看，“修正”是极少数，仅仅对量块、砝码这样的单值量具才可能修正。校准只能校准几十个点，修正值仅仅对校准点才有效；而一般的精密测量仪器，通常可能的测量点数是几万到几百万，那些绝大多数的测量点，没有修正值，怎么修正？HP8662A频率综合器的输出频率点是一百二十亿个值，怎么能修正？
   对各种各样的绝大多数测量仪器来说，校准点数只是测量点数的百分之一，甚至万分之一，不可能都修正。把眼睛放在1%的可修正点上，而忽略占99%以上的不能修正的测量点，算什么观点，什么逻辑？不管大多数点的“不能修正”，只着眼少数点的“可修正”，就说都修正了，不是瞎扯淡吗？规范再权威，说瞎话就没有权威。
-
   下面引两句我国著名时频专家马凤鸣先生的话。引自《时间频率计量》（国家质检总局组编，计量检测人员培训教材）。
   1  在时频领域，实用上无人去修正……（p158)
   2  理论上，偏差一旦确定了就可以修正……但实际上不是单一地使用修正后的频率值，而是以此作标准产生各种频率值和时间间隔值，甚至涉及一系列变换，要对每个值进行事后修正相当麻烦，故实际上没人去进行这种修正。使用者都是按标称值使用，他要知道的是实际值偏离标称值有多远……一句话，关心的就是频率准确度，根据实用要求选购相应准确度的频标。（p164）
-
   看清楚了吧，“不修正”不是老史的毛病，是惯例。
   “都修正了”，那才是假话，才是误导。
   既然大多数不修正，那我们就必须严肃、严格地看待与处理系统误差。
-

作者: 2支棒棒糖 时间: 2016-8-18 20:35
　　史老师，JJF1059.1-2012的标题是《测量不确定度评定与表示》，讲的是不确定度评定，不是讲误差分析，因此其4.4.4.1条a）款讲的3条是测量不确定度的两个分量（不是分类）之间是否相关，是否需要计算协方差的识别规则，不是讲误差分析中的误差合成，也不是讲函数式的变量与自变量之间是否相关，是否需要计算协方差的规则。我们不能将不确定度评定与误差分析扯在一起混淆不清，用误差合成中的相关性或函数式变量之间的相关性去套用或解释不确定度分量合成时的相关性是错误的。
　　三条都说协方差可略，并不是JJF1099.1说协方差都可略，而是说协方差可略的识别三个条件，达到这些条件之一的两个不确定度分量之间即可视为不相关，协方差也就可略。

作者: qq53039 时间: 2016-8-18 20:40
先生说：
　　JJF1059.1-2012的4.4.4.1 协方差的估计方法a）款讲的这３条说的是测量不确定度分类（项）是否相关，是否需要计算协方差的规则，
   我认为它不对，讲了理由。你看不懂也罢，硬要说我不是就问题谈问题。太奇怪了。三条都说协方差可略。难道JJF1099.1的意思不是协方差可略吗？
   你说：是否需要计算协方差的规则，错，不是需要不需要计算的问题，已经明确说明可以忽略，就是不要算。难道这不是很明白吗？

作者: 流氓插件 时间: 2016-8-18 20:42
后经证实，“超光速”是连接GPS信号的光纤接触问题引起的

作者: lkamxmk 时间: 2016-8-18 21:43
英国《自然》杂志网站2011年8月报道，欧洲研究人员发现了中微子超光速现象，意大利格兰萨索国家实验室实验装置接收了来自欧洲核子研究中心的中微子，两地相距730公里，中微子“跑”过这段距离的时间比光速快了60纳秒，参与实验的瑞士伯尔尼大学的专家说，他和同事被这一结果震惊了，他们随后反复观测到这个现象1.6万次，并仔细考虑了实验中其他各种因素的影响，认为这个观测结果是可靠的，于是决定将其公开

60纳秒在时间测量上是一个非常大的量值，如果这个试验成立，整个现代物理学基础将被颠覆

作者: gooobooo 时间: 2016-8-18 22:36
倒数第11行，应为JJF1059.1-2012.

作者: dzlqsq 时间: 2016-8-18 22:42
一个石破天惊发现背后或许存在着一个低级错误

欢迎光临耐特信计量检测服务平台_计量管理软件 (http://weblims.cn/)