按键盘上方向键 ← 或 → 可快速上下翻页，按键盘上的 Enter 键可回到本书目录页，按键盘上方向键 ↑ 可回到本页顶部！
————未阅读完？加入书签已便下次继续阅读！
费歇尔学派与皮尔逊学派：两种统计观
哲学上的分歧使费歇尔与K？皮尔逊在研究统计分布的方法上分道扬镳。K？皮尔逊把统计分布视为对他所分析数据的集合的真实描述。而按照费歇尔的观点，真实分布只是一个抽象的数学公式，搜集的数据只能用来估计这个真实分布的参数。既然所有的估计都有误差，那么费歇尔提出来的一些分析的手段，可以把这种误差的程度降到最低，或者可以更经常地得出比其他任何手段都更接近真实分布的答案。
在20世纪30年代，看上去是费歇尔在这场辩论中获胜了，但到了70年代，皮尔逊学派的观点东山再起。直到写这本书时，统计学界在这个问题上已经分裂成两派，尽管K？皮尔逊本人几乎不接受他的天才继承者们的观点。费歇尔用他条理清晰的数学头脑廓清了残存在K？皮尔逊观点中大量的混淆，正是这些混淆使得K？皮尔逊没有意识到自己观点的深层本质，因此，后来东山再起的皮尔逊方法已经无法回避费歇尔的理论成果。当把统计模型应用于现实时，存在着一些很严重的问题。因此，本书打算在多处探讨这些哲学问题，这里就是其中的一处。
K？皮尔逊把测量值的分布视为一个真实的存在。在他的方法里，对于一个给定的情况，有一个庞大的然而却是有限的（finite）测量值的集合。在理想情况下，科学家会搜集所有的这些测量值，并确定其分布参数。如果无法搜集到全部测量值，那么就搜集一个很大的并且具有代表性的数据子集（subset）。由这些大量的、且具代表性的子集计算出来的参数会与完备集合的参数相同；此外，那些用来计算完备集合参数值的数学方法也适用于有代表性的子集的参数估计，而不会有严重的误差。
但依照费歇尔的观点，测量值是从所有可能出现的测量值中随机选取的，依据随机选取的数据计算得出的一个参数的任何估计值，其结果本身也具有随机性，因此，也会服从一种概率分布。为了能清楚地区分参数的估计值与参数本身这两个不同的概念，费歇尔把这个估计值称为“统计量”（statistic）；不过现代术语往往称其为“估计量”（estimator）。假设我们有两种不同的方法可以得到一个统计量，以估计某个特定的参数。例如老师想了解一个学生对知识掌握到什么程度（参数），就在全班进行了几次测验（测量），并且计算出测验的平均分数（统计量）。那么，究竟是用中位数（median）作统计量“更好”呢，或是取这几次测验中的最高分与最低分的平均值“更好”呢，还是去年最高分与最低分然后把其余的测验成绩加以平均“更好”？
既然统计量是随机的，那么讨论这个统计量的某个值的准确性到底有多大是毫无意义的。我们需要的是一个判别的准则，这个准则以统计量的概率分布为依据，就像K？皮尔逊所指出的那样，对一组测量进行估计，必须根据它们的概率分布，而不是根据个别观测值。评判哪一个是好的统计量，费歇尔提出了如下三个准则：
一致性（consistency）：得到的数据越多，计算出来的统计量接近参数真值的概率就越大；
无偏性（unbiasedness）：如果用很多组不同数据集多次测量某一特定的统计量，那么该统计量的这些测量值的平均数应该近似于这个参数的真值；
有效性（efficiency）：统计量的值不会完全等于该参数的真值，但是用来估计一个参数的大多数统计量应该与真值相去不远。这些阐述似乎有点含混不清，这是因为我在竭尽全力地把一些本来精确的数学公式，用一些一般性的文字表述出来。实际上，费歇尔的这些准则都可以用恰当的数学式来表达。
费歇尔之后的统计学家又提出了其他的准则，费歇尔自己也在后来的论文中提出了一些次要准则。剔除所有这些准则中的混乱不清的东西之后，剩下的最重要的元素就是，应该把统计量本身视为随机的，而好的统计量一定有好的概率特性。对于某一特定数据集，我们永远不知道一个统计量的值是否正确，只能说我们用一种方法得出来一个符合这些准则的统计量。
在费歇尔提出的三项基本准则中，“无偏性”准则最引人关注，这或许是由于“偏误”（bias）这个词带有某种贬义。一个有偏的（biased）统计量似乎是谁都不想要的某个东西。美国食品和药物管理局的正式指导准则就提出警告，要大家使用“避免有偏”的方法。有一种非常奇怪的分析方法（将在第27章里详细讨论），叫做“意向治疗”（intent to treat），已经成为占优势的医学试验法，因为，这种方法仍能保证结果是无偏的，尽管它忽略了有效性的准则。
事实上，一些有偏的统计量的应用常常极为有效。据费歇尔的研究，用来确定净化城市供水系统中氯浓度的标准方法，依据的就是一个有偏（但满足一致性与有效性）的统计量。所有这一切也是科学社会学（the sociology of science）中的一类研究课题——为准确定义一个概念而创造出来的一个词，怎样将情感好恶的包袱也带到了科学中来，并对人们的行为产生了影响。
费歇尔的极大似然法
当费歇尔研究了这些数学问题之后，他认识到，用K？皮尔逊的方法来计算分布参数所生成的统计量未必是一致的，而且经常是有偏的，他也认识到还存在着更加有效的统计量可以利用。为了得到一致且有效（但未必无偏）的统计量，费歇尔提出了被他称之为“极大似然估计量”（maximum likelihood estimator； MLE）的一个概念。
随后，费歇尔证明了MLE总是一致的，而且证明了如果人们认可几个被认为是“正则性条件”（regularity conditions）的假定，那么MLE是所有统计量中最有效的。此外，费歇尔还证明了，即便MLE是有偏的，也可以计算出其偏差的大小，然后将其从MLE的估计值中减掉，从而得到一个一致、有效且无偏的修正统计量 。
费歇尔的似然函数（likelihood function）席卷了整个数理统计学界，迅速成为估计参数的主要方法。极大似然估计只存在一个问题，就是在试图求解MLE时所涉及的数学问题，其难以对付的程度确实令人望而生畏。费歇尔的论文里写满了一行又一行的复杂代数式，用来说明不同分布的MLE数学公式的推导过程。他的方差分析和协方差分析的运算法则显示出他极高的数学造诣，去处过程中他设法在多维空间里利用巧妙的代入与变换，导出最终为使用者所需要的MLE的计算公式。
尽管费歇尔具有非凡的独创性，但在多数情况下，对于MLE的潜在使用者来说，仍然难以驾驭所必需的高深数学知识。20世纪后半叶的统计学文献中有许多非常睿智的文章，它们运用简化的数学方法，在某些实例中得到了相当理想的MLE的近似值。在我自己的博士学位论文里（大约写于1966年），我只能将就着不得不接受这样一个事实，即只有在能够得到非常多的数据时，我的问题的解才是好的。假定我有大量的数据，就能把似然函数简化到可以计算出挖MLE值的程度。
后来出现了电脑。电脑并非人脑的竞争对手，电脑只是一个巨大而有耐力的数字处理设备。它从不会厌烦，从不会困倦，也不会犯错误。它一而再、再而三地重复着做那些同样繁琐的计算，数百万次地一再重复。用所谓的“迭代算法”（iterative algorithms），它能算出MLE值。
迭代算法
最早的一种迭代数学方法好像出现在文艺复兴时期（虽然数学史学家大卫？史密斯（David Smith）在他1923年出版的《数学史》（History of Mathematics）中声称，早在古埃及和中国的文字记载中就已经发现了这种方法的实例）。当资本主义曙光初露之时，在意大利北部刚刚建立起来的商业银行或商号中就碰到一个基本问题：每个小小的城邦或国家都有自己的倾向，所以商号必须能算出如何在各倾向之间兑换；比如说，如果汇率是雅典钱币14德拉克马（Athenian drachma）换一个威尼斯币达克特（Venetian ducat），那么用威尼斯的127达克特买来的一堆木材，价值多少雅典的德拉克马呢？如今，我们有能力用代数符号来解答这个问题。还记得高中的代数吗？若X等于雅典德拉克马的值，则……
尽管当时的数学家已经开始发展代数学，这种简单的计算方法仍不能为大多数人所用。银行家用的是一种叫做“试位法”（rule of false position）的计算方法。由于每家商号都确信自己的换算规则是“最好的”，所以每家商号都有自己的店员。罗伯特？雷科德（Robert Recorde，15101558），这位16世纪的英国数学家，在普及代数符号上功绩卓著。为了把代数的威力与试位法则相对照，他在1542年写了一本书“The Grovnd of Artes”，书中说明了试位法：
Gesse at this woorke as happe doth leade。
By chaunce to truthe you man procede。
And firste woorde by the question；
Although no truthe therein be don。
Suche falsehode is so good a grounde。
That truthe by it will soone be founde。
From many bate to many more；
From to fewe take to fewe also。
With to much ioyne to fewe againe；
To to fewe adde to manye plaine。
In crosswaied multiplye contrary kinde；
All truthe by falsehode for to fynde。
雷科德的这篇16世纪的英文说的是：你先猜一个答案，并把它代入问题中，由此你会得到一个结果，而它和你想要的结果之间会有些差异。有了这个差异，接着你可以用它再产生一个更好的猜测，再用这个新的猜测得到一个新的差异，这个差异又会产生出另一个新的猜测值。如果在计算这个差异的过程中，你做