估计量的无偏性怎么证明 无偏估计量的含义?

[更新]
·
·
分类:行业
1075 阅读

估计量的无偏性怎么证明

无偏估计量的含义?

无偏估计量的含义?

无偏估计量(unbiased estimate),即从样本得到的总体参数估计值的数学期望等于该参数的真值,则称该估计值为无偏估计量。
对于待估参数,不同的样本值就会得到不同的估计值。这样,要确定一个估计量的好坏,就不能仅仅依据某次抽样的结果来衡量,而必须由大量抽样的结果来衡量。对此,一个自然而基本的衡量标准是要求估计量无系统偏差。也就是说,尽管在一次抽样中得到的估计值不一定恰好等于待估参数的真值,但在大量重复抽样时,所得到的估计值平均起来应与待估参数的真值相同,换句话说,希望估计量的均值(数学期望)应等于未知参数的真值,这就是所谓无偏性(Unbiasedness)的要求。

方差的估计量是什么?

先看结果。
不能画图,可以想象。在坐标系x-y内,x轴上真实值b是不动的,一个以b为期望的分布b hat(估计量),但b hat 的形态是随着计算样本自由度(样本量n、变量数k)而变化的(但大样本OLS弱假定下始终满足渐进正态性),因为b hat的方差估计量与n,k有关,因此n,k确定情况下,b hat的分布形态是不变的, 想象成b hat分布(n,k确定)下的用第j组样本量计算的某个取值。
举例:样本均值 是总体期望值EXu的估计量,利用第j个样本集计算出样本均值的具体值 ,这个 就是u的估计值。这个例子与计量下的估计量 hat 唯一区别在于: 统计量的表现形式不一样, ,而后者比如一元OLS下的b hat 。
再看从计量角度估计量、估计值如何来的,以最简单的一元带截距回归方程为例,满足大样本OLS弱假定
计量角度来看,一个存在但不可能知晓的真实值b,满足理论模型F(X,Y,b)0;
从理论到现实,存在误差等不可控因素,存在总体回归方程f(X,Y,b,e)0,b称为总体参数,而总体(X,Y)不知,真实值b也永远不能确定,e是总体误差,为随机变量,满足条件均值和同方差 假定
总体无法获取,只能得到n个样本量的一个样本集。于是可以建立样本回归方程f(x,y,b hat,u)0,其中b hat称为b的估计量。估计量可以用多种计算方法,运用OLS方法计算就是ols估计量,运用MLE方法计算就是MLE估计量,此外还有分位数回归、中位数回归、FGLS等等,而从表现形式看,估计量是样本(x,y)的表达式g
。u是残差,是e的抽样值,残差方差为
将一个样本集代入估计量的表达式g(x,y)得到b hat的一个具体值,即b基于此样本下的一个估计值 (第j个样本集计算的b估计值)
其他相关延伸
用什么标准去衡量一个b hat的好坏呢?主要两个标准,一是b hat的期望值必须与真实值相等,也就是常说的无偏性;另一个就是b hat离真实值b的分散程度最小,方差最小,也就是有效性。大样本下可以这两个标准放松为渐进性,即依概率收敛为真实值和渐进方差最小。
前人已经帮我们证明了,满足OLS假设条件下,b的估计量b hat是满足BLUE性质的。因此,OLS假设的存在只是保证b hat其中的某一形式(比如OLS估计量g)作为计算真实值b的估计量的合理性,以及确定b hat的分布,包括均值E(b hat)b,方差 (一元回归, 是总体误差方差)和分布形式为正态(误差同方差的正态分布下)或者渐进正态(大样本同方差下)
,为假设推断、显著性检验做准备,与其具体代入的样本值并无任何关系。
但我们无法知道具体总体误差 ,u是e的抽样,只能用残差 去估计,OLS下 (一元下)是 的无偏估计,于是b hat的方差估计量(类似样本方差 对总体方差 的估计)为 。再依据b hat的(渐进)正态分布性质,构建t统计量,对 是否显著异于b进行检验。