(개념&증명) 3. 최소자승추정량- 불편성 (least squares estimators are unbiased)

최소자승추정량 특징중에 불편성(unbiasedness)에 대해 정리해보고자 합니다.

추정량값(estimates)이 모수(parameter)와 일치하는 통계량일때, 불편성(unbiasedness)을 가진다고 합니다.  

bias가 편견, 어디에 치우침 이런 뜻이 있는데요. un- 이 붙어서 부정을 띄니까, unbiased는 어디에 치우치지 않는- 이런 뜻을 가집니다. 

 

증명문제로, 추정량값이 불편성을 가지는지 보여라- 이런 문제는 가장 많이 접했던것 같아요. 

(show that XX estimator is unbiased)   

 

그 전 포스팅에서 최소자승추정량에 대한 estimates값은 다음과 같습니다.

 1) Estimatof of $\beta_{1}$ : $b_{1}=\frac{\sum(X_{i}-\bar{X})(Y_{i}-\bar{Y})} {\sum(X_{i}-\bar{X})^2} = \frac{\sum(X_{i}-\bar{X})Y_{i}}{\sum (X_{i}-\bar{X})^2}=\frac{\sum X_{i}Y_{i}-n\bar{X}\bar{Y}}{\sum X_{i}^2-n\bar{X}^2}$

 2) Estimatof of $\beta_{0}$: $b_{0}=\bar{Y}-b_{1}\bar{X}$

 

불편성을 증명하기 위해서는 estimates의 기댓값이 모수값과 같은지 보여주면 됩니다.   

They are unbiased!! why? $\Rightarrow$ Need to show that $E[b_{1}]=\beta_{1}$ and $E[b_{0}]=\beta_{0}$

Proof

그럼, 일단 아래 내용을 활용할꺼예요. 

$k_{i}= \frac{X_{i}-\bar{X}}{\sum(X_{i}-\bar{X})^2}$, where $\sum k_{i}= 0, \ \sum k_{i}X_{i}=0, \ \sum k_{i}^2=\frac{1}{\sum(X_{i}-\bar{X})^2}$    

(1) $\sum k_{i}=0 \Rightarrow \frac{(X_{i}-\bar{X})}{S_{XX}}= \frac{\sum X_{i}-n\bar{X}}{S_{XX}}= \frac{n\bar{X}-n\bar{X}}{S_{XX}}=0$

(2) $\sum k_{i}X_{i}=1 \Rightarrow \frac{\sum( X_{i}-\bar{X})(X_{i}-\bar{X})}{S_{XX}}=\frac{\sum(X_{i}-\bar{X})^2}{S_{XX}}= \frac{S_{XX}}{S_{XX}}=1$

(3) $\sum k_{i}^2= \frac{1}{\sum(X_{i}-\bar{X})^2} \Rightarrow \sum k_{i}^2= \sum( \frac{X_{i}-\bar{X}}{S_{XX}})^2=\frac{1}{S_{XX}}\sum (X_{i}-\bar{X})^2=\frac{S_{XX}}{(S_{XX})^2}=\frac{1}{S_{XX}}$ 

 

이제 진짜 증명 들어갑니다.

Proof

1) $E[b_{1}]= \beta_{1}$  

   $\Rightarrow$ $E[b_{1}]=E[\sum k_{i}Y_{i}]= \sum k_{i}E[Y_{i}]$ as $\sum k_{i}$ is a constant! And $Y_{i}=\beta_{0}+\beta_{1}X_{i}+\varepsilon _{i}$

                     $=\sum k_{i}(\beta_{0}+\beta_{1}X_{i})=\beta_{0} \sum k_{i}+ \beta_{1} \sum k_{i}X_{i}=\beta_{1}$

2) $E[b_{0}]=\beta_{0}$

  $\Rightarrow E[b_{0}]=E[\bar{Y}-b_{1}\bar{X}]=E[\bar{Y}]-E[b_{1}\bar{X}]=\beta_{0}+\beta_{1}\bar{X}-\bar{X}\beta_{1}=\beta_{0}$

        Notice that $Y_{i}$ is a random value, therefore $\bar{Y}$, $\sum k_{i}Y_{i}$ are also random!!

        However, $\bar{X}$ is NOT a random value, but it's a constant!

        *E(aY)=a E(Y), where a is a constant!