[Inferential Statistics] 점추정량의 불편성(unbiasedness)

---

편향 (Bias)

 

편향은 추정량이 실제 모수와 얼마나 차이가 있는가를 나타내는 척도로 정확히는 추정량의 기댓값과 실제 모수의 차이를 말한다. 즉 모수를 $ \theta $ 라 하고, 추정량을 $ \hat{\theta} $ 라 할 때 추정량의 편향 $ B(\hat{\theta}) $ 는 다음과 같다.

$$ B (\hat{\theta} ) = E(\hat{\theta}) - \theta $$

당연히도 편향은 모수 추정에 유리하도록 작을수록 좋다.

참고로 추정량의 평균제곱오차는 $ \operatorname{MSE}(\hat{\theta}) = E \left[ (\hat{\theta} - \theta)^2 \right] $ 인데, 이는 다시 쓰면 $ \operatorname{MSE}(\hat{\theta}) = V( \hat{\theta} ) + B(\hat{\theta})^2 $ 이다.

 

---

불편추정량 (Unbiased estimator)

 

불편추정량은 편향이 없는 추정량이다. 즉 $ \hat{\theta} $ 를 $ \theta$ 의 점추정량이라 할 때 $ E(\hat{\theta}) = \theta $ 라면 $ \hat{\theta} $ 는 불편추정량이다.

만약 $ E(\hat{\theta}) \neq \theta $ 라면 $ \hat{\theta} $ 는 편의추정량(biased estimator)이라 한다.

참고로 모분산의 추정량으로 표본분산을 사용할 때, 표본분산을 $ \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X} )^2 $ 이 아니라 $ \frac{1}{n-1} \sum_{i=1}^n (X_i - \bar{X} )^2 $ 으로 정의하는 이유가 $ \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X} )^2 $ 는 편의추정량이고 $ \frac{1}{n-1} \sum_{i=1}^n (X_i - \bar{X} )^2 $ 는 불편추정량이기 때문이다.

 

---

기본적인 불편추정량

 

목표모수 $ \theta $	점추정량 $ \hat{\theta} $	표준오차 $ \sigma_\hat{\theta} $
모평균 $ \mu $	$$ \bar{X} $$	$$ \frac{\sigma}{\sqrt{n}} $$
이항모수 $ p $	$$ \hat{p} = \frac{X}{n} $$	$$ \sqrt{\frac{p(1-p)}{n}} $$
모분산 $ \sigma^2 $	$$ S^2 = \frac{1}{n-1} \sum_{i=1}^n (X_i - \bar{X} )^2 $$	$$ \sqrt{\frac{2\sigma^4}{n-1}} $$
두 모평균의 차 $ \mu_1 - \mu_2 $	$$ \bar{X}_1 - \bar{X}_2 $$	$$ \sqrt{\frac{\sigma^2_1}{n_1} + \frac{\sigma_2^2}{n_2}} $$
두 이항모수의 차 $ p_1 - p_2 $	$$ \hat{p}_1 - \hat{p}_2 $$	$$ \sqrt{\frac{p_1(1-p_1)}{n_1} + \frac{p_2 (1-p_2)}{n_2}} $$