[Inferential Statistics] 추정오차(error of estimation)

---

추정오차 (Error of Estimation)

 

추정오차 $ \epsilon $ 은 추정량과 목표모수와의 거리이다. 즉 다음과 같다.

$$ \epsilon = | \hat{\theta} - \theta | $$

추정오차를 통해 점추정 절차의 우수성을 측정할 수 있고, 당연히 추정오차가 작을수록 선호된다.

이때 $ \hat{\theta} $ 가 확률변수이므로 $ \epsilon $ 역시 확률적 양이다. 따라서 측정 추정값에 대하여 얼마나 크고 작은지를 말할 수 없고, 다만 확률적 주장만 가능하다. 즉 다음과 같이 나타낼 수 있다.

$$ P( \epsilon < b) = P( | \hat{\theta} - \theta | < b) = P(-b < ( \hat{\theta} - \theta ) < b) = P( \theta - b < \hat{\theta} < \theta + b) $$

만약 $ b $ 가 현실적 관점에서 작다고 간주할 수 있다면 당연히 $ P( \epsilon < b ) $ 는 추정량의 우수성에 대한 척도가 될 수 있을 것이다.

반대로 $ P(\epsilon < b) = \alpha $ 가 되는 $ b $ 를 구해야 한다면, 즉 추정오차가 특정 값 $ b $ 이하가 될 확률이 $ \alpha$ 가 되도록 하는 $ b $ 를 구하고 싶다면 확률밀도함수를 통해 간단히 계산할 수 있다.

$$ \int_{\theta - b}^{\theta + b} f(\hat{\theta}) d \hat{\theta} = \alpha $$

위 식에서 $ b $ 를 구하면 된다.

만약 추정량이 비편향이라면 $ \epsilon = k \sigma_{\hat{\theta}} $ 로 놓고 체비셰프 부등식을 이용하여 더 간단하게 아래와 같이 나타낼 수 있다.

$$ P( | \hat{\theta} - \theta | < k \sigma_{\hat{\theta}} ) \geq 1 - \dfrac{1}{k^2} $$

이때 $ k = 2 $ 로 두면 적어도 추정오차는 이 한계보다 작을 확률이 $0.75$ 이다. 체비셰프 부등식을 이용하기에 굉장히 보수적으로 잡히는데도 $ 0.75 $ 이기 때문에 많은 경우 $ b=  2 \sigma_{\hat{\theta}} $ 가 현실적인 상황에서 추정오차의 대한 좋은 근사적 한계이다.