[Inferential Statistics] 최소분산 불편추정량(MVUE, minimum variance unbiased estimator)

---

최소분산 불편추정량 (MVUE)

 

만일 $ \hat{\theta} $ 이 $ \theta $ 에 대한 불편추정량, 즉 $ E(\hat{\theta}) = \theta $ 이고, $ \hat{\theta} $ 의 분산이 $ \theta $ 에 대한 모든 다른 불편추정량의 분산보다 크지 않다면 $ \hat{\theta} $ 을 최소분산 불편추정량이라 한다.

피셔-네이만 인수분해 정리는 데이터에 포함된 모수 $ \theta $ 에 대한 정보를 가장 잘 요약하는 통계량, 즉 최소 충분통계량 $ U $ 를 찾아주었고, 라오-블랙웰 정리는 기존 추정량보다 더 작은 분산을 갖는 추정량을 찾아주었다.

다시 말하면, 라오-블랙웰 정리를 적용하면 평균은 같고, 분산은 더 작은 즉 더 좋은 불편추정량을 얻을 수 있었다. 근데 그렇다면 얻어진 추정량에 라오-블랙웰 정리를 다시 적용하여 더 좋은 불편추정량을 얻을 수 있지 않을까하는 의문이 생긴다.

한번 적용해본다면 $ \hat{\theta} $ 이 $ \theta $ 에 대한 불편추정량이고, $ U $ 가 $ \theta $ 에 대한 충분통계량이라 가정하고, $ \hat{\theta}^* = E(\hat{\theta} \mid U ) = h(U) $ 로 두고, $\hat{\theta}^* $ 에 충분통계량 $ U $ 를 다시 적용하면 $ E(h(U) \mid U ) $ 이다. 일반적으로 $ E(h(U) \mid U) = h(U) = \hat{\theta}^* $ 이므로 라오-블랙웰 정리를 반복적으로 적용하더라도 얻는 것이 없다.

즉 모수 $ \theta $ 에 대한 임의의 불편추정량과 인수분해정리로 구한 충분통계량을 가지고 라오-블랙웰 정리를 적용하면 모수에 대한 최소분산 불편추정량을 얻는다.

물론 조건부 기댓값의 직접 계산은 어려울 수 있지만, $ U $ 가 최소 충분통계량이고 $ E[h(U)] = \theta $ 가 되는 $ h(U) $ 를 구할 수 있다면 $ h(U) $ 는 $ \theta $ 에 대한 최소분산 불편추정량이 된다. 이때 적률법, 최대가능도법 등을 활용할 수 있다.

비교하면 인수분해 정리(링크)와 라오-블랙웰 정리(링크)를 사용하여 최소분산 불편추정량을 찾으려면 목표 모수에 대한 불편추정량이 되는 최소 충분추정량을 찾는 것이 관건이다. 즉 시행착오가 따른다. 적률법(링크)은 직관적이고, 사용하기 쉽지만 최선의 추정량을 보장하지는 않는다. 최대가능도법(링크)은 항상은 아니지만 최소분산 불편추정량을 구할 수 있게 해준다.