[Inferential Statistics] 라오-블랙웰 정리(Rao-Blackwell theorem)

---

라오-블랙웰 정리 (Rao-Blackwell Theorem)

 

$ \hat{\theta} $ 을 $ V(\hat{\theta}) < \infty $ 인 $ \theta $ 에 대한 불편추정량이라 하자. 만일 $ U $ 가 $ \theta $ 에 대한 충분통계량이면 $ \hat{\theta}^* = E(\hat{\theta} \mid U ) $ 로 정의한다. 그렇다면 모든 $ \theta $ 에 대해 다음이 성립한다.

$$ E(\hat{\theta}^{*}) = \theta $$

$$ V(\hat{\theta}^*) \leq V(\hat{\theta}) $$

$ U $ 가 $\theta $ 에 대해 충분통계량이므로 $ U $ 가 주어진 경우 임의의 통계량의 조건부분포는 $ \theta $ 에 의존하지 않는다.

$ \hat{\theta} $ 이 $ \theta $ 의 불편추정량이므로 다음이 성립한다.

$ E(\hat{\theta}^*) = E[E(\hat{\theta}\mid u)] = E(\hat{\theta}) = \theta $

따라서 $ \hat{\theta}^* $ 는 불편추정량이다.

$ V(\hat{\theta}) = E[V(\hat{\theta} \mid u)] + V[ E(\hat{\theta}\mid u)] = E[V(\hat{\theta} \mid U)] + V(\hat{\theta}^*) $

모든 $ u $ 에 대하여 $ V(\hat{\theta} \mid U) \geq 0 $ 이다.

따라서 $ E[V(\hat{\theta} \mid U)] \geq 0 $ 이고, $ V(\hat{\theta}) \geq V(\hat{\theta}^*) $ 이다.

라오-블랙웰 정리는 $ \theta $ 에 대한 작은 분산을 갖는 불편추정량이 충분통계량의 함수이거나 또는 그것을 충분통계량의 함수로 만들 수 있다는 것을 보여주는 동시에 충분통계량에 대한 불편추정량의 조건부 기댓값을 통해 분산이 더 작을 수 있는 불편추정량을 나타낼 수 있음을 보여준다.