[Mathematical Statistics] 조건부 기댓값(conditional expectation) 및 조건부 분산(conditional variance)

---

조건부 기댓값

 

어떤 확률변수 $ X_1 $ 과 $ X_2 $ 에 대해 $ X_2 = x_2 $ 라 주어진 경우에 $ X_1 $ 의 함수인 $ g(X_1) $ 의 조건부 기댓값은 만약 $ X_1 $ 과 $ X_2 $ 가 공동연속이면 다음과 같이 정의한다.

$$ E\left[ g(X_1) \mid X_2 = x_2 \right] = \int_{-\infty}^\infty g(x_1) f(x_1 \mid x_2) dx_1 $$

만약 공동이산이면 다음과 같이 정의한다.

$$ E\left[ g(X_1) \mid X_2 = x_2 \right] = \sum_{\forall x_1} g(x_1) p(x_1 \mid x_2) $$

 

---

전체 기댓값의 법칙 (Law of Total Expectation)

 

반복 기댓값의 법칙(law of iterated expectation)이라고도 한다. 이는 조건부 기댓값의 기댓값이 원래의 기댓값과 같은 것을 나타낸다. 즉 다음과 같다.

$$ E \left[ X_1 \right] = E \left[ E \left( X_1 \mid X_2 \right) \right] $$

 

---

조건부 분산

 

어떤 확률변수 $ X_1 $ 과 $ X_2 $ 에 대해 $ X_2 = x_2 $ 라 주어진 경우 $ X_1 $ 의 조건부 분산은 $ X_1 $ 의 일반적인 밀도함수나 확률함수 대신에 $ X_2 = x_2 $ 에 대한 $ X_1 $ 의 조건부 밀도함수나 확률함수를 이용하여 일반적인 분산과 유사하게 정의한다. 즉 다음과 같다.

$$ \begin{align} V(X_1 \mid X_2 = x_2) &= E \left( \left[ X_1 - E ( X_1 \mid X_2 = x_2 ) \right] ^2 \mid X_2 = x_2 \right) \\ &= E(X_1 ^2 \mid X_2 = x_2 ) - \left[ E(X_1 \mid X_2 = x_2 ) \right] ^2 \end{align} $$

이를 통해서 $ X_1 $ 의 분산을 다음과 같이 나타낼 수도 있다.

 $$ V(X_1) = E \left[ V(X_1 \mid X_2) \right] + V \left[ E ( X_1 \mid X_2 ) \right] $$