확률변수의 선형함수에 대한 기댓값과 분산
표본의 측정값들의 선형함수인 모수추정량을 위해 확률변수의 선형함수에 대한 기댓값과 분산을 알아야 한다.
예를 들어 $ Y_1, Y_2, \cdots, Y_n $ 과 $ X_1, X_2, \cdots, X_m $ 이 $ E\left( Y_i \right) = \mu_{y_i} $ 이고, $ E\left( X_i \right) = \mu_{x_i} $ 인 확률변수라 하고, $ a_1, a_2, \cdots, a_n $ 과 $ b_1, b_2, \cdots, b_m $ 이 상수이며, $ U_1 $ 과 $ U_2 $ 가 다음과 같다고 가정하자.
$ U_1 = \sum_{i=1}^n a_i Y_i $, $ U_2 = \sum_{i=1}^m b_i X_i $
그렇다면 다음이 성립한다.
- $ E\left( U_1 \right) = \sum_{i=1}^n a_i \mu_{y_i} $
- $ V\left( U_1 \right) = \sum_{i=1}^n a_i^2 V \left( Y_i \right) + 2 \sum \sum_{1 \leq i < j \leq n} a_i a_j \operatorname{Cov} \left( Y_i, Y_j \right) $
( $ \sum \sum_{1 \leq i < j \leq n} $ 은 $ i < j $ 인 모든 쌍 $ (i , j) $ 에 대한 합 ) - $ \operatorname{Cov} \left( U_1, U_2 \right) = \sum_{i=1}^n \sum_{j=1}^m a_i b_j \operatorname{Cov} \left(Y_i, X_j \right) $
위 방법을 통해 공분산을 구하여 각 확률변수의 독립, 종속 여부도 확인 가능하다.
증명은 다음과 같은데, $ E\left( U_1 \right) = \sum_{i=1}^n a_i \mu_{y_i} $ 는 확률변수의 기댓값(참고링크)에 대한 부분을 통해 증명 가능하니 생략한다.
$ V\left( U_1 \right) = \sum_{i=1}^n a_i^2 V \left( Y_i \right) + 2 \sum \sum_{1 \leq i < j \leq n} a_i a_j \operatorname{Cov} \left( Y_i, Y_j \right) $ 에 대한 증명을 위해 분산의 정의를 활용한다.
$ V\left( U_1 \right) = E \left[ U_1 - E\left( U_1 \right) \right]^2 $
$ = E \left[ \sum_{i=1}^n a_i Y_i - \sum_{i=1}^n a_i \mu_{y_i} \right]^2 $
$ = E \left[ \sum_{i=1}^n a_i \left( Y_i - \mu_{y_i} \right) \right] ^2 $
$ = E \left[ \sum_{i=1}^n a_i^2 \left( Y_i - \mu_{y_i} \right) ^2 + \underbrace{\sum_{i=1}^n \sum_{i=1}^n}_{i \neq j} a_i a_j \left( Y_i - \mu_{y_i} \right) \left( Y_j - \mu_{y_j} \right) \right] $
$ = \sum_{i=1}^n a_i^2 E\left( Y_i -\mu_{y_i} \right)^2 + \underbrace{\sum_{i=1}^n \sum_{j=1}^n}_{i \neq j} a_i a_j E \left[ \left( Y_i - \mu_{y_i} \right) \left( Y_j - \mu_{y_j}\right) \right] $
분산과 공분산 정의에 의해 다음이 성립한다.
$ V \left( U_1 \right) = \sum_{i=1}^n a_i^2 V \left( Y_i \right) + \underbrace{\sum_{i=1}^n \sum_{j=1}^n}_{i \neq j} a_i a_j \operatorname{Cov} \left( Y_i, Y_j \right) $
$ \operatorname{Cov} \left( Y_i, Y_j \right) = \operatorname{Cov} \left( Y_j, Y_i \right) $ 이므로 다음이 성립한다.
$ V\left( U_1 \right) = \sum_{i=1}^n a_i^2 V \left( Y_i \right) + 2 \sum \sum_{1 \leq i < j \leq n} a_i a_j \operatorname{Cov} \left( Y_i, Y_j \right) $
$ \operatorname{Cov} \left( U_1, U_2 \right) = \sum_{i=1}^n \sum_{j=1}^m a_i b_j \operatorname{Cov} \left(Y_i, X_j \right) $ 를 증명할 때도 비슷한 과정을 이용한다.
$ \operatorname{Cov} \left( U_1, U_2 \right) = E \left[ U_1 - E(U_1) \right] \left[ U_2 - E(U_2) \right] $
$ = E \left[ \left( \sum_{i=1}^n a_i Y_i - \sum_{i=1}^n a_i \mu_{y_i} \right) \left( \sum_{j=1}^m b_j X_j - \sum_{j=1}^m b_j \mu_{x_j} \right) \right] $
$ = E \left( \left[ \sum_{i=1}^n a_i \left( Y_i - \mu_{y_i} \right) \right] \left[ \sum_{j=1}^m b_j \left( X_j - \mu_{x_j} \right) \right] \right) $
$ = E \left[ \sum_{i=1}^n \sum_{j=1}^m a_i b_j \left( Y_i - \mu_{y_i} \right) \left( X_j - \mu_{x_j} \right) \right] $
$ = \sum_{i=1}^n \sum_{j=1}^m a_j b_j E \left[ ( Y_i - \mu_{y_i} ) (X_j - \mu_{x_j} ) \right] $
$ = \sum_{i=1}^n \sum_{j=1}^m a_i b_j \operatorname{Cov} \left( Y_i, X_j \right) $
이때 $ \operatorname{Cov} \left(Y_i, Y_i \right) = V \left( Y_i \right) $ 이므로 앞선 $ V\left( U_1 \right) = \sum_{i=1}^n a_i^2 V \left( Y_i \right) + 2 \sum \sum_{1 \leq i < j \leq n} a_i a_j \operatorname{Cov} \left( Y_i, Y_j \right) $ 는 $ \operatorname{Cov} \left( U_1, U_2 \right) = \sum_{i=1}^n \sum_{j=1}^m a_i b_j \operatorname{Cov} \left(Y_i, X_j \right) $ 의 특수 형태임을 알 수 있다.
