[Mathematical Statistics] 표본평균과 표본분산의 표집분포

---

표본평균의 표집분포

 

$ X_1, X_2, \cdots, X_n $ 이 평균이 $ \mu $ 이고, 분산이 $ \sigma^2 $ 인 정규분포에서의 크기가 $ n $ 인 확률분포라 할 때 표본평균인 $ \bar{X} $ 는 평균이 $ \mu_{\bar{X}} = \mu $ 이고, 분산이 $ \sigma_{\bar{X}}^2 = \dfrac{\sigma^2}{n} $ 인 정규분포를 따른다. 즉 다음과 같다.

$$ \bar{X} \sim N \left(\mu, \frac{\sigma^2}{n} \right) $$

$ X_1, X_2, \cdots, X_n $ 은 평균이 $ \mu $ 이고 분산이 $ \sigma^2 $ 인 정규분포에서의 크기가 $ n $ 인 확률표본이기에 $ X_i $ 는 독립이고, $ E(X_i) = \mu $ 이고 $ V(X_i) = \sigma^2 $ 인 정규분포를 따르는 확률변수이다.

또한 $ \bar{X} $ 는 다음과 같다.

$ \bar{X} = \frac{1}{n} \sum_{i=1}^n X_i = \frac{1}{n} X_1 + \frac{1}{n} X_2 + \cdots + \frac{1}{n} X_n $

즉 $ \bar{X} $ 는 $ X_1, X_2, \cdots, X_n $ 의 선형결합이다. 그러므로 다음과 같다.

$ E(\bar{X}) = E \left[ \frac{1}{n} X_1 + \frac{1}{n} X_2 + \cdots + \frac{1}{n} X_n \right] = \frac{1}{n} \times n \times \mu = \mu $

$ V(\bar{X}) = V \left[ \frac{1}{n} X_1 + \frac{1}{n} X_2 + \cdots + \frac{1}{n} X_n \right] = {\frac{1}{n}}^2 \times n \times \sigma^2 = \frac{1}{n} \times \sigma = \frac{\sigma^2}{n} $

즉 $ \bar{X} $ 의 표집분포는 평균이 $ \mu_{\bar{X}} = \mu $ 이고 분산이 $ \sigma^2_{\bar{X}} = \sigma^2 / n $ 인 정규분포이다.

나아가 이를 통해 만드는 $ Z $ 가 다음과 같다면 $ Z $ 는 표준정규분포를 따른다.

$$ Z = \dfrac{\bar{X}-\mu_{\bar{X}}}{\sigma_{\bar{X}}} = \dfrac{\bar{X} - \mu}{\sigma / n} \sim N(0, 1) $$

 

---

표본분산의 표집분포

 

$ X_1, X_2, \cdots, X_n $ 이 평균이 $ \mu $ 이고, 분산이 $ \sigma^2 $ 인 정규분포에서의 크기가 $ n $ 인 확률분포라 할 때, $ Z_i = \dfrac{X_i - \mu}{\sigma} $ $(i = 1, 2, \dots, n) $ 는 각각 독립이며 표준정규확률변수이고 $ Z_i $ 의 제곱의 합을 다음과 같이 나타낸다면 이는 자유도가 $ n $ 인 카이제곱분포를 따른다.

$$ \sum_{i=1}^n Z_i^2 = \sum_{i=1}^n \left( \dfrac{X_i - \mu}{\sigma} \right) ^2 \sim \chi^2 (n) $$

앞서 표본평균의 표집분포에서 $ Z_i = \frac{X_i - \mu}{\sigma} $ 가 표준정규분포를 따르는 것을 확인하였다.

이때 $ Z_i ^2 $ 의 적률생성함수는 다음과 같다.

$ M_{Z_i^2}(t) = E(e^{tZ_i^2}) = \int_{-\infty}^\infty e^{tz_i^2} f(z_i)dz_i $

$ = \int_{-\infty}^\infty \frac{1}{\sqrt{2\pi}} \exp \left(-\frac{z_i}{2}(1-2t)\right) dz_i $

만약 $ 1-2t > 0 $ 이면 피적분함수는 다음과 같다.

$ \frac{1}{\sqrt{2\pi}} \exp \left(-\frac{z_i}{2}(1-2t)\right) = \frac{1}{\sqrt{2\pi}} \exp \left(-\frac{z_i}{2}/(1-2t)^{-1}\right) $

즉 평균이 $ 0 $ 이고 분산이 $ (1-2t)^{-1} $ 인 정규확률변수의 밀도함수에 비례한다. 분모와 분자에 분산인 $ (1-2t)^{-1} $ 을 곱하고 계산하면 적률생성함수는 다음과 같다.

$ M_{Z_i^2}(t) = \dfrac{1}{(1-2t)^{1/2}} = (1-2t)^{-1/2} $

이는 $ \alpha = 1/2 $ 이고 $ \beta = 2 $ 인 감마분포를 따르는 확률변수의 적률생성함수와 같다. 즉 $ Z_i^2 $ 은 자유도 $ v $ 가 $ 1 $ 인 $ \chi^2 $ 분포를 따른다.

나아가 이를 통해 만들어지는 다음의 통계량 $ \chi^2 $ 은 자유도가 $ (n-1) $ 인 카이제곱분포를 따른다.

$$ \chi^2 = \dfrac{(n-1)S^2}{\sigma^2} = \sum_{i=1}^n \left( \dfrac{X_i - \bar{X}}{\sigma}\right)^2 \sim \chi^2(n-1) $$

$ S^2 = \frac{1}{n-1} \sum_{i=1}^n (X_i - \bar{X})^2 $

$ \sum_{i=1}^n (X_i - \mu)^2 = \sum_{i=1}^n (X_i - \bar{X})^2 + n(\bar{X}-\mu)^2 $

양변을 $ \sigma^2 $ 으로 나누면 다음과 같다.

$ \frac{1}{\sigma^2} \sum_{i=1}^n (X_i - \mu)^2 = \frac{1}{\sigma^2} \sum_{i=1}^n (X_i - \bar{X})^2 + \frac{n}{\sigma^2} (\bar{X}-\mu)^2 $

다시 쓰면 다음과 같다.

$ \sum_{i=1}^n \frac{(X_i-\mu)^2}{\sigma^2} = \frac{(n-1)S^2}{\sigma^2} + \frac{(\bar{X}-\mu)^2}{\sigma^2/n} $

이때 $ Z_1, Z_2, \cdots, Z_n $ 이 독립이므로 $ \sum_{i=1}^n \frac{(X_i-\mu)^2}{\sigma^2} \sim \chi^2 (n) $ 이고, $ \frac{(\bar{X}-\mu)^2}{\sigma^2/n} \sim \chi^2 (1) $ 이다.

$ \frac{(n-1)S^2}{\sigma^2} $ 의 분포를 확인하기 위해 좌변을 $ W $ 라 할 때 우변에 의한 $ W $ 의 적률생성함수를 보면 다음과 같다.

$ M_W(t) = E \left( \exp \left( t \frac{(n-1)S^2}{\sigma^2} \right) \cdot \exp \left( t Z^2 \right) \right) $

$ = M_{\frac{(n-1)S^2}{\sigma^2}}(t) \cdot M_{Z^2}(t) $

이때 $ W \sim \chi^2(n) $ 이고, $ Z^2 \sim \chi^2 (1) $ 이므로 다음과 같다.

$ (1-2t)^{-n/2} = M_{\frac{(n-1)S^2}{\sigma^2}}(t) \cdot (1-2t)^{-1/2} $

즉 이항하면 다음과 같다.

$ M_{\frac{(n-1)S^2}{\sigma^2}}(t) = (1-2t)^{-n/2} \cdot (1-2t)^{1/2} = (1-2t)^{-(n-1)/2} $

그러므로 $ \frac{(n-1)S^2}{\sigma^2} \sim \chi^2 (n-1) $ 이다.