중심극한정리 (CLT, Central Limit Theorem)
큰 수의 법칙(LLN)을 통해 표본의 크기가 커질 때 표본평균이 모평균에 거의 확실히 수렴하는 것을 확인하였다. 그러나 표본평균의 분포가 어떤 분포로 수렴하는지는 확인하지 못하였다. 중심극한정리는 표본의 크기가 커질 때 표본평균의 분포를 설명하는 정리로 다음과 같다.
$ X_1, X_2, \cdots, X_n $ 이 $ E(X_i) = \mu $ 이고 $ V(X_i) = \sigma^2 < \infty $ 인 i.i.d. 확률변수라 가정하고, $ U_n $ 을 다음과 같이 가정하자.
$$ U_n = \dfrac{\sum_{i=1}^n X_i - n \mu}{\sigma \sqrt{n}} = \dfrac{\bar{X} - \mu}{\sigma / \sqrt{n}} $$
그렇다면 $ U_n $ 의 분포함수는 $ n \to \infty $ 일 때 표준정규분포함수에 수렴한다. 즉 모든 $ n $ 에 대하여 다음이 성립한다.
$$ \lim_{n \to \infty} P(U_n \leq u) = \int_{-\infty}^\infty \dfrac{1}{\sqrt{2\pi}} e^{-t^2 / 2} dt $$
풀어 설명하자면 $ n $ 이 충분히 크다면 $ U_n $ 에 관한 확률식을 표준정규확률변수에 대응하는 확률로 근사할 수 있다는 것이고, 좀 더 실용적으로 표현하자면 표본평균은 표본크기가 충분히 크다면 평균이 모평균이고 분산이 모분산을 표본크기로 나눈 값인 정규분포를 근사적으로 따른다고 할 수 있다. 보통 $ n $ 이 충분히 크다는 기준은 $ 30 $ 으로 잡는다.
이러한 중심극한정리는 모평균과 모분산이 유한하고 표본 크기가 크기만 하다면 어떤 확률 분포든 상관없이 사용할 수 있다는 장점 덕분에 큰 수의 법칙과 함께 통계학의 기둥으로 불린다.
더하여 모분산인 $ \sigma^2 $ 를 모를 때 $ X_1, X_2, \cdots, X_n $ 으로 얻어진 표본분산 $ S_n^2 $ 을 사용해도 중심극한 정리가 성립한다. 즉 앞선 가정을 동일하게 가져오고 $ U_n $ 을 다음과 같이 정의하자.
$$ U_n \dfrac{\bar{X} - \mu}{S_n / \sqrt{n}} $$
그렇다면 $ U_n $ 의 분포함수는 $ n \to \infty $ 일 때 표준정규분포 함수에 수렴한다. 이는 표본분산이 모분산의 일치 추정량(consistent estimators)이기 때문이다.
증명
$ X_1, X_2, \cdots, X_n $ 이 $ E(X_i) = \mu $ 이고 $ V(X_i) = \sigma^2 < \infty $ 인 i.i.d. 확률변수라 가정하고, $ U_n $ 을 다음과 같이 가정하자.
$$ U_n = \dfrac{\sum_{i=1}^n X_i - n \mu}{\sigma \sqrt{n}} = \sum_{i=1}^n \dfrac{1}{\sqrt{n}} \left( \dfrac{X_i-\mu}{\sigma} \right) = \sum_{i=1}^n \dfrac{1}{\sqrt{n}} Z_i $$
여기서 $ Z_i = (X_i - \mu) / \sigma $ 라 정의한다. 그러하면 $ X_i $ 는 i.i.d. 확률변수이므로 특성함수를 다음과 같이 나타낼 수 있다.
$$ \phi_{U_n}(t) = \phi _{\sum_{i=1}^n \frac{1}{\sqrt{n}} Z_i } (t) = \phi_{Z_1} \left( \dfrac{t}{\sqrt{n}} \right) \phi_{Z_2} \left( \dfrac{t}{\sqrt{n}} \right) \cdots \phi_{Z_n} \left( \dfrac{t}{\sqrt{n}} \right) = \left[ \phi_{Z_1} \left( \dfrac{t}{\sqrt{n}} \right) \right] ^n $$
테일러 정리를 사용하면 다음과 같다.
$$ \phi_{X_1} \left( \dfrac{t}{\sqrt{n}} \right) = 1 - \dfrac{t^2}{2n} + o \left( \dfrac{t^2}{n} \right) $$
따라서 다음이 성립한다.
$$ \lim_{n \to \infty} \phi_{U_n} (t) = \lim_{n \to \infty} \left[ 1 - \dfrac{t^2}{2n} + o \left( \dfrac{t^2}{n} \right) \right] ^n = e^{-\frac{t^2}{2}} $$
이때 우변은 $ N(0, 1) $, 즉 표준정규분포의 특성함수이다. 따라서 레비 연속성 정리에 의해 $ n \to \infty $ 할 때 $ U_n $ 의 분포는 표준정규분포로 분포수렴한다.
중심극한정리 적용 절차
- 관심 대상 확률변수인 표본평균 $ \bar{X} $ 를 구한다.
$$ \bar{X} = (X_1 + X_2 + \cdots + X_n) / n $$
- 다음 식을 이용하여 표본평균의 평균 $ E(\bar{X}) $ 와 표본평균의 분산 $ V(\bar{X}) $ 를 구한다.
$$ E(\bar{X}) = \mu \qquad \qquad V(\bar{X}) = \sigma^2 / n $$
- 중심극한정리에 따라 $ U_n = \frac{\bar{X} -= \mu}{\sigma / \sqrt{n}} $ 이 근사적으로 표준정규분포를 갖는다는 결론을 내릴 수 있고, 표준정규분포표를 활용하여 확률을 계산할 수 있다.
만약 표본평균이 아니라 확률변수의 합에 관심이 있다면 $ Y = X_1 + X_2 + \cdots + X_n $ 으로 놓고 $ E(Y) = n \mu $, $ V(Y) = n \sigma^2 $ 으로 놓고 계산하면 된다.
다변량 중심극한정리
$ \mathbf{Y}_1, \mathbf{Y}_2, \cdots, \mathbf{Y}_n $ 이 $ \mathbb{R}^k $ 의 i.i.d. 확률벡터라 하자. 여기서 $ \mathbf{Y}_i $ 와 $ \boldsymbol{\mu} $ 는 다음과 같다.
$$ \mathbf{Y}_i = \begin{bmatrix} Y_{1i} \\ Y_{2i} \\ \vdots \\ Y_{ki} \end{bmatrix} , \qquad \boldsymbol{\mu} = \begin{bmatrix} \mu_1 \\ \mu_2 \\ \vdots \\ \mu_k \end{bmatrix} = \begin{bmatrix} E(Y_{1i}) \\ E(Y_{2i}) \\ \vdots \\ E(Y_{ki}) \end{bmatrix} $$
그리고 공분산 행렬은 $ \mathbf{\Sigma} $ 이다.
$$ \bar{\mathbf{Y}}_n = \begin{bmatrix} \bar{Y}_1 \\ \bar{Y}_2 \\ \vdots \\ \bar{Y}_n \end{bmatrix} , \qquad \bar{Y}_i = \dfrac{1}{n} \sum_{i=1}^n Y_{ji} $$
$ \bar{\mathbf{Y}}_n $ 와 $ \bar{Y}_j $ 가 위와 같다면 $ \sqrt{n} \left( \bar{\mathbf{Y}}_n - \boldsymbol{\mu} \right) $ 의 분포함수는 $ N_k(\mathbf{0}, \mathbf{\Sigma}) $ 에 수렴한다.
