[Regression Analysis] 이차형식(quadratic forms)의 분포

---

다변량정규분포 (Multivariate Normal Distribution)

 

확률벡터 $ \mathbf{y}^T = (y_1, y_2, \cdots, y_n) $ 의 기댓값이 $ \boldsymbol{\mu}_T = (\mu_1, \mu_2, \cdots, \mu_n) $ 이고 분산-공분산 행렬이 $ \mathbf{V} $ 이라 할 때 $ \mathbf{y}$ 가 다변량정규분포를 따른다면 이를 다음과 같이 표기한다.

$$ \mathbf{y} \sim N(\boldsymbol{\mu}, \mathbf{V}) $$

이때 $ \mathbf{V} $ 는 양의 정부호 행렬(positive definite matrix)이라 가정한다.

만약 $ \mathbf{y} \sim (\mathbf{0}_n, \mathbf{I}_n ) $ 이라면 $ \mathbf{y}^T \mathbf{y} $ 는 다음과 같이 자유도 $ n $ 의 카이제곱분포를 따른다.

$$ \mathbf{y}^T \mathbf{y} = \sum_{i=1}^n y_i^2 \sim \chi^2 (n) $$

즉 이차형식 $ \mathbf{y}^T \mathbf{I}_n \mathbf{y} $ 는 자유도 $ n $ 인 카이제곱분포를 따른다.

만약 두 개의 이차형식 $ Q_1 \sim \chi^2 (n_1) $ 과 $ Q_2 \sim \chi^2 (n_2) $ 가 서로 독립이면 다음과 같다.

$$ \frac{Q_1 / n_1}{Q_2 / n_2} \sim F(n_1, n_2) $$

또 다르게 만약 $ y \sim N(0, 1) $ 이고, 이차형식 $ Q \sim \chi^2 (n) $ 이며, 서로 독립이라면 다음과 같다.

$$ \frac{y}{\sqrt{Q/n}} \sim t(n) $$

 

---

비중심 카이제곱분포 (Noncentral Chi-square Distribution)

 

만약 $ \mathbf{y} \sim N(\boldsymbol{\mu}, \mathbf{I}_n) $ 이라면 $ \mathbf{y}^T \mathbf{y} $ 는 다음과 같이 비중심 카이제곱분포를 따른다.

$$ \mathbf{y}^T \mathbf{y} \sim \chi^2 (n, \lambda) $$

여기서 $ \lambda $ 는 비중심모수(noncentrality parameter)라 하며 $ \lambda = 1/2 \cdot \boldsymbol{\mu}^T \boldsymbol{\mu} $ 이다. 만약 $ \boldsymbol{\mu} = \mathbf{0}_n $ 이라면 $ \mathbf{y}^T \mathbf{y} \sim \chi^2 (n) $ 이다.

 

---

비중심 F-분포 (Noncentral F-Distribution)

 

만약 $ Q_1 \sim  \chi^2(n_1, \lambda) $ 로 비중심 카이제곱분포를 따르고 $ Q_2 \sim \chi^2(n_2) $ 로 카이제곱분포를 따른다면 다음이 성립한다.

$$ \frac{Q_1 / n_1}{Q_2 / n_2} \sim F(n_1, n_2, \lambda) $$

 

---

이차형식의 분포 (Distribution of Quadratic Forms)

 

증명보다 이차형식 분포의 특성에 대한 정리 위주로 서술하겠다.

• 정리 1

만약 $\mathbf{y} \sim N(\boldsymbol{\mu}, \mathbf{V}) $ 라면 다음이 성립한다.

$$ E(\mathbf{y}^T \mathbf{y}) = \operatorname{tr} (\mathbf{AV}) + \boldsymbol{\mu}^T A \boldsymbol{\mu} $$

$$ \quad \mathrm{Cov} (\mathbf{y}, \mathbf{y}^T \mathbf{A} \mathbf{y}) = 2 \mathbf{V} \mathbf{A} \boldsymbol{\mu} $$

$$ \quad \mathrm{Var}(\mathbf{y}^T \mathbf{y}) = 2 \operatorname{tr} (\mathbf{AV})^2 + 4 \boldsymbol{\mu}^T \mathbf{AVA} \boldsymbol{\mu} $$

$$ \mathbf{y}^T \mathbf{Ay} \sim \chi^2 \left( r(A), \frac{1}{2} \boldsymbol{\mu}^T \mathbf{A} \boldsymbol{\mu} \right) \Longleftrightarrow (\mathbf{AV})^2 = \mathbf{AV}$$

 

• 정리 2

$ \mathrm{y} \sim N(\mathbf{0}_n, \mathbf{I}_n) $ 라 하면 다음이 성립한다.

$$ \mathbf{y}^T \mathbf{Ay} \sim \chi^2 (p) \Longleftrightarrow (\mathbf{A})^2 = \mathbf{A} \text{ and } r (\mathbf{A}) = p $$

$ \mathrm{y} \sim N(\boldsymbol{\mu}, \mathbf{I}_n) $ 라 하면 다음이 성립한다.

$$ \mathbf{y}^T \mathbf{Ay} \sim \chi^2 \left(p, \frac{1}{2} \boldsymbol{\mu}^T \mathbf{A} \boldsymbol{\mu} \right) \Longleftrightarrow (\mathbf{A})^2 = \mathbf{A} \text{ and } r (\mathbf{A}) = p $$

 

• 정리 3

만약 $\mathbf{y} \sim N(\boldsymbol{\mu}, \mathbf{V}) $ 라면 다음이 성립한다.

$$ \mathbf{y}^T \mathbf{Ay} \perp\!\!\!\perp \mathbf{By} \Longleftrightarrow \mathbf{BVA} = \mathbf{0}_{n \times n} $$

$$ \mathbf{y}^T \mathbf{Ay} \perp\!\!\!\perp \mathbf{y}^T \mathbf{By} \Longleftrightarrow \mathbf{AVB} = \mathbf{0}_{n \times n} \text{ or } \mathbf{BVA} = \mathbf{0}_{n \times n} $$

 

• 정리 4

만약 $\mathbf{y} \sim N(\boldsymbol{\mu}, \mathbf{V}) $ 이고, $ \mathbf{A}_j $ $(r (\mathbf{A}_j) = k_j, j = 1, 2, \cdots, p) $ 가 대칭행렬이며, $ A = \sum_{j=1}^p A_j $ 도 역시 대칭행렬일 때 $ r(\mathbf{A}) = k $ 이라 가정하자.

그렇다면 아래가 성립하기 위한 필요충분조건에 대해 알아보자.

$$ \mathbf{y}^T \mathbf{A}_j \mathbf{y} \sim \chi^2 \left( k_j , \frac{1}{2} \boldsymbol{\mu}^T \mathbf{A}_j \boldsymbol{\mu} \right) $$

$$ \mathbf{y}^T \mathbf{A}_i \perp\!\!\!\perp \mathbf{y}^T \mathbf{A}_j \quad \forall \text{ } i \ne j $$

$$ \mathbf{y}^T \mathbf{A} \mathbf{y} \sim \chi^2 \left( k , \frac{1}{2} \boldsymbol{\mu}^T \mathbf{A} \boldsymbol{\mu} \right) $$

필요충분조건은 조건 1의 세 가지 조건 중 두 가지 이상 성립하거나 조건 2가 성립하는 것이다.

• 조건 1

$  (\mathbf{A}_j \mathbf{V})^2 = \mathbf{A}_j \mathbf{V} \quad \forall j $

$\mathbf{A}_i \mathbf{V} \mathbf{A}_j = \mathbf{0}_n \quad \forall \text{ } i < j$

$ (\mathbf{AV})^2 = \mathbf{AV} $

• 조건 2

$ (\mathbf{AV})^2 = \mathbf{AV} \text{ and } k = \sum_{j=1}^p k_j $

 

• 코크란 정리 (Cochran's theorem)

$ \mathbf{y} \sim N(\mathbf{0}_n, \mathbf{I}_n) $ 이고, $ \mathbf{A}_j $ $(j = 1, 2, \cdots, p) $ 가 대칭행렬이며, $ \sum_{j=1}^p \mathbf{A}_j = \mathbf{I}_n $ 이면 다음이 성립한다.

$$ \mathbf{y}^T \mathbf{A}_j \mathbf{y} \sim \chi^2 (k_j) $$

이때 서로 독립적으로 분포되기 위한 필요충분조건은 다음과 같다.

$$ \sum_{j=1}^p k_j = n $$