[Inferential Statistics] 가능도비 검정(likelihood ratio tests)

---

가능도비 검정 (Likelihood Ratio Tests)

 

가능도 함수를 $ L (x_1, x_2, \cdots, x_n \mid \theta_1, \theta_2, \cdots, \theta_k) = L(\boldsymbol{\theta}) $, $ (\boldsymbol{\theta} = (\theta_1, \theta_2, \cdots, \theta_k)) $ 로 표기하고, 모수공간(parameter space)을 $ \Omega $ 로 표기하겠다. 귀무가설은 $ H_0 : \boldsymbol{\theta} \in \Omega_0 $ 로 표기할 수 있고, 대립가설은 $ H_a : \boldsymbol{\theta} \in \Omega_a $ 로 표기할 수 있겠다. 전체 모수공간 $ \Omega = \Omega_0 \cup \Omega_a $ 이고, $ \Omega_0 \cap \Omega_a = \emptyset $ 이다.

가능도 상한은 다음과 같이 나타낸다.

$$ L(\hat{\Omega}_0) = \underset{\boldsymbol{\theta} \in \Omega_0}{\max} L(\boldsymbol{\theta}) $$

$ L(\hat{\Omega}_0) $ 이면 모든 $ \boldsymbol{\theta} in \Omega_0 $ 에 대해 관측된 자료에 대한 가장 좋은 설명이 되는 것이고, $L(\hat{\Omega})$ 이면 모든 $ \boldsymbol{\theta} in \Omega $ 에 대해 관측된 자료에 대한 가장 좋은 설명이 되는 것이다. 그렇다면 $ L(\hat{\Omega}_0) = L(\hat{\Omega}) $ 라면 관측된 자료에 대한 가장 좋은 설명을 $ \Omega_0 $ 에서 찾을 수 있으므로 $ H_0 $ 를 기각하지 않을 것이고, 반대로 $ L(\hat{\Omega}_0) < L(\hat{\Omega}) $ 이면 관측된 자료에 대한 가장 좋은 설명은 $ \Omega_a $ 에서 찾을 수 있으므로 $ H_0 $ 의 기각을 고려할 것이다.

가능도비 $ \lambda $ 를 다음과 같이 정의한다.

$$ \lambda = \frac{L(\hat{\Omega}_0)}{L(\hat{\Omega})} = \frac{\underset{\boldsymbol{\theta} \in \Omega_0}{\max} L(\boldsymbol{\theta})}{\underset{\boldsymbol{\theta} \in \Omega}{\max} L(\boldsymbol{\theta})} $$

$ H_0 : \boldsymbol{\theta} \in \Omega_0 $ 대 $ H_a : \boldsymbol{\theta} \in \Omega_a $ 의 가능도비 검정은 검정통계량으로 $ \lambda $ 를 사용하고, 기각역은 $ \lambda \leq k $ 로 결정된다. 앞서 말한바와 같이 $ \lambda $ 가 $0$ 에 가까우면 $ H_0 $ 를 기각할 가능성이 높아진다. $ k $ 는 $ \underset{\boldsymbol{\theta} \in \Omega}{\max} P(\lambda \leq k) = \alpha $ 에 의해 결정된다.

 

---

정칙조건 (Regularity Condition)

 

가능도비 검정이 잘 알려진 형태를 갖는 경우가 드물지 않기에 많은 경우 실제 문제에서 검정력 관점으로 볼 때 최선의 검정이 되지만, 항상 알려진 확률분포를 갖는 검정통계량을 만들어내는 것은 아니기에 주의가 필요하다.

대표본의 경우 기저 모집단 분포가 몇가지 합리적 정칙조건을 충족하면 $ \lambda $ 분포에 대한 근사가 가능한데, 많은 분포에 성립하는 일반 조건으로, 핵심 내용은 다음과 같다.

• 모수에 대하여 가능도 함수의 도함수가 존재한다.
• 가능도 함수가 양수가 되는 영역이 미지의 모수값에 의존하지 않는다.

 

---

대표본 가능도비 검정

 

$ X_1, X_2, \cdots, X_n $ 이 결합 가능도 함수 $ L(\boldsymbol{\theta}) $ 를 가진다고 하자. $ r_0 $ 를 $ H_0 : \boldsymbol{\theta} \in \Omega_0 $ 에 의해 정해지는 자유모수의 수라 하고, $ r $ 을 $ \boldsymbol{\theta} \in \Omega $ 에 의해 정해지면 자유모수의 수라 하자. 그렇다면 충분히 큰 표본의 수 $ n $ 에 대하여 $ - 2 \ln \lambda $ 는 근사적으로 자유도 $ r_0 - r $ 인 카이제곱분포를 따른다.

기존 가능도비 검정에서 기각역은 $ RR = \{ \lambda < k \} $ 였지만, $ - 2 \ln \lambda $ 는 $ \lambda $ 의 감소함수이기에 기각역은 $ RR = \{ -2 \ln \lambda > -2 \ln k = k^* \}$ 이다. 이때 $ \alpha $ 를 유의수준으로 설정한다면 $ k^* = \chi^2_\alpha $ 이다. 즉 기각역은 $ RR = \{ -2 \ln \lambda > \chi^2_\alpha \} $ 이다.

좋은 근사에 필요한 표본의 크기 $ n $ 은 경우마다 다르다는 점과 대표본 가능도비 검정은 $ \lambda $ 가 아니라 $ -2 \ln \lambda $ 를 사용한다는 것이 중요하다.