[Inferential Statistics] 최대가능도법(method of maximum likelihood)

---

최대가능도법 (Method of Maximum Likelihood)

 

가능도 함수가 $ k $ 개의 모수 $ \theta_1, \theta_2, \cdots, \theta_k $ 에 의존한다고 하자. 그렇다면 다음과 같다.

$$ \hat{\theta}_1, \hat{\theta}_2, \cdots, \hat{\theta}_k = \underset{(\theta_1, \theta_2, \cdots, \theta_k) \in \Theta}{\arg\max} L(x_1, x_2, \cdots, x_n \mid \theta_1, \theta_2, \cdots, \theta_k) $$

또는 벡터를 이용하여 다음과 같이 나타낼 수 있다.

$$ \boldsymbol{\hat{\theta}} = \underset{\boldsymbol{\theta} \in \Theta}{\arg\max} L(\mathbf{x} \mid \boldsymbol{\theta}) $$

여기서 $ \boldsymbol{\hat{\theta}} $ 를 최대가능도 추정량(MLE, maximum likelihood estimator)이라 한다.

참고로 가능도를 변형한 로그 가능도(log-likelihood)는 $ ll (\boldsymbol{\theta}) = \ln L(\boldsymbol{\theta}) = \sum_{i=1}^n \ln f(x_i \mid  \boldsymbol{\theta}) $ 이다.

다시 한번 주의해야 하는 것은 가능도는 $ \boldsymbol{\theta} $ 의 함수라는 것이다. 가능도를 $ L(\mathbf{x} \mid \boldsymbol{\theta} ) $ 로 쓰기 때문에 $ \mathbf{x} $ 의 함수처럼 보이기에 더욱 주의해야 한다. 이를 방지하기 위해 $ L(\boldsymbol{\theta} \mid \mathbf{x}) $ 또는 $ L(\boldsymbol{\theta}) $ 로 표현하기도 한다.

 

---

최대가능도 추정량과 충분통계량

 

$ U $ 가 모수 $\theta $ 의 추정을 위한 임의의 충분통계량이면 최대가능도 추정량은 항상 $ U $ 의 함수이다.

최대가능도 추정량이 관측된 표본에 의존하는 경로는 오직 충분통계량이다.

$ U $ 가 충분통계량이면 인수분해정리에 의해 가능도가 다음과 같이 인수분해되어야 한다.

$ L(\theta) = L(x_1, x_2, \cdots, x_n \mid \theta) = g(u \mid \theta) h(x_1, x_2, \cdots, x_n) $

$ \ln[L(\theta)] = \ln [g(u \mid \theta)] \ln[ h(x_1, x_2, \cdots, x_n) ]$

$ \underset{\theta}{\arg\max} L(\theta) = \underset{\theta}{\arg \max} \{ \ln[g(u \mid \theta) ] + \ln [ h(x_1, x_2, \cdots, x_n)] \} $

$ = \underset{\theta}{\arg \max} \{ \ln g(u \mid \theta) \} $

그러므로 $ \ln g( u \mid \theta) $ 는 오직 충분통계량 $ U $ 를 통해서만 자료에 의존한다.

그러므로 최대가능도 추정량은 항상 $ U $ 의 함수이다.

최대가능도 추정량이 편향추정량이더라도 불편추정량이 되도록 조정할 수 있으면 최종 추정량은 해당 모수의 최소분산 불편추정량이다.

 

---

최대가능도 추정량의 불변성 (Invariance)

 

최대가능도 추정량의 강점은 모수 $ \theta $ 의 함수 $ t(\theta) $ 에 대한 추정이다.

$ t(\theta) $ 가 $ \theta $ 의 일대일 함수이고, $ \hat{\theta} $ 이 $ \theta $ 의 최대가능도 추정량이면 $ t(\theta) $ 의 최대가능도 추정량은 $ \hat{t(\theta)} = t(\hat{\theta}) $ 이다.