정상분포 (Stationary Distribution)
$ \pi_i \geq 0 $ 이고, $ \sum_i \pi_i = 1 $ 인 행 벡터 $ \boldsymbol{\pi} = ( \pi_1, \pi_2, \cdots, \pi_M) $ 가 모든 $ j $ 에 대하여 다음과 같다고 가정하자.
$$ \sum_i \pi_i P_{ij} = \pi_j $$
그렇다면 $ \boldsymbol{\pi} $ 를 전이행렬이 $ P $ 인 마르코프 연쇄에 대한 정상분포라 한다. 정상분포는 정상상태분포(steady-state distribution), 정적분포, 안정상태분포라고도 한다.
마르코프 연쇄의 장기적인 움직임, 즉 시간이 충분히 경과했을 때 수렴하는 확률 분포이다. 연쇄가 일시적 상태(transient states)에 머물수도 있으나 궁극적으로는 재귀적 상태(recurrent states)에 머물게 될 것이다. 이때 재귀적 상태에 머무는 시간의 비율이 정상분포이다. 만약 초기 분포가 정상분포 $ \boldsymbol{\pi} $ 라면 그 마르코프 연쇄는 영원히 정상분포에 머무르게 된다.
행렬로는 다음과 같이 표기한다.
$$ \boldsymbol{\pi} P = \boldsymbol{\pi} $$
즉 정상분포 $ \boldsymbol{\pi} $ 는 전이행렬 $ P $ 의 좌고유벡터이며, 고유값은 $ 1 $ 이다.
참고로 정상분포는 조건부 확률분포가 아니라 주변확률분포(marginal probability distribution)이다. 마르코프 연쇄에서 정상분포는 앞서 말한바와 같이 시간이 지나도 변하지 않는 확률분포이다. 즉 $ X_t $ 가 마르코프 연쇄를 따른다면 모든 시점 $ t $ 에 대해 $ P(X_t = i) = \pi_i $ 를 만족한다. 이때 $ P(X_t = i) $ 는 특정 시점 $ t $ 에서 상태 $ i $ 일 확률로 주변 확률분포이다.
만약 마르코프 연쇄가 정상분포에서 시작하면 $ X_n $ 의 주변확률분포는 모두 동일할 것이다. 단 $ X_n $ 이 같다는 것은 아니다.
$ X_0, X_1, \cdots $ 가 정상분포 $ \boldsymbol{\pi} $ 를 갖는 기약 마르코프 연쇄라 하고, $ r_i $ 를 상태 $ i $ 에서 출발하여 다시 상태 $ i $ 로 돌아오기까지 걸리는 기대시간이라 하면 $ \pi_i = 1 / r_i $ 이다.
정상분포의 존재와 고유성
임의의 기약 마르코프 연쇄에 대하여 고유한 정상분포가 존재한다. 즉 정상분포를 구할 수 있다. 이 분포에서 각 상태는 양의 확률을 갖는다.
$ A $ 를 모든 $ i $ 와 $ j $ 에 대하여 $ (A)_{ij} \geq 0 $ 이고 각 행의 합이 $ 1 $ 인 정사각행렬이라 하자. 그리고 모든 $ i $ 와 $ j $ 에 대하여 $ (A^k)_{ij} > 0 $ 인 $ k\geq 1 $ 이 존재한다고 하자. 그렇다면 페론-프로베니우스 정리(Perron-Frobenius theorem)에 따라 $ A $ 의 최대 고유값은 $ 1 $ 이며, 이에 대응하는 성분이 모두 양수인 고유벡터가 존재한다.
정상분포로의 수렴
$ X_0, X_1, \cdots $ 가 정상분포 $ \boldsymbol{\pi} $ 와 전이행렬 $ P $ 를 갖는 기약 비주기 마르코프 연쇄이면 $ P(X_n = i ) $ 는 $ n \to \infty $ 할 때 $ \pi_i $ 에 수렴한다. 전이행렬로 보면 $ P^n $ 이 각 행이 $ \boldsymbol{\pi} $ 인 행렬로 수렴한다.
즉 기약 비주기 마르코프 연쇄이면 초기 상태에 상관없이 $ n \to \infty $ 할 때 $ P(X_n = i) \to \pi_i $ 이다. $ X_n $ 의 주변확률분포가 장기적으로 정상분포 $ \boldsymbol{\pi} $ 로 수렴한다는 뜻이며, 장기적으로 연쇄가 상태 $ i $ 에 있을 확률이 정상확률(stationary probability) $ \pi_i $ 에 가까워진다는 뜻이다.
참고로 마르코프 연쇄가 기약 비주기 연쇄이기 위한 필요충분조건은 다음과 같다.
$$ \exists k \geq 1 \text{ s.t. } (P^k)_{ij} > 0 \text{ } \forall i, j \in S $$
