[Mathematical Statistics] 전이행렬(transition matrix) 및 n단계 전이확률 그리고 채프먼-콜모고로프 방정식(Chapman–Kolmogorov equation)

---

전이행렬 (Transition Matrix)

 

확률변수 열 $ X_0, X_1, \cdots $ 을 유한상태공간 $ S = \{ 1, 2, \cdots, M \} $ 를 갖는 마르코프 연쇄라 하고, 임의의 $ i , j \in S $ 에 대하여 $ P_{ij} = P(X_{n+1} = j \mid X_n = i ) $ 를 상태 $ i $ 에서 상태 $ j $ 로의 전이확률이라 하자. 그렇다면 $ M \times M $ 행렬 $ P = \left(P_{ij} \right) $ 를 연쇄 전이행렬 또는 추이행렬이라 한다.

전이확률이 음수가 될 수 없기 때문에 전이행렬은 비음행렬(nonnegative matrix)이고, 전이확률의 특성상 전이행렬의 임의의 행의 합은 $ 1 $ 이다.

예를 들어 날씨가 맑음, 흐름, 비로 세 가지 상태가 있다고 하자. 맑을 때는 다음날도 맑을 확률이 $0.7$, 흐릴 확률은 $ 0.2 $, 비가 올 확률은 $ 0.1 $ 이고, 만약 날이 흐리다면 다음날 맑을 확률은 $ 0.3 $, 흐릴 확률은 $0.4$, 비가 올 확률은 $0.3 $ 이며, 만약 비가 온다면 다음날 맑을 확률은 $ 0.2$, 흐릴 확률은 $0.5$, 비가 또 올 확률은 $0.3 $ 이라 가정하자. 그렇다면 상태 공간은 $ S = \{ \text{sunny}, \text{cloud}, \text{rainy} \} = \{ s, c, r \} $ 일 것이다.

이를 전이행렬로 표현하면 다음과 같다.

$$ P = \begin{matrix} \begin{array}{c|ccc} & s & c & r \\ \hline s & P_{ss} & P_{sc} & P_{sr} \\ c & P_{cs} & P_{cc} & P_{cr} \\ r & P_{rs} & P_{rc} & P_{rr} \end{array} \end{matrix} = \begin{matrix} \begin{array}{c|ccc} & s & c & r \\ \hline s & 0.7 & 0.2 & 0.1 \\ c & 0.3 & 0.4 & 0.3 \\ r & 0.2 & 0.5 & 0.3 \end{array} \end{matrix} $$

각 노드가 상태공간이고, 각 노드에서 다른 노드로의 방향 간선에 전이확률을 나타내는 방향 그래프로 표현하면 아래와 같다.

 

---

$n$단계 전이확률 (n-step Transition Probability)

 

상태 $ i $ 에서 상태 $ j $ 로의 $ n $단계 전이확률이란 상태 $ i $ 에서 정확히 $ n $단계 후에 상태 $ j $ 에 있게 되는 확률이다. 이것을 $ P_{ij}^{(n)} $ 으로 나타내며 현재 시간단계가 $ m $ 일 때 다음과 같다.

$$ P_{ij}^{(n)} = P(X_{m+n} = j \mid X_m = i) $$

이를 전이행렬을 이용하여 계산할 수 있다. $n $단계 전이확률 $ P_{ij} $ 는 전이행렬 $ P $ 의 $ n $ 거듭제곱의 $(i, j) $ 위치 원소이다. 즉 다음과 같다.

$$ P_{ij}^{(n)} = P(X_{m+n}= j \mid X_m = i) = (P^n)_{ij} $$

$ P^2 = P^T P $ 라는 것과 $ (P^2)_{ij} = \sum_k P_{ik} P_{kj} $ 라는 것을 기억하자.

$ P_{ik} P_{kj} $ 는 상태 $ i $ 에서 다음 단계에 특정 상태 $ k $ 로 갔다가 그 다음 단계에 상태 $ j $ 로 가는 확률이다. 따라서 $ \sum_k P_{ik} P_{kj} $ 는 상태 $ i $ 에서 시작하여 다음 단계에 도달 가능한 임의의 상태 $ k $ 로 갔다가 그 다음 단계에 상태 $ j $ 로 가는 확률들의 합이다.

즉 그림으로 보면 위와 같다.

수식으로 본다면 다음과 같을 것이다.

$ P_{ij}^{(1)} = P_{ij} $

$ P_{ij}^{(2)} = P(X_{m+2} =j \mid X_m = i) $

$ = \sum_k P(X_{m+2} = j , X_{m+1} = k \mid X_m = i) $

이때 $ P(X_{m+2} = j , X_{m+1} = k \mid X_m = i) $ 는 다음과 같다.

$ P(X_{m+2} = j , X_{m+1} = k \mid X_m = i) = \dfrac{P(X_{m+2} = j , X_{m+1} = k, X_m = i)}{P(X_m = i)} $

$ = \dfrac{P(X_{m+2} = j \mid X_{m+1} = k, X_m = i) P(X_{m+1} = k, X_m = i)}{P(X_m = i)} $

$ = \dfrac{P(X_{m+2} = j \mid X_{m+1} = k, X_m = i) P(X_{m+1} = k \mid X_m = i) P(X_m = i)}{P(X_m = i)} $

$ = P(X_{m+2} = j \mid X_{m+1} = k, X_m = i) P(X_{m+1} = k \mid X_m = i) $

$ = P_{ik} P_{kj} $

따라서 다음이 성립한다.

$ \sum_k P(X_{m+2} = j , X_{m+1} = k \mid X_m = i)  = \sum_{k} P_{ik} P_{kj} $

같은 방법으로 $ P_{ij}^{(n)} $ 에 대해서도 증명 가능하다.

 

---

채프먼-콜모고로프 방정식 (Chapman–Kolmogorov Equation)

 

$ P = (P_{ij}) $ 를 전이행렬이라 하면 모든 정수 $ m, n \geq 0 $ 에 대하여 다음이 성립한다.

$$ P_{ij}^{(m+n)} = \sum_k P_{ik}^{(m)} P_{kj}^{(n)} $$

$ P_{ij}^{(n)} = P(X_{m+n} = j \mid X_m = i) $

$ = sum_k P(X_{m+n} = j , X_m = k \mid X_0 = i) $

$ = \sum_k P(X_{m+n} = j \mid X_m = k, X_0 =i) P(X_m = k \mid X_0 = i) $

$ = \sum_k P_{ik}^{(m)} P_{kj}^{(n)} $

 

---

전이행렬과 주변분포

 

전이행렬 $ P $ 는 연쇄의 초기조건에 조건부된 $ X_1 $ 의 조건부 분포를 나타낸 것으로도 볼 수 있다. 예를 들어서 $ P $ 의 $ i $ 번째 행 벡터는 $ X_0 = i $ 가 주어졌을 때 $ X_1 $ 의 조건부 확률질량함수로 볼 수 있고, $ P^n $ 의 $ i $ 번째 행 벡터는 $ X_0 = i $ 가 주어졌을 때 $ X_n $ 의 조건부 확률질량함수로 볼 수 있을 것이다.

$ X_0, X_1, X_2, \cdots $ 의 주변확률분포를 구하려면 전이행렬 외 연쇄의 초기조건(initial condition)이 필요하다. 행 벡터 $ \mathbf{t} = (t_1, t_2, \cdots, t_m) $ 는 초기상태인 $ X_0 $ 의 확률질량함수이다. 즉 $ t_i = P(X_0 = i) $ 이다. 그렇다면 주변분포는 전확률의 법칙(링크)을 이용하여 전이행렬에서 가능한 모든 상태에 대해 평균하여 계산 가능하다.

결론적으로 $ t_i = P(X_0 = i) $ 에 의해 $ \mathbf{t} = (t_1, t_2, \cdots, t_m) $ 을 정의하고 $ \mathbf{t} $ 를 행 벡터라 한다면 $ X_n $ 의 주변확률분포는 벡터 $ \mathbf{t} P^n $ 이다. 즉 $ \mathbf{t} P^n $ 의 $ j $ 번째 성분은 $ P(X_n = j ) $ 이다.

$P(X_n = j) = \sum_i P(X_0 = i) P(X_n = j \mid X_0 = i) $

$ = \sum_i t_i P_{ij}^{(n)} $

$ = \mathbf{t} P^n $