마르코프 성질 (Markov Property)
어떤 시점 $ n \in T $ 에서 확률변수 열 $ \{X_n\}_{n \in T} $ 의 모든 과거 상태 $ X_0, X_1, \cdots, X_n $ 이 주어지더라도 $ X_{n+1} $ 의 예측은 $ X_n $ 에만 의존하는 경우 확률변수 열 $\{ X_n\}_{n \in T} $ 는 마르코프 성질을 갖는다고 한다.
여기서 $ T $ 는 관찰시점들의 총집합이다.
마르코프 연쇄 (Markov Chain)
상태공간 $ S = \{ 0, 1, 2, \cdots, M \} $ 에 속한 값을 갖는 확률변수 열 $ X_0, X_1, \cdots $ 이 모든 $ n \geq 0 $ 에 대해 다음 성질을 가진다 가정하자.
$$ P(X_{n+1} = j \mid X_n = i, X_{n-1} = i_{n-1}, \cdots, X_0 = i_0 ) = P(X_{n+1} = j \mid X_n = i) $$
즉 확룰변수 열이 마르코프 성질을 가진다면 확률변수 열 $ X_0, X_1, \cdots $ 을 마르코프 연쇄라 한다. 영어 그대로 읽어 마르코프 체인이라 하기도 한다.
여기서 상태 공간 $ S $ 는 $ X_n $ 의 가능한 모든 값들의 집합이다.
쉽게 예를 들자면 날씨가 맑음, 흐름, 비로 세 가지 상태가 있다고 하자. 맑을 때는 다음날도 맑을 확률이 $0.7$, 흐릴 확률은 $ 0.2 $, 비가 올 확률은 $ 0.1 $ 이고, 만약 날이 흐리다면 다음날 맑을 확률은 $ 0.3 $, 흐릴 확률은 $0.4$, 비가 올 확률은 $0.3 $ 이며, 만약 비가 온다면 다음날 맑을 확률은 $ 0.2$, 흐릴 확률은 $0.5$, 비가 또 올 확률은 $0.3 $ 이라 가정하자. 그렇다면 내일 날씨는 오늘 날씨에만 영향을 받지, 그저께 날씨, 혹은 그 전 날씨에는 영향을 받지 않는다. 즉 이 상황에서 날씨는 마르코프 성질을 가지고, 마르코프 연쇄로 모델링 할 수 있다. 여기서 상태 공간은 $ S = \{ \text{sunny}, \text{cloud}, \text{rainy} \} $ 일 것이다.
참고로 마르코프 연쇄는 그 정의에서도 짐작할 수 있겠지만, 상태 공간 $ S $ 와 관찰시점 집합 $ T $ 가 모두 이산적인 경우에 한정하여 마르코프 연쇄라 한다. 상태 공간이나 관찰시점 집합이 연속적이라면 일반화된 용어인 마르코프 과정(Markov process)라 한다. 어떤 경우에는 상태 공간만 이산적이라면 마르코프 연쇄라 하기도 하지만, 이때도 연속시간 마르코프 연쇄라고 하여 이산시간 마르코프 연쇄와 구분해준다.
이러한 마르코프 연쇄는 차수를 확장할 수 있다.
$ 0 $ 차 마르코프 연쇄는 현재 상태에 의존하지 않는 상태로 $ P(X_{n+1} = j \mid X_n = i, X_{n-1} = i_{n-1}, \cdots, X_0 = i_0) = P(X_{n+1}) $ 이다. 즉 사실상 서로 독립인 확률변수 열에 해당한다.
$ 1 $ 차 마르코프 연쇄는 조건이 늘어 $ P(X_{n+1} = j \mid X_n = i, X_{n-1} = i_{n-1}, \cdots, X_0 = i_0) = P(X_{n+1} \mid X_n = i ) $ 이어야 한다. 앞서 정의한 표준 마르코프 연쇄이다.
$ 2 $ 차 마르코프 연쇄는 조건이 하나 더 늘어 $ P(X_{n+1} = j \mid X_n = i, X_{n-1} = i_{n-1}, \cdots, X_0 = i_0) = P(X_{n+1} = j \mid X_n = i, X_{n-1} = i_{n-1}) $ 이어야 한다. 즉 차수가 증가할 수록 조건이 붙는다.
전이확률 (Transition Probability)
전이확률은 상태 $ i $ 에서 다음 단계에 상태 $ j $ 로 갈 확률을 말하고, $ P_{ij} $ 로 표기한다. 즉 다음과 같다.
$$ P_{ij} = P(X_{n+1} =j \mid X_n = i) $$
참고로 당연하겠지만, $ P_{ij} \geq 0 $, $ (\forall i, j) $ 이어야 하고, $ \sum_{\forall j} P_{ij} = 1 $ 이어야 한다.
$n $ 단계 전이확률은 상태 $ i $ 에서 $ n $ 단계 후 상태 $ j $ 로 갈 확률을 말하고, $ P_{ij}^{(n)} $ 로 표기한다. 즉 현재 시간단계가 $ m $ 일 때 다음과 같다.
$$ P_{ij}^{(n)} = P(X_{m+n} = j \mid X_m = i ) $$
