가역성 (Reversibility) $P = (P_{ij})$ 를 어떤 마르코프 연쇄의 전이행렬이라 하자. $$\pi_i P_{ij} = \pi_j P_{ji}$$ 모든 $i, j$ 에 대하여 위를 만족하는 $\pi_i \geq 0$ 이고, $\sum_i \pi_i = 1$ 인 $\boldsymbol{\pi} = ( \pi_1, \pi_2, \cdots, \pi_M )$ 이 존재한다고 하자. 이 식을 가역성 조건 또는 세부균형(detailed balance) 조건이라 하며, 이 조건이 성립하면 마르코프 연쇄는 $\boldsymbol{\pi}$ 에 대해 가역적(reversible)이라 한다.정상분포에 따라 출발하는 경우, 가역 마르코프 연쇄는 시간 흐름과 관계없이, 즉 순방향이든, 역방..

정상분포 (Stationary Distribution) $\pi_i \geq 0$ 이고, $\sum_i \pi_i = 1$ 인 행 벡터 $\boldsymbol{\pi} = ( \pi_1, \pi_2, \cdots, \pi_M)$ 가 모든 $j$ 에 대하여 다음과 같다고 가정하자. $$\sum_i \pi_i P_{ij} = \pi_j$$ 그렇다면 $\boldsymbol{\pi}$ 를 전이행렬이 $P$ 인 마르코프 연쇄에 대한 정상분포라 한다. 정상분포는 정상상태분포(steady-state distribution), 정적분포, 안정상태분포라고도 한다.마르코프 연쇄의 장기적인 움직임, 즉 시간이 충분히 경과했을 때 수렴하는 확률 분포이다. 연쇄가 일시적 상태(transient states..

도달가능 및 상호도달가능 (Accessible and Communicate) 기본적으로 이항 관계(링크)에 대한 부분을 알고 있으면 도움된다. • 도달가능 (accessible)만일 상태 $i$ 에서 시작하여 결국 상태 $j$ 에 도착할 확률이 $0$ 보다 크면, 즉 $P_{ij}^{(n)} > 0$ 인 $n \in \mathbb{Z}_+$ 이 존재하면 상태 $j$ 는 상태 $i$ 에서 도달가능하다고 하며, $i \to j$ 라 표기한다. • 상호도달가능 (communicate)만일 상태 $i$ 와 상태 $j$ 에 대하여 $P_{ij}^{(n)} > 0$ 과 $P_{ji}^{(m)} > 0$ 인 $m, n \in \mathbb{Z}_+$ 이 존재하면 $ i ..

전이행렬 (Transition Matrix) 확률변수 열 $X_0, X_1, \cdots$ 을 유한상태공간 $S = \{ 1, 2, \cdots, M \}$ 를 갖는 마르코프 연쇄라 하고, 임의의 $i , j \in S$ 에 대하여 $P_{ij} = P(X_{n+1} = j \mid X_n = i )$ 를 상태 $i$ 에서 상태 $j$ 로의 전이확률이라 하자. 그렇다면 $M \times M$ 행렬 $P = \left(P_{ij} \right)$ 를 연쇄 전이행렬 또는 추이행렬이라 한다.전이확률이 음수가 될 수 없기 때문에 전이행렬은 비음행렬(nonnegative matrix)이고, 전이확률의 특성상 전이행렬의 임의의 행의 합은 $1$ 이다.예를 들어 날씨가 맑음, 흐름, ..

마르코프 성질 (Markov Property) 어떤 시점 $n \in T$ 에서 확률변수 열 $\{X_n\}_{n \in T}$ 의 모든 과거 상태 $X_0, X_1, \cdots, X_n$ 이 주어지더라도 $X_{n+1}$ 의 예측은 $X_n$ 에만 의존하는 경우 확률변수 열 $\{ X_n\}_{n \in T}$ 는 마르코프 성질을 갖는다고 한다.여기서 $T$ 는 관찰시점들의 총집합이다. 마르코프 연쇄 (Markov Chain) 상태공간 $S = \{ 0, 1, 2, \cdots, M \}$ 에 속한 값을 갖는 확률변수 열 $X_0, X_1, \cdots$ 이 모든 $n \geq 0$ 에 대해 다음 성질을 가진다 가정하자.$$ P(X_{n+1}  = j \mid X_n..

중심극한정리 (CLT, Central Limit Theorem) 큰 수의 법칙(LLN)을 통해 표본의 크기가 커질 때 표본평균이 모평균에 거의 확실히 수렴하는 것을 확인하였다. 그러나 표본평균의 분포가 어떤 분포로 수렴하는지는 확인하지 못하였다. 중심극한정리는 표본의 크기가 커질 때 표본평균의 분포를 설명하는 정리로 다음과 같다.$X_1, X_2, \cdots, X_n$ 이 $E(X_i) = \mu$ 이고 $V(X_i) = \sigma^2$$U_n = \dfrac{\sum_{i=1}^n X_i - n \mu}{\sigma \sqrt{n}} = \dfrac{\bar{X} - \mu}{\sigma / \sqrt{n}}$$그렇다면$ U_n $의 분포함수는$ n \to \infty $ 일 때..

큰 수의 법칙 (LLN, Law of Large Numbers) 큰 수의 법칙은 간단히 말하면 시행 횟수를 늘리면 실제 사건의 확률과 수학적 확률이 비슷해진다는 것을 말한다. 좀 더 자세히는 표본집단의 크기가 커지면 표본평균이 모평균과 가까워짐을 나타낸다.당연한 소리라 생각할 수 있지만, 이에 대한 증명을 통해 큰 수의 법칙이 맞다는 것이 확인되었기에 표본을 통해 모집단을 추론하는 통계학이 의미있다.단 코시 분포(Cauchy distribution)나 파레토 분포(Pareto distribution)와 같은 특수한 경우에는 사용하지 못한다는 한계가 존재하긴 한다. 큰 수의 약법칙 (WLLN, Weak Law of Large Numbers) $X_1, X_2, \cdots, X_n$ 이 유한한 $ E(..

레비 연속성 정리 (Lévy's Continuity Theorem) 확률변수의 열 $X_1, X_2, \cdots$ 에 대응하는 특성함수의 열을 $\phi_1, \phi_2, \cdots$ 이라 하자. 여기서 특성함수는 다음과 같이 정의된다. $$\phi_n(t) = E\left( e^{itX_n} \right) \qquad \forall t \in \mathbb{R} , \forall n \in \mathbb{N}$$ 만일 특성함수의 열이 어떤 함수 $\phi$ 로 점별수렴한다고 가정하자. 즉 다음이 성립한다고 가정하자. $$\lim_{n \to \infty} \phi_n (t) = \phi(t)$$ 그렇다면 아래 명제들은 모두 동치이다.$X_n$ 이 어떤 확률변수 $X$ 로 분포수렴..

특성함수 (Characteristic Function) 실수 $t$ 에 대해 확률변수 $X$ 에 대한 특성함수 $\phi_X (t)$ 는 다음과 같이 정의된다. $$\phi _X (t) = E \left( e^{itX} \right)$$ 이는 각 확률분포와 일대일대응되는 함수로 적률생성함수와 마찬가지로 이를 활용하여 기댓값이나 분산 등의 값을 얻어낼 수 있다. 일대일대응이기에 어떤 확률변수 $X$ 와 $Y$ 의 특성함수가 같다면 두 확률변수의 확률분포가 같다는 의미이고, 역으로 $X$ 와 $Y$ 의 확률분포가 같다면 특성함수 역시 같다.적률생성함수와 다른 점은 적률생성함수의 경우 일부 분포에 대해서는 존재하지 않을 수 있지만, 특성함수는 실수값에 대하여 항상 존재한다.독립인 두 ..

분포수렴 (Convergence in Distribution) $X_1, X_2, \cdots$ 이 확률변수의 열이며 $X$ 를 또다른 확률변수라 하고, $X_n$ 과 $X$ 의 분포함수(CDF)를 각각 $F_{X_n}$ 과 $F_X$ 로 나타내자. $$\lim_{n \to \infty} F_{X_n} (x) = F_X(x)$$ $F_X$ 가 연속인 모든 $x$ 에 대하여 위와 같다면 $X_n$ 이 $X$ 로 분포수렴한다고 하며 다음과 같이 표기한다. $$X_n \overset{d}{\to} X$$ 중심극한정리(CLT)가 분포 수렴의 가장 유명한 예이다. 확률수렴 (Convergence in Probability) $X_1, X_2, \cdots$ 이 확률변수의 열..