수리통계학

가역성 (Reversibility) $ P = (P_{ij}) $ 를 어떤 마르코프 연쇄의 전이행렬이라 하자.$$ \pi_i P_{ij} = \pi_j P_{ji} $$모든 $i, j $ 에 대하여 위를 만족하는 $ \pi_i \geq 0 $ 이고, $ \sum_i \pi_i = 1 $ 인 $ \boldsymbol{\pi} = ( \pi_1, \pi_2, \cdots, \pi_M ) $ 이 존재한다고 하자. 이 식을 가역성 조건 또는 세부균형(detailed balance) 조건이라 하며, 이 조건이 성립하면 마르코프 연쇄는 $ \boldsymbol{\pi} $ 에 대해 가역적(reversible)이라 한다.정상분포에 따라 출발하는 경우, 가역 마르코프 연쇄는 시간 흐름과 관계없이, 즉 순방향이든, 역방..

정상분포 (Stationary Distribution) $ \pi_i \geq 0 $ 이고, $ \sum_i \pi_i = 1 $ 인 행 벡터 $ \boldsymbol{\pi} = ( \pi_1, \pi_2, \cdots, \pi_M) $ 가 모든 $ j $ 에 대하여 다음과 같다고 가정하자.$$ \sum_i \pi_i P_{ij} = \pi_j $$그렇다면 $ \boldsymbol{\pi} $ 를 전이행렬이 $ P $ 인 마르코프 연쇄에 대한 정상분포라 한다. 정상분포는 정상상태분포(steady-state distribution), 정적분포, 안정상태분포라고도 한다.마르코프 연쇄의 장기적인 움직임, 즉 시간이 충분히 경과했을 때 수렴하는 확률 분포이다. 연쇄가 일시적 상태(transient states..

도달가능 및 상호도달가능 (Accessible and Communicate) 기본적으로 이항 관계(링크)에 대한 부분을 알고 있으면 도움된다. • 도달가능 (accessible)만일 상태 $ i $ 에서 시작하여 결국 상태 $ j $ 에 도착할 확률이 $ 0 $ 보다 크면, 즉 $ P_{ij}^{(n)} > 0 $ 인 $ n \in \mathbb{Z}_+ $ 이 존재하면 상태 $ j $ 는 상태 $ i $ 에서 도달가능하다고 하며, $ i \to j $ 라 표기한다. • 상호도달가능 (communicate)만일 상태 $ i $ 와 상태 $ j $ 에 대하여 $ P_{ij}^{(n)} > 0 $ 과 $ P_{ji}^{(m)} > 0 $ 인 $ m, n \in \mathbb{Z}_+ $ 이 존재하면 $ i ..

전이행렬 (Transition Matrix) 확률변수 열 $ X_0, X_1, \cdots $ 을 유한상태공간 $ S = \{ 1, 2, \cdots, M \} $ 를 갖는 마르코프 연쇄라 하고, 임의의 $ i , j \in S $ 에 대하여 $ P_{ij} = P(X_{n+1} = j \mid X_n = i ) $ 를 상태 $ i $ 에서 상태 $ j $ 로의 전이확률이라 하자. 그렇다면 $ M \times M $ 행렬 $ P = \left(P_{ij} \right) $ 를 연쇄 전이행렬 또는 추이행렬이라 한다.전이확률이 음수가 될 수 없기 때문에 전이행렬은 비음행렬(nonnegative matrix)이고, 전이확률의 특성상 전이행렬의 임의의 행의 합은 $ 1 $ 이다.예를 들어 날씨가 맑음, 흐름, ..

마르코프 성질 (Markov Property) 어떤 시점 $ n \in T $ 에서 확률변수 열 $ \{X_n\}_{n \in T} $ 의 모든 과거 상태 $ X_0, X_1, \cdots, X_n $ 이 주어지더라도 $ X_{n+1} $ 의 예측은 $ X_n $ 에만 의존하는 경우 확률변수 열 $\{ X_n\}_{n \in T} $ 는 마르코프 성질을 갖는다고 한다.여기서 $ T $ 는 관찰시점들의 총집합이다. 마르코프 연쇄 (Markov Chain) 상태공간 $ S = \{ 0, 1, 2, \cdots, M \} $ 에 속한 값을 갖는 확률변수 열 $ X_0, X_1, \cdots $ 이 모든 $ n \geq 0 $ 에 대해 다음 성질을 가진다 가정하자.$$ P(X_{n+1}  = j \mid X_n..

중심극한정리 (CLT, Central Limit Theorem) 큰 수의 법칙(LLN)을 통해 표본의 크기가 커질 때 표본평균이 모평균에 거의 확실히 수렴하는 것을 확인하였다. 그러나 표본평균의 분포가 어떤 분포로 수렴하는지는 확인하지 못하였다. 중심극한정리는 표본의 크기가 커질 때 표본평균의 분포를 설명하는 정리로 다음과 같다.$ X_1, X_2, \cdots, X_n $ 이 $ E(X_i) = \mu $ 이고 $ V(X_i) = \sigma^2 $$ U_n = \dfrac{\sum_{i=1}^n X_i - n \mu}{\sigma \sqrt{n}} = \dfrac{\bar{X} - \mu}{\sigma / \sqrt{n}} $$그렇다면 $ U_n $ 의 분포함수는 $ n \to \infty $ 일 때..

큰 수의 법칙 (LLN, Law of Large Numbers) 큰 수의 법칙은 간단히 말하면 시행 횟수를 늘리면 실제 사건의 확률과 수학적 확률이 비슷해진다는 것을 말한다. 좀 더 자세히는 표본집단의 크기가 커지면 표본평균이 모평균과 가까워짐을 나타낸다.당연한 소리라 생각할 수 있지만, 이에 대한 증명을 통해 큰 수의 법칙이 맞다는 것이 확인되었기에 표본을 통해 모집단을 추론하는 통계학이 의미있다.단 코시 분포(Cauchy distribution)나 파레토 분포(Pareto distribution)와 같은 특수한 경우에는 사용하지 못한다는 한계가 존재하긴 한다. 큰 수의 약법칙 (WLLN, Weak Law of Large Numbers) $ X_1, X_2, \cdots, X_n $ 이 유한한 $ E(..

레비 연속성 정리 (Lévy's Continuity Theorem) 확률변수의 열 $ X_1, X_2, \cdots $ 에 대응하는 특성함수의 열을 $ \phi_1, \phi_2, \cdots $ 이라 하자. 여기서 특성함수는 다음과 같이 정의된다.$$ \phi_n(t) = E\left( e^{itX_n} \right) \qquad \forall t \in \mathbb{R} , \forall n \in \mathbb{N} $$만일 특성함수의 열이 어떤 함수 $ \phi $ 로 점별수렴한다고 가정하자. 즉 다음이 성립한다고 가정하자.$$ \lim_{n \to \infty} \phi_n (t) = \phi(t) $$그렇다면 아래 명제들은 모두 동치이다.$ X_n $ 이 어떤 확률변수 $ X $ 로 분포수렴..

특성함수 (Characteristic Function) 실수 $ t $ 에 대해 확률변수 $ X $ 에 대한 특성함수 $ \phi_X (t) $ 는 다음과 같이 정의된다.$$ \phi _X (t) = E \left( e^{itX} \right) $$이는 각 확률분포와 일대일대응되는 함수로 적률생성함수와 마찬가지로 이를 활용하여 기댓값이나 분산 등의 값을 얻어낼 수 있다. 일대일대응이기에 어떤 확률변수 $ X $ 와 $ Y $ 의 특성함수가 같다면 두 확률변수의 확률분포가 같다는 의미이고, 역으로 $ X $ 와 $ Y $ 의 확률분포가 같다면 특성함수 역시 같다.적률생성함수와 다른 점은 적률생성함수의 경우 일부 분포에 대해서는 존재하지 않을 수 있지만, 특성함수는 실수값에 대하여 항상 존재한다.독립인 두 ..

분포수렴 (Convergence in Distribution) $ X_1, X_2, \cdots $ 이 확률변수의 열이며 $ X $ 를 또다른 확률변수라 하고, $ X_n $ 과 $ X $ 의 분포함수(CDF)를 각각 $ F_{X_n} $ 과 $ F_X $ 로 나타내자.$$ \lim_{n \to \infty} F_{X_n} (x) = F_X(x) $$$ F_X $ 가 연속인 모든 $ x $ 에 대하여 위와 같다면 $ X_n $ 이 $ X $ 로 분포수렴한다고 하며 다음과 같이 표기한다.$$ X_n \overset{d}{\to} X $$중심극한정리(CLT)가 분포 수렴의 가장 유명한 예이다. 확률수렴 (Convergence in Probability) $ X_1, X_2, \cdots $ 이 확률변수의 열..