Statistics/Mathematical Statistics

가역성 (Reversibility) $ P = (P_{ij}) $ 를 어떤 마르코프 연쇄의 전이행렬이라 하자.$$ \pi_i P_{ij} = \pi_j P_{ji} $$모든 $i, j $ 에 대하여 위를 만족하는 $ \pi_i \geq 0 $ 이고, $ \sum_i \pi_i = 1 $ 인 $ \boldsymbol{\pi} = ( \pi_1, \pi_2, \cdots, \pi_M ) $ 이 존재한다고 하자. 이 식을 가역성 조건 또는 세부균형(detailed balance) 조건이라 하며, 이 조건이 성립하면 마르코프 연쇄는 $ \boldsymbol{\pi} $ 에 대해 가역적(reversible)이라 한다.정상분포에 따라 출발하는 경우, 가역 마르코프 연쇄는 시간 흐름과 관계없이, 즉 순방향이든, 역방..

에르고딕 이론 (Ergodic Theory) 에르고딕 가설은 보존적 열역학계에서 장기적으로 관측한 어떤 물리량의 시간 평균이, 해당 계의 전체 상태 공간에서의 공간 평균과 일치할 것이라는 가설이다. 이 성질을 간단하게 에르고딕성이 성립한다고 표현한다.이 개념을 직관적으로 설명하기 위해 자주 사용하는 것이 당구대 비유로 1963년 수학자 야코프 시나이의 일명 역학적 당구(dynamical billiards) 비유이다. 당구대의 벽이 완전 탄성 반사를 제공하고 당구공이 에너지 손실 없이 일정한 속도로 움직인다고 가정하자. 당구대의 모양이 복잡하거나 비대칭적인 경우, 거의 모든 초기 조건에서 당구공의 경로는 시간이 지남에 따라 당구대의 거의 모든 부분을 방문하게 된다. 이는 시간 평균이 공간 평균과 일치함을 ..

정상분포 (Stationary Distribution) $ \pi_i \geq 0 $ 이고, $ \sum_i \pi_i = 1 $ 인 행 벡터 $ \boldsymbol{\pi} = ( \pi_1, \pi_2, \cdots, \pi_M) $ 가 모든 $ j $ 에 대하여 다음과 같다고 가정하자.$$ \sum_i \pi_i P_{ij} = \pi_j $$그렇다면 $ \boldsymbol{\pi} $ 를 전이행렬이 $ P $ 인 마르코프 연쇄에 대한 정상분포라 한다. 정상분포는 정상상태분포(steady-state distribution), 정적분포, 안정상태분포라고도 한다.마르코프 연쇄의 장기적인 움직임, 즉 시간이 충분히 경과했을 때 수렴하는 확률 분포이다. 연쇄가 일시적 상태(transient states..

도달가능 및 상호도달가능 (Accessible and Communicate) 기본적으로 이항 관계(링크)에 대한 부분을 알고 있으면 도움된다. • 도달가능 (accessible)만일 상태 $ i $ 에서 시작하여 결국 상태 $ j $ 에 도착할 확률이 $ 0 $ 보다 크면, 즉 $ P_{ij}^{(n)} > 0 $ 인 $ n \in \mathbb{Z}_+ $ 이 존재하면 상태 $ j $ 는 상태 $ i $ 에서 도달가능하다고 하며, $ i \to j $ 라 표기한다. • 상호도달가능 (communicate)만일 상태 $ i $ 와 상태 $ j $ 에 대하여 $ P_{ij}^{(n)} > 0 $ 과 $ P_{ji}^{(m)} > 0 $ 인 $ m, n \in \mathbb{Z}_+ $ 이 존재하면 $ i ..

전이행렬 (Transition Matrix) 확률변수 열 $ X_0, X_1, \cdots $ 을 유한상태공간 $ S = \{ 1, 2, \cdots, M \} $ 를 갖는 마르코프 연쇄라 하고, 임의의 $ i , j \in S $ 에 대하여 $ P_{ij} = P(X_{n+1} = j \mid X_n = i ) $ 를 상태 $ i $ 에서 상태 $ j $ 로의 전이확률이라 하자. 그렇다면 $ M \times M $ 행렬 $ P = \left(P_{ij} \right) $ 를 연쇄 전이행렬 또는 추이행렬이라 한다.전이확률이 음수가 될 수 없기 때문에 전이행렬은 비음행렬(nonnegative matrix)이고, 전이확률의 특성상 전이행렬의 임의의 행의 합은 $ 1 $ 이다.예를 들어 날씨가 맑음, 흐름, ..

마르코프 성질 (Markov Property) 어떤 시점 $ n \in T $ 에서 확률변수 열 $ \{X_n\}_{n \in T} $ 의 모든 과거 상태 $ X_0, X_1, \cdots, X_n $ 이 주어지더라도 $ X_{n+1} $ 의 예측은 $ X_n $ 에만 의존하는 경우 확률변수 열 $\{ X_n\}_{n \in T} $ 는 마르코프 성질을 갖는다고 한다.여기서 $ T $ 는 관찰시점들의 총집합이다. 마르코프 연쇄 (Markov Chain) 상태공간 $ S = \{ 0, 1, 2, \cdots, M \} $ 에 속한 값을 갖는 확률변수 열 $ X_0, X_1, \cdots $ 이 모든 $ n \geq 0 $ 에 대해 다음 성질을 가진다 가정하자.$$ P(X_{n+1}  = j \mid X_n..

중심극한정리 (CLT, Central Limit Theorem) 큰 수의 법칙(LLN)을 통해 표본의 크기가 커질 때 표본평균이 모평균에 거의 확실히 수렴하는 것을 확인하였다. 그러나 표본평균의 분포가 어떤 분포로 수렴하는지는 확인하지 못하였다. 중심극한정리는 표본의 크기가 커질 때 표본평균의 분포를 설명하는 정리로 다음과 같다.$ X_1, X_2, \cdots, X_n $ 이 $ E(X_i) = \mu $ 이고 $ V(X_i) = \sigma^2 $$ U_n = \dfrac{\sum_{i=1}^n X_i - n \mu}{\sigma \sqrt{n}} = \dfrac{\bar{X} - \mu}{\sigma / \sqrt{n}} $$그렇다면 $ U_n $ 의 분포함수는 $ n \to \infty $ 일 때..

큰 수의 법칙 (LLN, Law of Large Numbers) 큰 수의 법칙은 간단히 말하면 시행 횟수를 늘리면 실제 사건의 확률과 수학적 확률이 비슷해진다는 것을 말한다. 좀 더 자세히는 표본집단의 크기가 커지면 표본평균이 모평균과 가까워짐을 나타낸다.당연한 소리라 생각할 수 있지만, 이에 대한 증명을 통해 큰 수의 법칙이 맞다는 것이 확인되었기에 표본을 통해 모집단을 추론하는 통계학이 의미있다.단 코시 분포(Cauchy distribution)나 파레토 분포(Pareto distribution)와 같은 특수한 경우에는 사용하지 못한다는 한계가 존재하긴 한다. 큰 수의 약법칙 (WLLN, Weak Law of Large Numbers) $ X_1, X_2, \cdots, X_n $ 이 유한한 $ E(..

레비 연속성 정리 (Lévy's Continuity Theorem) 확률변수의 열 $ X_1, X_2, \cdots $ 에 대응하는 특성함수의 열을 $ \phi_1, \phi_2, \cdots $ 이라 하자. 여기서 특성함수는 다음과 같이 정의된다.$$ \phi_n(t) = E\left( e^{itX_n} \right) \qquad \forall t \in \mathbb{R} , \forall n \in \mathbb{N} $$만일 특성함수의 열이 어떤 함수 $ \phi $ 로 점별수렴한다고 가정하자. 즉 다음이 성립한다고 가정하자.$$ \lim_{n \to \infty} \phi_n (t) = \phi(t) $$그렇다면 아래 명제들은 모두 동치이다.$ X_n $ 이 어떤 확률변수 $ X $ 로 분포수렴..

특성함수 (Characteristic Function) 실수 $ t $ 에 대해 확률변수 $ X $ 에 대한 특성함수 $ \phi_X (t) $ 는 다음과 같이 정의된다.$$ \phi _X (t) = E \left( e^{itX} \right) $$이는 각 확률분포와 일대일대응되는 함수로 적률생성함수와 마찬가지로 이를 활용하여 기댓값이나 분산 등의 값을 얻어낼 수 있다. 일대일대응이기에 어떤 확률변수 $ X $ 와 $ Y $ 의 특성함수가 같다면 두 확률변수의 확률분포가 같다는 의미이고, 역으로 $ X $ 와 $ Y $ 의 확률분포가 같다면 특성함수 역시 같다.적률생성함수와 다른 점은 적률생성함수의 경우 일부 분포에 대해서는 존재하지 않을 수 있지만, 특성함수는 실수값에 대하여 항상 존재한다.독립인 두 ..