확률론

중심극한정리 (CLT, Central Limit Theorem) 큰 수의 법칙(LLN)을 통해 표본의 크기가 커질 때 표본평균이 모평균에 거의 확실히 수렴하는 것을 확인하였다. 그러나 표본평균의 분포가 어떤 분포로 수렴하는지는 확인하지 못하였다. 중심극한정리는 표본의 크기가 커질 때 표본평균의 분포를 설명하는 정리로 다음과 같다.$ X_1, X_2, \cdots, X_n $ 이 $ E(X_i) = \mu $ 이고 $ V(X_i) = \sigma^2 $$ U_n = \dfrac{\sum_{i=1}^n X_i - n \mu}{\sigma \sqrt{n}} = \dfrac{\bar{X} - \mu}{\sigma / \sqrt{n}} $$그렇다면 $ U_n $ 의 분포함수는 $ n \to \infty $ 일 때..

큰 수의 법칙 (LLN, Law of Large Numbers) 큰 수의 법칙은 간단히 말하면 시행 횟수를 늘리면 실제 사건의 확률과 수학적 확률이 비슷해진다는 것을 말한다. 좀 더 자세히는 표본집단의 크기가 커지면 표본평균이 모평균과 가까워짐을 나타낸다.당연한 소리라 생각할 수 있지만, 이에 대한 증명을 통해 큰 수의 법칙이 맞다는 것이 확인되었기에 표본을 통해 모집단을 추론하는 통계학이 의미있다.단 코시 분포(Cauchy distribution)나 파레토 분포(Pareto distribution)와 같은 특수한 경우에는 사용하지 못한다는 한계가 존재하긴 한다. 큰 수의 약법칙 (WLLN, Weak Law of Large Numbers) $ X_1, X_2, \cdots, X_n $ 이 유한한 $ E(..

레비 연속성 정리 (Lévy's Continuity Theorem) 확률변수의 열 $ X_1, X_2, \cdots $ 에 대응하는 특성함수의 열을 $ \phi_1, \phi_2, \cdots $ 이라 하자. 여기서 특성함수는 다음과 같이 정의된다.$$ \phi_n(t) = E\left( e^{itX_n} \right) \qquad \forall t \in \mathbb{R} , \forall n \in \mathbb{N} $$만일 특성함수의 열이 어떤 함수 $ \phi $ 로 점별수렴한다고 가정하자. 즉 다음이 성립한다고 가정하자.$$ \lim_{n \to \infty} \phi_n (t) = \phi(t) $$그렇다면 아래 명제들은 모두 동치이다.$ X_n $ 이 어떤 확률변수 $ X $ 로 분포수렴..

특성함수 (Characteristic Function) 실수 $ t $ 에 대해 확률변수 $ X $ 에 대한 특성함수 $ \phi_X (t) $ 는 다음과 같이 정의된다.$$ \phi _X (t) = E \left( e^{itX} \right) $$이는 각 확률분포와 일대일대응되는 함수로 적률생성함수와 마찬가지로 이를 활용하여 기댓값이나 분산 등의 값을 얻어낼 수 있다. 일대일대응이기에 어떤 확률변수 $ X $ 와 $ Y $ 의 특성함수가 같다면 두 확률변수의 확률분포가 같다는 의미이고, 역으로 $ X $ 와 $ Y $ 의 확률분포가 같다면 특성함수 역시 같다.적률생성함수와 다른 점은 적률생성함수의 경우 일부 분포에 대해서는 존재하지 않을 수 있지만, 특성함수는 실수값에 대하여 항상 존재한다.독립인 두 ..

분포수렴 (Convergence in Distribution) $ X_1, X_2, \cdots $ 이 확률변수의 열이며 $ X $ 를 또다른 확률변수라 하고, $ X_n $ 과 $ X $ 의 분포함수(CDF)를 각각 $ F_{X_n} $ 과 $ F_X $ 로 나타내자.$$ \lim_{n \to \infty} F_{X_n} (x) = F_X(x) $$$ F_X $ 가 연속인 모든 $ x $ 에 대하여 위와 같다면 $ X_n $ 이 $ X $ 로 분포수렴한다고 하며 다음과 같이 표기한다.$$ X_n \overset{d}{\to} X $$중심극한정리(CLT)가 분포 수렴의 가장 유명한 예이다. 확률수렴 (Convergence in Probability) $ X_1, X_2, \cdots $ 이 확률변수의 열..

수열의 극한 (Limit Sequence) 임의의 각 실수 $ \epsilon > 0 $ 에 대하여 모든 $ n \geq N $ 에 대해 $ | a_n - L | $$ a_n \to L \qquad \text{or} \qquad \lim_{n\to\infty} a_n = L $$기호식으로 표현하면 다음과 같다.$$ \forall \epsilon > 0 \left( \exists N \in \mathbb{N} \left( \forall n \in \mathbb{N} \left( n \geq N \to | a_n - L | 위 수학적 정의보다 부정확하지만 말로 풀어 설명하면 $ n $ 이 $ \infty$ 로 갈 때 $ a_n $ 이 $ L $ 에 한없이 접근하면 수열 $ a_n $ 이 극한 $ L $ 에 ..

체르노프 부등식 (Chernoff Inequality) 임의의 확률변수 $ X $ 와 임의의 상수 $ c, t > 0 $ 에 대하여 다음이 성립한다.$$ P(X \geq c) \leq \dfrac{E(e^{tX})}{e^{tc}} $$이는 마르코프 부등식으로 증명 가능하다.$ g(x) = e^{tx} $ 는 가역이며 $ g $ 는 강한 증가함수이다. 따라서 마르코프 부등식에 의해 다음이 성립한다.$ P(X \geq c) = P(e^{tX} \geq e^{tc} \leq \dfrac{E(e^{tX})}{e^{tc}} $더 정확하게 증명도 가능하지만, 너무 길기에 생략한다.체르노프 부등식은 우변을 $ t $ 에 대해 최적화하여 코시-슈바르츠 부등식을 이용하는 것처럼 더 좁은 상계를 얻을 수 있다. 또한 $ ..

마르코프 부등식 (Markov Inequality) 러시아 수학자 안드레이 마르코프의 이름을 딴 확률론의 절대부등식으로 간단하며 굉장히 많이 사용된다. 이는 확률변수 $X $ 과 양수 $ c $ 에 대하여 다음과 같다.$$ \dfrac{E(X)}{c} \geq P(X \geq c) $$증명은 다음과 같다.$ X \geq 0 $ 이므로 임의의 양수 $ c $ 에 대하여 다음 부등식이 성립한다.$ X \geq c \cdot I_{X \geq c} $여기서 기댓값을 취하면 다음과 같다.$ E(X) \geq E( c \cdot I_{X \geq c}) = c E(I_{X \geq c}) $근본가교를 적용하면 다음과 같다.$ E(X) \geq c P(X \geq c) $양변을 $ c $ 로 나누면 다음과 같다.$..

섀넌 엔트로피 (Shannon Entropy) 정보 엔트로피(information entropy)는 확률변수의 불확실성(uncertainty)을 정량화하는 척도이다. 일반화된 레니 엔트로피(Rényi entropy)도 있지만, 확률론에서는 섀넌 엔트로피가 많이 사용된다.이산확률변수 $ X $ 의 섀넌 엔트로피 $ H(X) $ 는 다음과 같이 정의된다.$$ H(X) = - \sum_{x \in \mathcal{X}} p(x) \log p(x) $$보통 $ \log $ 의 밑은 $ 2 $ 이며 $ \mathcal{X} $ 는 $ X $ 가 취할 수 있는 값들의 집합, 즉 치역이다. 또한 위 엔트로피의 정의에서 알 수 있지만, 엔트로피는 확률에만 의존한다.이렇게 정의된 엔트로피 $ H(X) $ 는 $ - \l..

옌센 부등식 (Jensen Inequality) 일반적으로는 젠센 부등식으로 부른다. 덴마크 수학자 요한 옌센에 의해 발표된 부등식으로 옌센이라 부르는 것이 올바르겠으나 영어식 발음인 젠센으로 많이 불리는 것이다. 옌센 부등식은 다음과 같다.확률변수 $X $ 에 대하여 $ g $ 가 볼록(convex) 함수라면 $ E(g(X)) \geq g(E(X)) $ 이다. 만일 $ g $ 가 오목(concave) 함수라면 $ E(g(X)) \leq g(E(X)) $ 이다. 두 경우 모두에서 등식이 성립하는 유일한 조건은 확률 $ 1 $ 로 $ g(X) = a + bX $ 가 성립하는 상수 $ a $ 와 $ b $ 가 존재하는 것이다. 증명은 다음과 같다.만일 $ g $ 가 볼록 함수라면 $ g $ 에 대한 모든 접..