중심극한정리 (CLT, Central Limit Theorem) 큰 수의 법칙(LLN)을 통해 표본의 크기가 커질 때 표본평균이 모평균에 거의 확실히 수렴하는 것을 확인하였다. 그러나 표본평균의 분포가 어떤 분포로 수렴하는지는 확인하지 못하였다. 중심극한정리는 표본의 크기가 커질 때 표본평균의 분포를 설명하는 정리로 다음과 같다.$X_1, X_2, \cdots, X_n$ 이 $E(X_i) = \mu$ 이고 $V(X_i) = \sigma^2$$U_n = \dfrac{\sum_{i=1}^n X_i - n \mu}{\sigma \sqrt{n}} = \dfrac{\bar{X} - \mu}{\sigma / \sqrt{n}}$$그렇다면$ U_n $의 분포함수는$ n \to \infty $ 일 때..

큰 수의 법칙 (LLN, Law of Large Numbers) 큰 수의 법칙은 간단히 말하면 시행 횟수를 늘리면 실제 사건의 확률과 수학적 확률이 비슷해진다는 것을 말한다. 좀 더 자세히는 표본집단의 크기가 커지면 표본평균이 모평균과 가까워짐을 나타낸다.당연한 소리라 생각할 수 있지만, 이에 대한 증명을 통해 큰 수의 법칙이 맞다는 것이 확인되었기에 표본을 통해 모집단을 추론하는 통계학이 의미있다.단 코시 분포(Cauchy distribution)나 파레토 분포(Pareto distribution)와 같은 특수한 경우에는 사용하지 못한다는 한계가 존재하긴 한다. 큰 수의 약법칙 (WLLN, Weak Law of Large Numbers) $X_1, X_2, \cdots, X_n$ 이 유한한 $ E(..

레비 연속성 정리 (Lévy's Continuity Theorem) 확률변수의 열 $X_1, X_2, \cdots$ 에 대응하는 특성함수의 열을 $\phi_1, \phi_2, \cdots$ 이라 하자. 여기서 특성함수는 다음과 같이 정의된다. $$\phi_n(t) = E\left( e^{itX_n} \right) \qquad \forall t \in \mathbb{R} , \forall n \in \mathbb{N}$$ 만일 특성함수의 열이 어떤 함수 $\phi$ 로 점별수렴한다고 가정하자. 즉 다음이 성립한다고 가정하자. $$\lim_{n \to \infty} \phi_n (t) = \phi(t)$$ 그렇다면 아래 명제들은 모두 동치이다.$X_n$ 이 어떤 확률변수 $X$ 로 분포수렴..

특성함수 (Characteristic Function) 실수 $t$ 에 대해 확률변수 $X$ 에 대한 특성함수 $\phi_X (t)$ 는 다음과 같이 정의된다. $$\phi _X (t) = E \left( e^{itX} \right)$$ 이는 각 확률분포와 일대일대응되는 함수로 적률생성함수와 마찬가지로 이를 활용하여 기댓값이나 분산 등의 값을 얻어낼 수 있다. 일대일대응이기에 어떤 확률변수 $X$ 와 $Y$ 의 특성함수가 같다면 두 확률변수의 확률분포가 같다는 의미이고, 역으로 $X$ 와 $Y$ 의 확률분포가 같다면 특성함수 역시 같다.적률생성함수와 다른 점은 적률생성함수의 경우 일부 분포에 대해서는 존재하지 않을 수 있지만, 특성함수는 실수값에 대하여 항상 존재한다.독립인 두 ..

분포수렴 (Convergence in Distribution) $X_1, X_2, \cdots$ 이 확률변수의 열이며 $X$ 를 또다른 확률변수라 하고, $X_n$ 과 $X$ 의 분포함수(CDF)를 각각 $F_{X_n}$ 과 $F_X$ 로 나타내자. $$\lim_{n \to \infty} F_{X_n} (x) = F_X(x)$$ $F_X$ 가 연속인 모든 $x$ 에 대하여 위와 같다면 $X_n$ 이 $X$ 로 분포수렴한다고 하며 다음과 같이 표기한다. $$X_n \overset{d}{\to} X$$ 중심극한정리(CLT)가 분포 수렴의 가장 유명한 예이다. 확률수렴 (Convergence in Probability) $X_1, X_2, \cdots$ 이 확률변수의 열..

수열의 극한 (Limit Sequence) 임의의 각 실수 $\epsilon > 0$ 에 대하여 모든 $n \geq N$ 에 대해 $| a_n - L |$$a_n \to L \qquad \text{or} \qquad \lim_{n\to\infty} a_n = L$$기호식으로 표현하면 다음과 같다.$$\forall \epsilon > 0 \left( \exists N \in \mathbb{N} \left( \forall n \in \mathbb{N} \left( n \geq N \to | a_n - L | 위 수학적 정의보다 부정확하지만 말로 풀어 설명하면$ n $이$ \infty$로 갈 때$ a_n $이$ L $에 한없이 접근하면 수열$ a_n $이 극한$ L $ 에 ..

체르노프 부등식 (Chernoff Inequality) 임의의 확률변수 $X$ 와 임의의 상수 $c, t > 0$ 에 대하여 다음이 성립한다. $$P(X \geq c) \leq \dfrac{E(e^{tX})}{e^{tc}}$$ 이는 마르코프 부등식으로 증명 가능하다.$g(x) = e^{tx}$ 는 가역이며 $g$ 는 강한 증가함수이다. 따라서 마르코프 부등식에 의해 다음이 성립한다.$P(X \geq c) = P(e^{tX} \geq e^{tc} \leq \dfrac{E(e^{tX})}{e^{tc}}$더 정확하게 증명도 가능하지만, 너무 길기에 생략한다.체르노프 부등식은 우변을 $t$ 에 대해 최적화하여 코시-슈바르츠 부등식을 이용하는 것처럼 더 좁은 상계를 얻을 수 있다. 또한 $ ..

마르코프 부등식 (Markov Inequality) 러시아 수학자 안드레이 마르코프의 이름을 딴 확률론의 절대부등식으로 간단하며 굉장히 많이 사용된다. 이는 확률변수 $X$ 과 양수 $c$ 에 대하여 다음과 같다. $$\dfrac{E(X)}{c} \geq P(X \geq c)$$ 증명은 다음과 같다.$X \geq 0$ 이므로 임의의 양수 $c$ 에 대하여 다음 부등식이 성립한다.$X \geq c \cdot I_{X \geq c}$여기서 기댓값을 취하면 다음과 같다.$E(X) \geq E( c \cdot I_{X \geq c}) = c E(I_{X \geq c})$근본가교를 적용하면 다음과 같다.$E(X) \geq c P(X \geq c)$양변을 $c$ 로 나누면 다음과 같다.$..

섀넌 엔트로피 (Shannon Entropy) 정보 엔트로피(information entropy)는 확률변수의 불확실성(uncertainty)을 정량화하는 척도이다. 일반화된 레니 엔트로피(Rényi entropy)도 있지만, 확률론에서는 섀넌 엔트로피가 많이 사용된다.이산확률변수 $X$ 의 섀넌 엔트로피 $H(X)$ 는 다음과 같이 정의된다. $$H(X) = - \sum_{x \in \mathcal{X}} p(x) \log p(x)$$ 보통 $\log$ 의 밑은 $2$ 이며 $\mathcal{X}$ 는 $X$ 가 취할 수 있는 값들의 집합, 즉 치역이다. 또한 위 엔트로피의 정의에서 알 수 있지만, 엔트로피는 확률에만 의존한다.이렇게 정의된 엔트로피 $H(X)$ 는 $ - \l..

옌센 부등식 (Jensen Inequality) 일반적으로는 젠센 부등식으로 부른다. 덴마크 수학자 요한 옌센에 의해 발표된 부등식으로 옌센이라 부르는 것이 올바르겠으나 영어식 발음인 젠센으로 많이 불리는 것이다. 옌센 부등식은 다음과 같다.확률변수 $X$ 에 대하여 $g$ 가 볼록(convex) 함수라면 $E(g(X)) \geq g(E(X))$ 이다. 만일 $g$ 가 오목(concave) 함수라면 $E(g(X)) \leq g(E(X))$ 이다. 두 경우 모두에서 등식이 성립하는 유일한 조건은 확률 $1$ 로 $g(X) = a + bX$ 가 성립하는 상수 $a$ 와 $b$ 가 존재하는 것이다. 증명은 다음과 같다.만일 $g$ 가 볼록 함수라면 $g$ 에 대한 모든 접..