수리통계학

수열의 극한 (Limit Sequence) 임의의 각 실수 $ \epsilon > 0 $ 에 대하여 모든 $ n \geq N $ 에 대해 $ | a_n - L | $$ a_n \to L \qquad \text{or} \qquad \lim_{n\to\infty} a_n = L $$기호식으로 표현하면 다음과 같다.$$ \forall \epsilon > 0 \left( \exists N \in \mathbb{N} \left( \forall n \in \mathbb{N} \left( n \geq N \to | a_n - L | 위 수학적 정의보다 부정확하지만 말로 풀어 설명하면 $ n $ 이 $ \infty$ 로 갈 때 $ a_n $ 이 $ L $ 에 한없이 접근하면 수열 $ a_n $ 이 극한 $ L $ 에 ..

체르노프 부등식 (Chernoff Inequality) 임의의 확률변수 $ X $ 와 임의의 상수 $ c, t > 0 $ 에 대하여 다음이 성립한다.$$ P(X \geq c) \leq \dfrac{E(e^{tX})}{e^{tc}} $$이는 마르코프 부등식으로 증명 가능하다.$ g(x) = e^{tx} $ 는 가역이며 $ g $ 는 강한 증가함수이다. 따라서 마르코프 부등식에 의해 다음이 성립한다.$ P(X \geq c) = P(e^{tX} \geq e^{tc} \leq \dfrac{E(e^{tX})}{e^{tc}} $더 정확하게 증명도 가능하지만, 너무 길기에 생략한다.체르노프 부등식은 우변을 $ t $ 에 대해 최적화하여 코시-슈바르츠 부등식을 이용하는 것처럼 더 좁은 상계를 얻을 수 있다. 또한 $ ..

마르코프 부등식 (Markov Inequality) 러시아 수학자 안드레이 마르코프의 이름을 딴 확률론의 절대부등식으로 간단하며 굉장히 많이 사용된다. 이는 확률변수 $X $ 과 양수 $ c $ 에 대하여 다음과 같다.$$ \dfrac{E(X)}{c} \geq P(X \geq c) $$증명은 다음과 같다.$ X \geq 0 $ 이므로 임의의 양수 $ c $ 에 대하여 다음 부등식이 성립한다.$ X \geq c \cdot I_{X \geq c} $여기서 기댓값을 취하면 다음과 같다.$ E(X) \geq E( c \cdot I_{X \geq c}) = c E(I_{X \geq c}) $근본가교를 적용하면 다음과 같다.$ E(X) \geq c P(X \geq c) $양변을 $ c $ 로 나누면 다음과 같다.$..

섀넌 엔트로피 (Shannon Entropy) 정보 엔트로피(information entropy)는 확률변수의 불확실성(uncertainty)을 정량화하는 척도이다. 일반화된 레니 엔트로피(Rényi entropy)도 있지만, 확률론에서는 섀넌 엔트로피가 많이 사용된다.이산확률변수 $ X $ 의 섀넌 엔트로피 $ H(X) $ 는 다음과 같이 정의된다.$$ H(X) = - \sum_{x \in \mathcal{X}} p(x) \log p(x) $$보통 $ \log $ 의 밑은 $ 2 $ 이며 $ \mathcal{X} $ 는 $ X $ 가 취할 수 있는 값들의 집합, 즉 치역이다. 또한 위 엔트로피의 정의에서 알 수 있지만, 엔트로피는 확률에만 의존한다.이렇게 정의된 엔트로피 $ H(X) $ 는 $ - \l..

옌센 부등식 (Jensen Inequality) 일반적으로는 젠센 부등식으로 부른다. 덴마크 수학자 요한 옌센에 의해 발표된 부등식으로 옌센이라 부르는 것이 올바르겠으나 영어식 발음인 젠센으로 많이 불리는 것이다. 옌센 부등식은 다음과 같다.확률변수 $X $ 에 대하여 $ g $ 가 볼록(convex) 함수라면 $ E(g(X)) \geq g(E(X)) $ 이다. 만일 $ g $ 가 오목(concave) 함수라면 $ E(g(X)) \leq g(E(X)) $ 이다. 두 경우 모두에서 등식이 성립하는 유일한 조건은 확률 $ 1 $ 로 $ g(X) = a + bX $ 가 성립하는 상수 $ a $ 와 $ b $ 가 존재하는 것이다. 증명은 다음과 같다.만일 $ g $ 가 볼록 함수라면 $ g $ 에 대한 모든 접..

코시-슈바르츠 부등식 (Cauchy–Schwarz Inequality) 절대부등식으로 일반적인 형태는 아래와 같다.$$ \| v \| ^2 \| w \| ^2 \geq | v \cdot w | ^2 $$여기서 $ \| \| $ 는 벡터의 크기(참고링크)이고, $ \cdot $ 은 벡터의 내적(참고링크)이다.이를 확률론에 끌어와 사용할 때는 일반적으로 아래와 같이 사용한다.$$  E(X^2) E(Y^2) \geq E(XY)^2 $$증명은 다음과 같다.$ E[(Y-tX)^2] = E(Y^2)-2tE(XY)+t^2E(X^2) \geq 0 $위 식을 $ t $ 로 편미분하고 $ 0 $ 으로 놓으면 다음과 같다.$ \dfrac{\partial}{\partial t} E[(Y-tX)^2] = -2E(XY) + 2t..

F-분포 (F-distribution) 어떤 확률변수 $ W_1 $ 과 $ W_2 $ 가 독립이며 자유도가 각각 $ \nu_1 $, $\nu_2 $ 인 카이제곱분포를 따를 때 $ F $ 가 다음과 같이 정의된다면 $ F $ 는 분자의 자유도가 $ \nu_1 $ 이고 분모의 자유도가 $ \nu_2 $ 인 F-분포를 따른다.$$ F = \dfrac{W_1 / \nu_1}{W_2 / \nu_2} \sim F(\nu_1, \nu_2) $$즉 카이제곱분포를 따르는 두 확률변수의 비율이 F-분포를 따른다.참고로 당연하겠지만, $ F \sim F(\nu_1, \nu_2) $ 일 때 $ \dfrac{1}{F} \sim F(\nu_2, \nu_1) $ 이다. 더하여 F-분포의 누적분포를 $ F_\alpha $ 로 나타낸..

$t$-분포 (Student's $t$-Distribution) 분포 자체와는 별 상관 없는 이야기지만 이름에 Student가 붙은 이유는 이 분포를 제안한 윌리엄 고셋이 해당 논문을 낼 때 가명으로 Student를 사용했기 때문이다.$ Z \sim N(0, 1) $ 과 $ W \sim \chi^2 (\nu) $ 에 대하여 $ Z $ 와 $ W $ 가 독립일 때 $ T = Z / \sqrt{W / \nu} $ 라면 $ T $ 가 $t$-분포를 따른다고 하며 다음과 같다.$$ T = \dfrac{Z}{\sqrt{W / \nu}} \sim t (\nu) $$이를 응용할 수 있다. i.i.d.인 $ X_i $ $(i = 1, 2, \dots, n) $ 에 대하여 $ X \sim N(\mu, \sigma^2) ..

카이제곱분포 (Chi-Square Distribution) 카이제곱분포는 감마분포의 특수한 형태이면서 $ k $ 개의 서로 독립적인 표준정규분포를 따르는 확률변수를 제곱한 다음 합하여 얻어지는 확률변수의 분포이다. 즉 $ X_i \sim N(\mu, \sigma^2) $ $ (i = 1, 2, \dots, n) $ 에 대하여 $ Z_i = (X_i - \mu) / \sigma $ 일 때 $ Z_i^2 $ 의 합, $ \sum_{i=1}^n Z_i^2 $ 은 자유도가 $ n $ 인 카이제곱분포를 따른다.$$ \sum_{i=1}^n Z_i^2 \sim \chi^2 (n) $$참고로 표본을 추출하여 만들어지는 표본분산 $ S^2 $ 을 이용한 $ (n-1)S^2 / \sigma^2 $ 은 자유도가 $ n-1 ..

표본평균의 표집분포 $ X_1, X_2, \cdots, X_n $ 이 평균이 $ \mu $ 이고, 분산이 $ \sigma^2 $ 인 정규분포에서의 크기가 $ n $ 인 확률분포라 할 때 표본평균인 $ \bar{X} $ 는 평균이 $ \mu_{\bar{X}} = \mu $ 이고, 분산이 $ \sigma_{\bar{X}}^2 = \dfrac{\sigma^2}{n} $ 인 정규분포를 따른다. 즉 다음과 같다.$$ \bar{X} \sim N \left(\mu, \frac{\sigma^2}{n} \right) $$더보기$ X_1, X_2, \cdots, X_n $ 은 평균이 $ \mu $ 이고 분산이 $ \sigma^2 $ 인 정규분포에서의 크기가 $ n $ 인 확률표본이기에 $ X_i $ 는 독립이고, $ E(..