확률론

조건부 기댓값 어떤 확률변수 $ X_1 $ 과 $ X_2 $ 에 대해 $ X_2 = x_2 $ 라 주어진 경우에 $ X_1 $ 의 함수인 $ g(X_1) $ 의 조건부 기댓값은 만약 $ X_1 $ 과 $ X_2 $ 가 공동연속이면 다음과 같이 정의한다.$$ E\left[ g(X_1) \mid X_2 = x_2 \right] = \int_{-\infty}^\infty g(x_1) f(x_1 \mid x_2) dx_1 $$만약 공동이산이면 다음과 같이 정의한다.$$ E\left[ g(X_1) \mid X_2 = x_2 \right] = \sum_{\forall x_1} g(x_1) p(x_1 \mid x_2) $$ 전체 기댓값의 법칙 (Law of Total Expectation) 반복 기댓값의 법칙(law..

다항분포 (Multinomial Distribution) 다항실험 (Multinomial Experiment)이항실험의 일반화로 다음과 같은 성질을 가진다. 실험은 $ n $ 번의 동일한 시행으로 이뤄지며, 각 시행의 기본결과는 $k $ 개의 부류 중 하나에 속한다.단일 시행의 기본결과가 $ i $ 번째 부류에 속할 확률을 $ p_i $ $(i = 1, 2, \cdots, k) $ 라 하면 $ \sum_{i=1}^k p_i = 1 $ 이고, 이 확률은 시행마다 동일하게 유지된다. 또한 시행들을 i.i.d.를 따른다.이때 관심있는 확률변수는 $ X_1, X_2, \cdots, X_k $ 로 $ X_i $ 는 기본결과가 $ i $ 번째 부류에 속하는 시행의 횟수이며 $ \sum_{i=1}^k X_i = n ..

확률변수의 선형함수에 대한 기댓값과 분산 표본의 측정값들의 선형함수인 모수추정량을 위해 확률변수의 선형함수에 대한 기댓값과 분산을 알아야 한다.예를 들어 $ Y_1, Y_2, \cdots, Y_n $ 과 $ X_1, X_2, \cdots, X_m $ 이 $ E\left( Y_i \right) = \mu_{y_i} $ 이고, $ E\left( X_i \right) = \mu_{x_i} $ 인 확률변수라 하고, $ a_1, a_2, \cdots, a_n $ 과 $ b_1, b_2, \cdots, b_m $ 이 상수이며, $ U_1 $ 과 $ U_2 $ 가 다음과 같다고 가정하자.$ U_1 = \sum_{i=1}^n a_i Y_i $,     $ U_2 = \sum_{i=1}^m b_i X_i $그렇다면 다음..

확률변수 함수의 기댓값 일변량 확률변수의 함수의 기댓값을 구할 수 있듯이 다변량 확률변수의 함수 역시 기댓값을 구할 수 있다. 이산확률변수의 함수$ g(X_1, X_2, \cdots, X_n) $ 이 확률변수 $ X_1, X_2, \cdots, X_n $ 의 함수이며 $ X_1, X_2, \cdots, X_n $ 이 이산확률변수이고 $ p(x_1, x_2, \cdots, x_n) $ 의 결합확률함수를 가진다면 기댓값은 다음과 같다.$$ E\left[ g(X_1, X_2, \cdots, X_n) \right] = \sum_{\forall x_n} \cdots \sum_{\forall x_2} \sum_{\forall x_1} g(x_1, x_2, \cdots, x_n) p(x_1, x_2, \cdots, ..

결합분포 (Joint Distribution) 확률실험의 각 결과에 한 쌍의 실수를 부여하는 확률변수가 있을 수 있다. 다르게 보면 확률변수 여러개를 결합하여 생각할 수 있다.예를 들어서 두 동전을 던졌을 때 각각 동전의 앞면의 수를 결합하여 확인할 수도 있다. 표로 확인하면 다음과 같을 것이다. $ X $01합$ Y $01/41/41/211/41/41/2합1/21/21그래프를 통해 결합분포를 본다면 아래와 같이도 나타낼 수 있다. 그래프는 위 표와 다른 분포이다.만약 결합되는 두 확률변수의 결합분포함수가 연속이라면 두 확률변수들이 공동연속(jointly continuous)이라 하고, 이 결합분포의 확률밀도함수가 존재하면 결합되는 두 확률변수를 공동연속확률변수(jointly continuous rand..

불연속함수의 기댓값 확률변수 $ X $ 가 연속확률변수를 따르는 듯 보이지만, 연속확률변수가 끊어져 연속이 성립하지 않는 경우가 있을 수 있다.예를 들어 확률변수 $ X $ 가 어느 생수 업체의 일간 판매량이고 다음의 확률밀도함수를 가진다고 하자.$$ f(x) = x^2 \qquad 0 \leq x \leq 2 $$이때 판매량에 대한 수익 $ g(X) $ 가 다음과 같다고 가정하자.$$ g(X) = \begin{cases} 100X & 0 \leq X \leq 1 \\ 150X & 1 그렇다면 판매량에 대한 수익이 따르는 분포는 연속적이지 않다. 이 경우 연속확률변수에 대한 기댓값 정의를 사용하여 구할 수 있다.$$ E(X) = \int_{-\infty}^\infty g(x)f(x) dx = \int_0..

체비쇼프 부등식 (Chebyshev Ineuality) 절대부등식으로 확률분포를 정확히 모를 때 해당 확률분포의 기댓값과 표준편차 값만으로 특정한 확률의 최솟값만큼은 알아낼 수 있는 부등식이다.확률분포 $ X $ 의 기댓값을 $ \mu $, 표준편차를 $ \sigma $ 라 하면 다음이 성립한다. 단 $ k $ 는 양의 상수이다.$ P(|X-\mu|이는 확률분포와 상관없이, 즉 이산확률분포이든 연속확률분포이든 성립한다.증명은 다음과 같다. 이때 $ X $ 를 연속확률변수라 가정하였다.$ V(X) = \int_{-\infty}^\infty (x - \mu)^2 f(x) dx $$ = \int_{-\infty}^{\mu -k\sigma} (x - \mu)^2 f(x) dx + \int_{\mu -k\sigm..

베타분포 (Beta Distribution) 확률변수 $ X $ 의 밀도함수가 $ \alpha > 0 $ 와 $ \beta > 0 $ 에 대해 다음과 같다면 확률변수 $ X $ 가 베타분포를 따른다고 한다.$$ f(x) = \dfrac{x^{\alpha -1}(1-x)^{\beta-1}}{B(\alpha, \beta)} \qquad 0 \leq x \leq 1 $$더보기베타함수 $ B $ 는 다음과 같이 정의된다.$ B(\alpha, \beta) = \int_0^1 t^{\alpha-1} (1-t)^{\beta-1} dt  = \dfrac{\Gamma{\alpha}\Gamma{\beta}}{\Gamma{\alpha+\beta}} $또한 확률변수 $ X $ 가 매개변수 $ \alpha $, $ \beta ..

지수분포 (Exponential Distribution) 확률변수 $ X $ 가 지수분포를 따른다는 말은 형상모수가 1 인 감마분포를 따른다는 말과 같다. 또한 사건이 독립적일 때 다음 사건이 일어날 때까지의 대기 시간은 지수분포를 따른다.확률변수 $ X $ 가 대기 시간이 $ \beta $ 인 지수분포를 따른다면 다음과 같이 나타낸다.$$ X \sim \text{Expo}(\beta) $$푸아송분포에서 관심을 가진 것이 명시된 영역에서 특정 사건이 평균적으로 발생하는 사건이 $ \lambda $ 일 때 특정 사건이 $ x $ 번 발생할 확률이었다면, 지수분포는 다음 사건까지의 평균적인 대기 시간이 $ \beta $ 일 때의 확률에 관심을 가지는 것이다. 기하분포와 비교하면 기하분포는 첫번째 성공까지의 ..

감마분포 (Gamma Distribution) 어떤 확률변수들은 항상 음이 아니고, 여러 이유에서 분포가 비대칭이다. 대표적으로 감마분포가 그러하다.확률변수 $ X $ 의 밀도함수가 $ \alpha > 0 $ 와 $ \beta > 0 $ 에 대해 다음과 같다면 확률변수 $ X $ 가 감마분포를 따른다고 한다.$$ f(x) = \dfrac{x^{\alpha - 1}e^{-x / \beta}}{\beta^\alpha \Gamma(\alpha)} \qquad 0 \leq x 더보기감마함수 $ \Gamma $ 는 다음과 같이 정의된다.$ \Gamma(\alpha) = \int_0^\infty t^{\alpha - 1} e^{-t} dt $또한 만약 $ \alpha $ 가 양의 정수라면 다음과 같다.$ \Gamm..