조건부 기댓값 어떤 확률변수 $X_1$ 과 $X_2$ 에 대해 $X_2 = x_2$ 라 주어진 경우에 $X_1$ 의 함수인 $g(X_1)$ 의 조건부 기댓값은 만약 $X_1$ 과 $X_2$ 가 공동연속이면 다음과 같이 정의한다. $$E\left[ g(X_1) \mid X_2 = x_2 \right] = \int_{-\infty}^\infty g(x_1) f(x_1 \mid x_2) dx_1$$ 만약 공동이산이면 다음과 같이 정의한다. $$E\left[ g(X_1) \mid X_2 = x_2 \right] = \sum_{\forall x_1} g(x_1) p(x_1 \mid x_2)$$  전체 기댓값의 법칙 (Law of Total Expectation) 반복 기댓값의 법칙(law..

다항분포 (Multinomial Distribution) 다항실험 (Multinomial Experiment)이항실험의 일반화로 다음과 같은 성질을 가진다. 실험은 $n$ 번의 동일한 시행으로 이뤄지며, 각 시행의 기본결과는 $k$ 개의 부류 중 하나에 속한다.단일 시행의 기본결과가 $i$ 번째 부류에 속할 확률을 $p_i$ $(i = 1, 2, \cdots, k)$ 라 하면 $\sum_{i=1}^k p_i = 1$ 이고, 이 확률은 시행마다 동일하게 유지된다. 또한 시행들을 i.i.d.를 따른다.이때 관심있는 확률변수는 $X_1, X_2, \cdots, X_k$ 로 $X_i$ 는 기본결과가 $i$ 번째 부류에 속하는 시행의 횟수이며 $ \sum_{i=1}^k X_i = n ..

확률변수의 선형함수에 대한 기댓값과 분산 표본의 측정값들의 선형함수인 모수추정량을 위해 확률변수의 선형함수에 대한 기댓값과 분산을 알아야 한다.예를 들어 $Y_1, Y_2, \cdots, Y_n$ 과 $X_1, X_2, \cdots, X_m$ 이 $E\left( Y_i \right) = \mu_{y_i}$ 이고, $E\left( X_i \right) = \mu_{x_i}$ 인 확률변수라 하고, $a_1, a_2, \cdots, a_n$ 과 $b_1, b_2, \cdots, b_m$ 이 상수이며, $U_1$ 과 $U_2$ 가 다음과 같다고 가정하자.$U_1 = \sum_{i=1}^n a_i Y_i$,     $U_2 = \sum_{i=1}^m b_i X_i$그렇다면 다음..

확률변수 함수의 기댓값 일변량 확률변수의 함수의 기댓값을 구할 수 있듯이 다변량 확률변수의 함수 역시 기댓값을 구할 수 있다. 이산확률변수의 함수$g(X_1, X_2, \cdots, X_n)$ 이 확률변수 $X_1, X_2, \cdots, X_n$ 의 함수이며 $X_1, X_2, \cdots, X_n$ 이 이산확률변수이고 $p(x_1, x_2, \cdots, x_n)$ 의 결합확률함수를 가진다면 기댓값은 다음과 같다.$$ E\left[ g(X_1, X_2, \cdots, X_n) \right] = \sum_{\forall x_n} \cdots \sum_{\forall x_2} \sum_{\forall x_1} g(x_1, x_2, \cdots, x_n) p(x_1, x_2, \cdots, ..

결합분포 (Joint Distribution) 확률실험의 각 결과에 한 쌍의 실수를 부여하는 확률변수가 있을 수 있다. 다르게 보면 확률변수 여러개를 결합하여 생각할 수 있다.예를 들어서 두 동전을 던졌을 때 각각 동전의 앞면의 수를 결합하여 확인할 수도 있다. 표로 확인하면 다음과 같을 것이다. $X$01합$Y$01/41/41/211/41/41/2합1/21/21그래프를 통해 결합분포를 본다면 아래와 같이도 나타낼 수 있다. 그래프는 위 표와 다른 분포이다.만약 결합되는 두 확률변수의 결합분포함수가 연속이라면 두 확률변수들이 공동연속(jointly continuous)이라 하고, 이 결합분포의 확률밀도함수가 존재하면 결합되는 두 확률변수를 공동연속확률변수(jointly continuous rand..

불연속함수의 기댓값 확률변수 $X$ 가 연속확률변수를 따르는 듯 보이지만, 연속확률변수가 끊어져 연속이 성립하지 않는 경우가 있을 수 있다.예를 들어 확률변수 $X$ 가 어느 생수 업체의 일간 판매량이고 다음의 확률밀도함수를 가진다고 하자. $$f(x) = x^2 \qquad 0 \leq x \leq 2$$ 이때 판매량에 대한 수익 $g(X)$ 가 다음과 같다고 가정하자. $$g(X) = \begin{cases} 100X & 0 \leq X \leq 1 \\ 150X & 1 그렇다면 판매량에 대한 수익이 따르는 분포는 연속적이지 않다. 이 경우 연속확률변수에 대한 기댓값 정의를 사용하여 구할 수 있다.$$ E(X) = \int_{-\infty}^\infty g(x)f(x) dx = \int_0..

체비쇼프 부등식 (Chebyshev Ineuality) 절대부등식으로 확률분포를 정확히 모를 때 해당 확률분포의 기댓값과 표준편차 값만으로 특정한 확률의 최솟값만큼은 알아낼 수 있는 부등식이다.확률분포 $X$ 의 기댓값을 $\mu$, 표준편차를 $\sigma$ 라 하면 다음이 성립한다. 단 $k$ 는 양의 상수이다.$P(|X-\mu|이는 확률분포와 상관없이, 즉 이산확률분포이든 연속확률분포이든 성립한다.증명은 다음과 같다. 이때$ X $를 연속확률변수라 가정하였다.$ V(X) = \int_{-\infty}^\infty (x - \mu)^2 f(x) dx $$ = \int_{-\infty}^{\mu -k\sigma} (x - \mu)^2 f(x) dx + \int_{\mu -k\sigm..

베타분포 (Beta Distribution) 확률변수 $X$ 의 밀도함수가 $\alpha > 0$ 와 $\beta > 0$ 에 대해 다음과 같다면 확률변수 $X$ 가 베타분포를 따른다고 한다. $$f(x) = \dfrac{x^{\alpha -1}(1-x)^{\beta-1}}{B(\alpha, \beta)} \qquad 0 \leq x \leq 1$$ 더보기베타함수 $B$ 는 다음과 같이 정의된다.$B(\alpha, \beta) = \int_0^1 t^{\alpha-1} (1-t)^{\beta-1} dt  = \dfrac{\Gamma{\alpha}\Gamma{\beta}}{\Gamma{\alpha+\beta}}$또한 확률변수 $X$ 가 매개변수 $\alpha$, $ \beta ..

지수분포 (Exponential Distribution) 확률변수 $X$ 가 지수분포를 따른다는 말은 형상모수가 1 인 감마분포를 따른다는 말과 같다. 또한 사건이 독립적일 때 다음 사건이 일어날 때까지의 대기 시간은 지수분포를 따른다.확률변수 $X$ 가 대기 시간이 $\beta$ 인 지수분포를 따른다면 다음과 같이 나타낸다. $$X \sim \text{Expo}(\beta)$$ 푸아송분포에서 관심을 가진 것이 명시된 영역에서 특정 사건이 평균적으로 발생하는 사건이 $\lambda$ 일 때 특정 사건이 $x$ 번 발생할 확률이었다면, 지수분포는 다음 사건까지의 평균적인 대기 시간이 $\beta$ 일 때의 확률에 관심을 가지는 것이다. 기하분포와 비교하면 기하분포는 첫번째 성공까지의 ..

감마분포 (Gamma Distribution) 어떤 확률변수들은 항상 음이 아니고, 여러 이유에서 분포가 비대칭이다. 대표적으로 감마분포가 그러하다.확률변수 $X$ 의 밀도함수가 $\alpha > 0$ 와 $\beta > 0$ 에 대해 다음과 같다면 확률변수 $X$ 가 감마분포를 따른다고 한다.$$ f(x) = \dfrac{x^{\alpha - 1}e^{-x / \beta}}{\beta^\alpha \Gamma(\alpha)} \qquad 0 \leq x 더보기감마함수 $\Gamma$ 는 다음과 같이 정의된다.$\Gamma(\alpha) = \int_0^\infty t^{\alpha - 1} e^{-t} dt$또한 만약 $\alpha$ 가 양의 정수라면 다음과 같다.$ \Gamm..