수리통계학

이변량 정규분포 이변량 정규분포는 두 확률변수의 분포가 정규분포를 따르는 확률분포로 다변량 정규분포의 특수한 형태이다.확률변수 $ X_1, X_2 $ 가 각각 $ N(\mu_1, \sigma_1^2) $, $N(\mu_2, \sigma_2^2)$ 를 따르며 이변량 정규분포를 따른다면 이변량 밀도함수는 다음과 같다.$$ f(x_1, x_2) = \dfrac{e^{-q(x_1, x_2)/2}}{2\pi \sigma_1 \sigma_2 \sqrt{1-\rho ^2 }} \qquad (-\infty $$ q(x_1, x_2) = \dfrac{1}{1-\rho^2} \left[ \dfrac{(x_1 - \mu_1)^2}{\sigma_1^2} - 2 \rho \dfrac{(x_1 - \mu_1)(x_2 - \mu_..

조건부 기댓값 및 분산과 최소제곱 회귀직선과의 관계  $ X $ 와 $ Y $ 가 결합확률함수 $ p (x, y) $ 를 가지는 공동이산 확률변수라 가정하면 조건부 기댓값과 조건부 분산은 다음과 같을 것이다.$ \mu_{Y \mid x} = E(Y \mid x) = \sum_{y} y p(y \mid x) $$ \sigma^2 _{Y \mid x} = E \left( [ Y - E(Y \mid x)^2 \mid x \right) = \sum_y [y-E(Y \mid x)]^2 p(y \mid x)  = E(Y^2 \mid x) - E(Y \mid x)^2 $이제 $ E ( Y \mid x) $ 를 $ x $ 단독의 함수, $ E(X \mid y) $ 를 $ y $ 단독의 함수라 할 수 있다. 이때 $ E..

조건부 기댓값 어떤 확률변수 $ X_1 $ 과 $ X_2 $ 에 대해 $ X_2 = x_2 $ 라 주어진 경우에 $ X_1 $ 의 함수인 $ g(X_1) $ 의 조건부 기댓값은 만약 $ X_1 $ 과 $ X_2 $ 가 공동연속이면 다음과 같이 정의한다.$$ E\left[ g(X_1) \mid X_2 = x_2 \right] = \int_{-\infty}^\infty g(x_1) f(x_1 \mid x_2) dx_1 $$만약 공동이산이면 다음과 같이 정의한다.$$ E\left[ g(X_1) \mid X_2 = x_2 \right] = \sum_{\forall x_1} g(x_1) p(x_1 \mid x_2) $$ 전체 기댓값의 법칙 (Law of Total Expectation) 반복 기댓값의 법칙(law..

다항분포 (Multinomial Distribution) 다항실험 (Multinomial Experiment)이항실험의 일반화로 다음과 같은 성질을 가진다. 실험은 $ n $ 번의 동일한 시행으로 이뤄지며, 각 시행의 기본결과는 $k $ 개의 부류 중 하나에 속한다.단일 시행의 기본결과가 $ i $ 번째 부류에 속할 확률을 $ p_i $ $(i = 1, 2, \cdots, k) $ 라 하면 $ \sum_{i=1}^k p_i = 1 $ 이고, 이 확률은 시행마다 동일하게 유지된다. 또한 시행들을 i.i.d.를 따른다.이때 관심있는 확률변수는 $ X_1, X_2, \cdots, X_k $ 로 $ X_i $ 는 기본결과가 $ i $ 번째 부류에 속하는 시행의 횟수이며 $ \sum_{i=1}^k X_i = n ..

확률변수의 선형함수에 대한 기댓값과 분산 표본의 측정값들의 선형함수인 모수추정량을 위해 확률변수의 선형함수에 대한 기댓값과 분산을 알아야 한다.예를 들어 $ Y_1, Y_2, \cdots, Y_n $ 과 $ X_1, X_2, \cdots, X_m $ 이 $ E\left( Y_i \right) = \mu_{y_i} $ 이고, $ E\left( X_i \right) = \mu_{x_i} $ 인 확률변수라 하고, $ a_1, a_2, \cdots, a_n $ 과 $ b_1, b_2, \cdots, b_m $ 이 상수이며, $ U_1 $ 과 $ U_2 $ 가 다음과 같다고 가정하자.$ U_1 = \sum_{i=1}^n a_i Y_i $,     $ U_2 = \sum_{i=1}^m b_i X_i $그렇다면 다음..

확률변수 함수의 기댓값 일변량 확률변수의 함수의 기댓값을 구할 수 있듯이 다변량 확률변수의 함수 역시 기댓값을 구할 수 있다. 이산확률변수의 함수$ g(X_1, X_2, \cdots, X_n) $ 이 확률변수 $ X_1, X_2, \cdots, X_n $ 의 함수이며 $ X_1, X_2, \cdots, X_n $ 이 이산확률변수이고 $ p(x_1, x_2, \cdots, x_n) $ 의 결합확률함수를 가진다면 기댓값은 다음과 같다.$$ E\left[ g(X_1, X_2, \cdots, X_n) \right] = \sum_{\forall x_n} \cdots \sum_{\forall x_2} \sum_{\forall x_1} g(x_1, x_2, \cdots, x_n) p(x_1, x_2, \cdots, ..

확률변수의 독립 (Independence) 두 확률변수가 상관관계가 없다면, 즉 어떤 확률변수의 값이 다른 확률변수에 영향을 주지 않는다면 두 확률변수를 독립이라 하고 다음과 같이 나타낸다. $ F $ 는 누적분포함수이다.$$ X \bot Y \Longleftrightarrow F_{X, Y}(x, y) = F_X(x) F_Y(y) $$두 이산확률변수 $ X $ 와 $ Y $ 가 다음을 만족하면 두 확률변수가 독립이라 한다.$$ p_{X, Y}(x, y) = p_X(x) p_Y(y) \qquad \forall x, y $$$$ p_{X, Y}(x \mid y) = p_X(x) \qquad \forall x, y $$만약 두 확률변수가 연속확률변수라면 다음을 만족할 때 두 확률변수가 독립이라 한다.$$ f..

결합분포 (Joint Distribution) 확률실험의 각 결과에 한 쌍의 실수를 부여하는 확률변수가 있을 수 있다. 다르게 보면 확률변수 여러개를 결합하여 생각할 수 있다.예를 들어서 두 동전을 던졌을 때 각각 동전의 앞면의 수를 결합하여 확인할 수도 있다. 표로 확인하면 다음과 같을 것이다. $ X $01합$ Y $01/41/41/211/41/41/2합1/21/21그래프를 통해 결합분포를 본다면 아래와 같이도 나타낼 수 있다. 그래프는 위 표와 다른 분포이다.만약 결합되는 두 확률변수의 결합분포함수가 연속이라면 두 확률변수들이 공동연속(jointly continuous)이라 하고, 이 결합분포의 확률밀도함수가 존재하면 결합되는 두 확률변수를 공동연속확률변수(jointly continuous rand..

불연속함수의 기댓값 확률변수 $ X $ 가 연속확률변수를 따르는 듯 보이지만, 연속확률변수가 끊어져 연속이 성립하지 않는 경우가 있을 수 있다.예를 들어 확률변수 $ X $ 가 어느 생수 업체의 일간 판매량이고 다음의 확률밀도함수를 가진다고 하자.$$ f(x) = x^2 \qquad 0 \leq x \leq 2 $$이때 판매량에 대한 수익 $ g(X) $ 가 다음과 같다고 가정하자.$$ g(X) = \begin{cases} 100X & 0 \leq X \leq 1 \\ 150X & 1 그렇다면 판매량에 대한 수익이 따르는 분포는 연속적이지 않다. 이 경우 연속확률변수에 대한 기댓값 정의를 사용하여 구할 수 있다.$$ E(X) = \int_{-\infty}^\infty g(x)f(x) dx = \int_0..

체비쇼프 부등식 (Chebyshev Ineuality) 절대부등식으로 확률분포를 정확히 모를 때 해당 확률분포의 기댓값과 표준편차 값만으로 특정한 확률의 최솟값만큼은 알아낼 수 있는 부등식이다.확률분포 $ X $ 의 기댓값을 $ \mu $, 표준편차를 $ \sigma $ 라 하면 다음이 성립한다. 단 $ k $ 는 양의 상수이다.$ P(|X-\mu|이는 확률분포와 상관없이, 즉 이산확률분포이든 연속확률분포이든 성립한다.증명은 다음과 같다. 이때 $ X $ 를 연속확률변수라 가정하였다.$$ V(X) = \int_{-\infty}^\infty (x - \mu)^2 f(x) dx $$$$ = \int_{-\infty}^{\mu -k\sigma} (x - \mu)^2 f(x) dx + \int_{\mu -k\s..