Statistics/Mathematical Statistics

확률변수의 독립 (Independence) 두 확률변수가 상관관계가 없다면, 즉 어떤 확률변수의 값이 다른 확률변수에 영향을 주지 않는다면 두 확률변수를 독립이라 하고 다음과 같이 나타낸다. $ F $ 는 누적분포함수이다.$$ X \bot Y \Longleftrightarrow F_{X, Y}(x, y) = F_X(x) F_Y(y) $$두 이산확률변수 $ X $ 와 $ Y $ 가 다음을 만족하면 두 확률변수가 독립이라 한다.$$ p_{X, Y}(x, y) = p_X(x) p_Y(y) \qquad \forall x, y $$$$ p_{X, Y}(x \mid y) = p_X(x) \qquad \forall x, y $$만약 두 확률변수가 연속확률변수라면 다음을 만족할 때 두 확률변수가 독립이라 한다.$$ f..

결합분포 (Joint Distribution) 확률실험의 각 결과에 한 쌍의 실수를 부여하는 확률변수가 있을 수 있다. 다르게 보면 확률변수 여러개를 결합하여 생각할 수 있다.예를 들어서 두 동전을 던졌을 때 각각 동전의 앞면의 수를 결합하여 확인할 수도 있다. 표로 확인하면 다음과 같을 것이다. $ X $01합$ Y $01/41/41/211/41/41/2합1/21/21그래프를 통해 결합분포를 본다면 아래와 같이도 나타낼 수 있다. 그래프는 위 표와 다른 분포이다.만약 결합되는 두 확률변수의 결합분포함수가 연속이라면 두 확률변수들이 공동연속(jointly continuous)이라 하고, 이 결합분포의 확률밀도함수가 존재하면 결합되는 두 확률변수를 공동연속확률변수(jointly continuous rand..

불연속함수의 기댓값 확률변수 $ X $ 가 연속확률변수를 따르는 듯 보이지만, 연속확률변수가 끊어져 연속이 성립하지 않는 경우가 있을 수 있다.예를 들어 확률변수 $ X $ 가 어느 생수 업체의 일간 판매량이고 다음의 확률밀도함수를 가진다고 하자.$$ f(x) = x^2 \qquad 0 \leq x \leq 2 $$이때 판매량에 대한 수익 $ g(X) $ 가 다음과 같다고 가정하자.$$ g(X) = \begin{cases} 100X & 0 \leq X \leq 1 \\ 150X & 1 그렇다면 판매량에 대한 수익이 따르는 분포는 연속적이지 않다. 이 경우 연속확률변수에 대한 기댓값 정의를 사용하여 구할 수 있다.$$ E(X) = \int_{-\infty}^\infty g(x)f(x) dx = \int_0..

체비쇼프 부등식 (Chebyshev Ineuality) 절대부등식으로 확률분포를 정확히 모를 때 해당 확률분포의 기댓값과 표준편차 값만으로 특정한 확률의 최솟값만큼은 알아낼 수 있는 부등식이다.확률분포 $ X $ 의 기댓값을 $ \mu $, 표준편차를 $ \sigma $ 라 하면 다음이 성립한다. 단 $ k $ 는 양의 상수이다.$ P(|X-\mu|이는 확률분포와 상관없이, 즉 이산확률분포이든 연속확률분포이든 성립한다.증명은 다음과 같다. 이때 $ X $ 를 연속확률변수라 가정하였다.$$ V(X) = \int_{-\infty}^\infty (x - \mu)^2 f(x) dx $$$$ = \int_{-\infty}^{\mu -k\sigma} (x - \mu)^2 f(x) dx + \int_{\mu -k\s..

베타분포 (Beta Distribution) 확률변수 $ X $ 의 밀도함수가 $ \alpha > 0 $ 와 $ \beta > 0 $ 에 대해 다음과 같다면 확률변수 $ X $ 가 베타분포를 따른다고 한다.$$ f(x) = \dfrac{x^{\alpha -1}(1-x)^{\beta-1}}{B(\alpha, \beta)} \qquad 0 \leq x \leq 1 $$더보기베타함수 $ B $ 는 다음과 같이 정의된다.$ B(\alpha, \beta) = \int_0^1 t^{\alpha-1} (1-t)^{\beta-1} dt  = \dfrac{\Gamma{\alpha}\Gamma{\beta}}{\Gamma{\alpha+\beta}} $또한 확률변수 $ X $ 가 매개변수 $ \alpha $, $ \beta ..

지수분포 (Exponential Distribution) 확률변수 $ X $ 가 지수분포를 따른다는 말은 형상모수가 1 인 감마분포를 따른다는 말과 같다. 또한 사건이 독립적일 때 다음 사건이 일어날 때까지의 대기 시간은 지수분포를 따른다.확률변수 $ X $ 가 대기 시간이 $ \beta $ 인 지수분포를 따른다면 다음과 같이 나타낸다.$$ X \sim \text{Expo}(\beta) $$푸아송분포에서 관심을 가진 것이 명시된 영역에서 특정 사건이 평균적으로 발생하는 사건이 $ \lambda $ 일 때 특정 사건이 $ x $ 번 발생할 확률이었다면, 지수분포는 다음 사건까지의 평균적인 대기 시간이 $ \beta $ 일 때의 확률에 관심을 가지는 것이다. 기하분포와 비교하면 기하분포는 첫번째 성공까지의 ..

감마분포 (Gamma Distribution) 어떤 확률변수들은 항상 음이 아니고, 여러 이유에서 분포가 비대칭이다. 대표적으로 감마분포가 그러하다.확률변수 $ X $ 의 밀도함수가 $ \alpha > 0 $ 와 $ \beta > 0 $ 에 대해 다음과 같다면 확률변수 $ X $ 가 감마분포를 따른다고 한다.$$ f(x) = \dfrac{x^{\alpha - 1}e^{-x / \beta}}{\beta^\alpha \Gamma(\alpha)} \qquad 0 \leq x 더보기감마함수 $ \Gamma $ 는 다음과 같이 정의된다.$ \Gamma(\alpha) = \int_0^\infty t^{\alpha - 1} e^{-t} dt $또한 만약 $ \alpha $ 가 양의 정수라면 다음과 같다.$ \Gamm..

확률값 계산 $ P (a \leq X \leq b ) $ 의 값을 구하기 위해 먼저 $ X $ 를 표준화하고 그 후에 확률을 계산하면 다음과 같이 나타낼 수 있다. 이때 $ \varphi $ 는 표준정규분포의 확률밀도함수이다.$$ P(a \leq X \leq b) = P\left( \dfrac{a-\mu}{\sigma} \leq \dfrac{X-\mu}{\sigma} \leq \dfrac{b-\mu}{\sigma} \right) $$$$ = P(z_a \leq Z \leq z_b) $$$$ = \int_{-\infty}^{z_b} \varphi(t) dt - \int_{-\infty}^{z_a} \varphi(t) dt $$$$ = \Phi(z_b) - \Phi(z_a) $$또한 확률밀도함수의 정의를 생..

정규분포 (Normal Distiribution) 확률변수 $ X $ 의 밀도함수가 $ \sigma > 0 $ 와 $ -\infty $$ f(x) = \frac{1}{\sigma \sqrt{2 \pi}} e^{-\frac{(x-\mu)^2}{2\sigma^2}} \qquad -\infty 또한 다음과 같이 확률변수 $ X $ 가 기댓값이 $ \mu $ 이고, 표준편차가 $ \sigma $ 인 정규분포를 따름을 나타낸다.$$ X \sim N(\mu, \sigma^2) $$가우스가 처음 정립했기 때문에 가우스분포(Gaussian distribution)라고도 하나 정규분포라 부르는 것이 일반적이다.확률밀도함수를 그래프로 그리면 아래와 같은데, 대칭적(symmetric)인 종 모양 그래프이다.그림에서도 확인할..

균등분포의 보편성 균등분포의 보편성은 균등분포를 균일분포라 하기도 한다는 점에서 균일분포의 보편성이라고도 하며, 분위수 변환(quantile transformation), 확률적분변환(probability integral transform), 역변환 샘플링(Inverse transform sampling), 혹은 시뮬레이션의 기본 정리(fundamental theorem of simulation)로도 설명 가능하다.주어진 $ U(0, 1) $ 에서 원하는 모든 연속분포를 갖는 확률변수를 구축할 수 있으며 역도 성립한다.$$ X \sim U(0, 1) \longleftrightarrow Y \sim \text{Arbitrary PDF} $$만약 $ F $ 가 분포의 서포트 상에서 연속이고 순증가(stric..