[Mathematical Statistics] 베르누이분포(Bernoulli distribution)와 이항분포(binomial distribution)

---

베르누이분포 (Bernoulli Distribution)

 

• 베르누이 시행 (Bernoulli Tria)

시행 시 두 개의 결과, 즉 성공과 실패만 존재하는 시행이다. 시행에서 성공확률은 $ p $ 로 일정하다.

 

• 베르누이분포

$ X \sim \text{Bern}(p) $      or      $ X \sim \text{Bernoulli}(p) $

베르누이 시행의 분포를 말한다. 확률변수 $ X $ 가 성공확률이 $ p $ 인 베르누이분포를 따르는 경우 위와 같이 나타낸다. 실패 확률 $ 1-p $ 를 $ q $ 로 나타내기도 한다. 베르누이 시행이 이산적이기 때문에 당연히 $ X $ 는 이산확률변수이며 베르누이분포는 이산확률분포이다.

 

---

베르누이분포의 성질

 

$ X \sim \text{Bernoulli}(p) $ 일 때 다음이 성립한다.

• 확률질량함수 (PMF)

$$ p(x) = \begin{cases} p(0) = 0 \\ p(1) = p \end{cases} $$

• 기댓값

$$ E(X) = p $$

• 표준편차

$$ \sigma_X = \sqrt{p(1-p)} $$

 

---

이항분포 (Binomial Distribution)

 

• 이항실험 (Binomial Experiment)

이항실험은 베르누이 시행이 독립적으로 일어나는 실험이다. 다르게는 다수의 베르누이 시행이 i.i.d.를 따르면 이항실험이라 한다.

 

• 이항분포

$ X = Y_1 + Y_2 + \cdots + Y_n $ 이고, $ Y_i $ $ (i = 1, 2, 3, \dots, n ) $ 가 성공확률이 $ p $ 인 베르누이분포를 따르는 확률변수일 때, 각 $ Y_i $ 가 독립이라면 $ X $ 가 성공확률이 $ p $ 이고, 시행횟수가 $ n $ 인 이항분포를 따른다고 한다. 즉 이항실험의 분포이다.

$ X \sim B(n, p) $      or      $ X \sim \text{Bin}(n, p) $

확률변수 $ X $ 가 시행횟수가 $ n $ 이고, 성공 확률이 $ p $ 인 이항분포를 따를 때 위와 같이 나타낸다. 실패확률 $ 1-p $ 를 $ q $ 로 나타내기도 한다. 확률변수가 취할 수 있는 값이 이산적이기 때문에, 어찌보면 이산확률분포인 베르누이분포를 따르는 확률변수로 정의된 확률변수의 분포이기 때문에 이항분포는 이산확률분포이다.

성공확률 $ p $ 와 시행횟수 $ n $ 에 따라 이항분포의 형태가 결정된다. 만약 $ p > 0.5 $ 라면 왜도가 음수이고, 반대로 $ p < 0.5 $ 라면 왜도가 양수이다. 단 $ n $ 값이 커지면 기댓값을 중심으로 하는 대칭을 그리면서 폭이 점점 좁아진다. 따로 다루겠지만, $ np \geq 10 $, $ n(1-p) \geq 10 $ 이라면 정규분포로 근사하여 계산해도 무방할 정도로 정규분포에 가까워진다.

 

---

이항분포의 성질

 

$ X \sim B(n, p) $ 일 때 다음이 성립한다.

• 확률질량함수 (PMF)

$$ p(x) = \binom{n}{x} p^x (1-p)^{n-x} $$

$ \binom{n}{x} = C_x^n = \frac{n!}{x!(n-x)!} $ 이고, $ \binom{n}{x} $ 를 이항계수(binomial coefficient)라 한다.

• 기댓값

$$ E(X) = np $$

• 표준편차

$$ \sigma_X = \sqrt{np(1-p)} $$

• 적률생성함수 (MGF)

$$ M_X(t) = \left(1-p+pe^t\right)^n $$

$ M_X(t) = \sum_{x=0}^n e^{tx}p(x) $

$ = \sum_{x=0}^n e^{tx} \binom{n}{x} p^x(1-p)^{n-x} $

$ = \sum_{x=0}^n \binom{n}{x} \left(pe^t\right)^x (1-p)^{n-x} $

$ = \left( 1-p + pe^t \right)^n $

• 확률생성함수 (PGF)

$$ G_X(t) = (1-p+pt)^n $$