[Mathematical Statistics] 확률의 정의와 조건부확률 및 확률법칙

---

기본 용어

 

• 확률 실험 (Random Experiment)

실험결과가 확률적으로 나타나는 실험으로 관측값을 생성하는 과정을 말한다.

• $ S $ or $ \Omega $ | 표본공간 (Sample Space)

모든 가능한 표본점들로 이루어진 집합, 즉 확률실험에서 얻을 수 있는 모든 가능한 결과 집합이다.

표본공간에 포함되는 결과들은 완전하고 상호배타적이어야 한다. 완전하다(exhaustive)는 것은 나열된 결과들은 모든 가능한 결과들을 포함한다는 뜻이고, 상호배타적(mutually exclusive)이라는 것은 두 가지 결과가 동시에 발생할 수 없다는 뜻이다.

• 사건 (Event)

표본공간의 부분집합으로 확률실험의 결과가 사건 집합의 원소이면 사건이 일어났다는 뜻이다.

• $ P $ | 확률함수 (Probabililty Function)

사건들에 대해 각각의 확률을 정의하는 함수로, 함수의 값이 확률이다.

 

---

확률 (Probability)

 

확률은 어떤 사건이 발생하는 것에 대한 가능성의 척도이다. 0~1 사이 실수로 표현되며 어떤 의미에서는 굉장히 반직관적일 수 있다. 예를 들어 한 반에서 두 명 이상의 학생이 서로 생일이 같은 가능성(생일 문제)은 굉장히 낮아보이지만, 반 인원이 23명만 넘어가도 50%를 넘기 시작하며 30명에서는 약 70%까지 상승한다. 또한 확률이 0 이라고 해서 반드시 일어나지 않는 사건인 것도 아니다. 예를 들어 연속확률변수에서 어떤 특정한 값을 가질 확률은 0 이지만, 이것이 특정 사건이 절대 일어나지 않는다는 뜻은 아니다.

확률을 나이브하게 정의한다면 유한표본공간 $ S $ 에서 $ A $ 라는 사건이 일어난다고 할 때 $ A $ 의 발생에 대한 확률은 $ P(A) = \dfrac{|A|}{|S|} $ 라고 정의할 수 있다. 그러나 이 정의는 $ S $ 는 유한모집단이며, 각 단순사건의 발생 가능성이 모두 같아야 한다는 대칭성(symmetry)을 만족할 때만 성립한다.

엄밀하게 정의한다면 $ S $ 를 어떤 실험과 연관된 표본공간이라 할 때 $ S $ 에 속한 모든 사건 $ A $ 에 대하여 다음 공리를 만족하는 $ A $ 의 $ P(A) $ 가 확률이다.

• 공리 1

$$ P(A) \geq 0 $$

• 공리 2

$$ P(S) = 1 $$

• 공리 3

만일 $ A_1, A_2, A_3, \ldots $ 가 $ S $ 에 속하는 일련의 쌍별로 상호배반적인 사건들, 즉 만일 $ i \neq j $ 이면 $ A_i \cap A_j = \emptyset $ 인 것을 만족한다면 다음이 성립된다. $$ P(A_1 \cup A_2 \cup A_3 \cup \cdots ) = \sum^{\infty}_{i = 1} P(A_i) $$

 

---

조건부확률 (Conditional Probability)

 

어떤 사건이 발생했을 때 특정 사건이 발생할 확률이다. 잘 생각해본다면 모든 사건은 사실 조건 하에 일어나기 때문에 모든 확률은 조건부확률이라고도 볼 수 있다.

아래와 같이 조건부확률을 표시한다. 아래는 사건 $ B $ 가 발생했을 때 사건 $ A $ 가 발생할 확률이다.

$$ P(A \mid B) = \frac{P(A \cap B)}{P(B)} \quad (P(B) > 0) $$

 

---

사건의 독립 (Independence)

 

두 사건이 독립적이라는 것은 한 사건의 발생이 다른 사건의 발생에 전혀 영향을 미치지 않는다는 것을 의미한다. 즉 어떤 사건이 발생하던, 발생하지 않던 특정 사건이 발생할 확률이 달라지지 않는다면 두 사건은 독립적이라 한다.

아래는 사건 $ B $ 와 사건 $ A $ 가 독립이라는 것을 나타낸 것이다.

$$ P(A \mid B) = P(A) $$

$$ P(B \mid A) = P(B) $$

$$ P(A \cap B) = P(A) P(B) $$

또한 두 사건이 독립이면 두 사건의 여사건 역시 독립이다. 즉 아래와 같다.

$$ P(A^C \mid B) = P(A^C) $$

$$ P(A \mid B^C) = P(A) $$

$$ \vdots $$

 

---

확률법칙

 

• 여사건 법칙

$$ P(A^C) = 1 - P(A) $$

• 덧셈 법칙

$$ P(A \cup B) = P(A) + P(B) - P(A \cap B) \Longrightarrow P(A \cup B) \leq P(A) + P(B) $$

$$ P(A_1 \cup A_2 \cup A_3) = \\ \underbrace{P(A_1) + P(A_2) + P(A_3)}_{p_1} - \underbrace{(P(A_1 \cap A_2) + P(A_2 \cap A_3) + P(A_3 \cap A_1))}_{p_2} + \underbrace{P(A_1 \cap A_2 \cap A_3)}_{p_3} \\ = p_1 - p_2 + p_3 $$

$$ P(A_1 \cup A_2 \cdots \cup A_k) = p_1 - p_2 + p_3 - \cdots + (-1)^{k+1} p_k $$

• 곱셈 법칙

$$ P(A \cap B) = P(B \mid A)P(A) = P(A \mid B) P(B) $$

$$ P(A_n \cap \cdots \cap A_1) = P(A_n \mid A_{n-1} \cap \cdots \cap A_1) P (A_{n-1} \mid A_{n-2} \cap \cdots \cap A_1) \cdots P(A_2 \mid A_1)P(A_1) $$

• 독립일 때 곱셈 법칙

$$ P(A \mid B) = P(A) \\ \therefore P(A \cap B) = P(A \mid B) P(B) = P(A) P(B) $$