코시-슈바르츠 부등식 (Cauchy–Schwarz Inequality)
절대부등식으로 일반적인 형태는 아래와 같다.
$$ \| v \| ^2 \| w \| ^2 \geq | v \cdot w | ^2 $$
여기서 $ \| \| $ 는 벡터의 크기(참고링크)이고, $ \cdot $ 은 벡터의 내적(참고링크)이다.
이를 확률론에 끌어와 사용할 때는 일반적으로 아래와 같이 사용한다.
$$ E(X^2) E(Y^2) \geq E(XY)^2 $$
증명은 다음과 같다.
$ E[(Y-tX)^2] = E(Y^2)-2tE(XY)+t^2E(X^2) \geq 0 $
위 식을 $ t $ 로 편미분하고 $ 0 $ 으로 놓으면 다음과 같다.
$ \dfrac{\partial}{\partial t} E[(Y-tX)^2] = -2E(XY) + 2tE(X^2) = 0 $
$ \Rightarrow t = \dfrac{E(XY)}{E(X^2)} $
이를 원식에 대입해보자.
$ E(Y^2)-2\dfrac{E(XY)}{E(X^2)}E(XY)+\dfrac{E(XY)^2}{E(X^2)^2}E(X^2) \geq 0 $
$ E(Y^2) - 2 \dfrac{E(XY)^2}{E(X^2)}E(XY) + \dfrac{E(XY)^2}{E(X^2)}E(XY) \geq 0 $
$ E(Y^2) - \dfrac{E(XY)^2}{E(X^2)}E(XY) \geq 0 $
$ E(XY)^2 \leq E(X^2)E(Y^2) $
나아가 다음과 같이 쓸 수도 있다.
$ | E(XY) \leq \sqrt{E(X^2)E(Y^2)} $
결합확률 기댓값에 대한 주변확률에 의한 상계
$ X $ 와 $ Y $ 가 독립이 아닌 이상 $E(XY) $ 의 계산을 위해선 반드시 결합 확률밀도함수를 알아야 한다. 다른 말로는 결합 확률밀도함수를 알지 못한다면 $ E(XY) $ 를 계산할 수 없다. 이때 코시-슈바르츠 부등식을 통해 $ X $ 와 $ Y $ 의 주변확률의 2차 적률인 $ E(X^2) $ 와 $ E(Y^2) $ 에 의한 $ E(XY) $ 의 상계를 확인할 수 있다.
상관계수와 관계
상관계수 $ \rho $ 의 범위가 $ [-1, 1] $ 인 것도 코시-슈바르츠 부등식을 통해 확인할 수 있다. 중심화된 확률변수 $ X- E(X) $ 와 $Y - E(Y) $ 에 코시-슈바르츠 부등식을 적용하면 다음과 같다.
$ | E [(X-E(X))(Y-E(Y))]| \leq \sqrt{E[(X-E(X))^2]E[(Y-E(Y))^2]} $
좌변은 $ | E[XY-E(X)Y - XE(Y) + E(X)E(Y)] | = | E(XY) - E(X)E(Y)| = | \operatorname{Cov}(X, Y)| $ 이고, 우변은 $ \sqrt{E[(X-E(X))^2]E[(Y-E(Y))^2]} = \sqrt{V(X)V(Y)} $ 이다.
즉 다음과 같다.
$ \dfrac{| \operatorname{Cov}(X, Y)|}{\sqrt{V(X)V(Y)}} = \left| \dfrac{\operatorname{Cov}(X, Y)}{\sqrt{V(X)V(Y)}} \right| = | \rho | \leq 1 $
$ \therefore -1 \leq \rho \leq 1 $
2차 적률 방법
$ X $ 가 음이 아닌 확률변수일 때 $ P(X=0) $ 의 상계를 코시-슈바르츠 부등식을 이용하여 구할 수 있다. $ X > 0 $ 에 대한 표시확률변수를 활용하면 $ X = X I_{X > 0} $ 으로 나타낼 수 있고, 이를 코시-슈바르츠 부등식에 의해 다음과 같이 나타낼 수 있다.
$ E(X) = E(XI_{X>0} ) \leq \sqrt{E(X^2)E(I_{X>0})} $
$ E(X)^2 \leq E(X^2) E(I_{X>0}) $
$ E(I_{X>0}) \geq \dfrac{E(X)^2}{E(X^2)} $
근본가교(참고링크)를 적용하면 다음과 같다.
$ P(X>0) \geq \dfrac{E(X)^2}{E(X^2)} $
이는 $ 1 - \dfrac{E(X)^2}{E(X^2)} = \dfrac{E(X^2) - E(X)^2}{E(X^2)} = \dfrac{V(X)}{E(X^2)} $ 이므로 동등하게 다음이 성립한다.
$ P(X=0) \leq \dfrac{V(X)}{E(X^2)} $
