옌센 부등식 (Jensen Inequality)
일반적으로는 젠센 부등식으로 부른다. 덴마크 수학자 요한 옌센에 의해 발표된 부등식으로 옌센이라 부르는 것이 올바르겠으나 영어식 발음인 젠센으로 많이 불리는 것이다. 옌센 부등식은 다음과 같다.
확률변수 $X $ 에 대하여 $ g $ 가 볼록(convex) 함수라면 $ E(g(X)) \geq g(E(X)) $ 이다. 만일 $ g $ 가 오목(concave) 함수라면 $ E(g(X)) \leq g(E(X)) $ 이다. 두 경우 모두에서 등식이 성립하는 유일한 조건은 확률 $ 1 $ 로 $ g(X) = a + bX $ 가 성립하는 상수 $ a $ 와 $ b $ 가 존재하는 것이다. 증명은 다음과 같다.
만일 $ g $ 가 볼록 함수라면 $ g $ 에 대한 모든 접선은 $ g $ 아래에 위치한다. $ \mu = E(X) $ 라 하고 점 $ ( \mu, g(\mu)) $ 에서의 접선 $ y = a + bx $ 를 생각할 수 있다. 이때 $ \mu $ 에서 미분가능하면 접선은 유일하지만, 미분불가능하면 $ \mu $ 에 접하는 임의의 접선을 선택한다. $ g $ 가 볼록 함수이므로 모든 $ x $ 에 대하여 $ a + bx \leq g(x) $ 이다. 따라서 $ g(X) \geq a + bX $ 이다. 이때 양변에 기댓값을 취하면 $ E(g(X)) \geq E(a+bX) = a + bE(X) = a + b \mu = g(\mu) = g(E(X)) $ 이다.
등식이 성립한다고 가정할 때 $ Y = g(X) - a - bX $ 이라하면, $ E(Y) = 0 $ 인 확률변수이다. 따라서 $ P ( Y = 0) = 1 $ 이다. 그러므로 등식이 성립하는 필요충분조건은 $ P (g(X) = a + bX) = 1 $ 이다. 단 당연히 $ g(X) = a + bX $ 가 성립하는 상수 $ a $, $ b $ 가 존재해야 한다.
오목 함수의 경우에는 반대로 생각하면 동일하게 증명 가능하다.
$ X $ 는 양의 확률변수인 경우 $ \log $ 함수와 같이 사용하여 $ E (\log X ) \leq \log E(X) $ 로 사용하기도 하고, $ E(1/X) \geq 1 / E(X) $ 를 활용하기도 한다.
