전체 글

추정오차 (Error of Estimation) 추정오차 $ \epsilon $ 은 추정량과 목표모수와의 거리이다. 즉 다음과 같다.$$ \epsilon = | \hat{\theta} - \theta | $$추정오차를 통해 점추정 절차의 우수성을 측정할 수 있고, 당연히 추정오차가 작을수록 선호된다.이때 $ \hat{\theta} $ 가 확률변수이므로 $ \epsilon $ 역시 확률적 양이다. 따라서 측정 추정값에 대하여 얼마나 크고 작은지를 말할 수 없고, 다만 확률적 주장만 가능하다. 즉 다음과 같이 나타낼 수 있다.$$ P( \epsilon 만약 $ b $ 가 현실적 관점에서 작다고 간주할 수 있다면 당연히 $ P( \epsilon 반대로 $ P(\epsilon $$ \int_{\theta - b..

편향 (Bias) 편향은 추정량이 실제 모수와 얼마나 차이가 있는가를 나타내는 척도로 정확히는 추정량의 기댓값과 실제 모수의 차이를 말한다. 즉 모수를 $ \theta $ 라 하고, 추정량을 $ \hat{\theta} $ 라 할 때 추정량의 편향 $ B(\hat{\theta}) $ 는 다음과 같다.$$ B (\hat{\theta} ) = E(\hat{\theta}) - \theta $$당연히도 편향은 모수 추정에 유리하도록 작을수록 좋다.참고로 추정량의 평균제곱오차는 $ \operatorname{MSE}(\hat{\theta}) = E \left[ (\hat{\theta} - \theta)^2 \right] $ 인데, 이는 다시 쓰면 $ \operatorname{MSE}(\hat{\theta}) = V(..

추정 (Estimate) 통계학의 가장 큰 목적 중 하나는 표본을 통해 모집단을 추정하는 것이다. 모집단을 추정하는 것은 모집단의 특징에 관심을 갖는 것인데, 이러한 모집단의 특징을 모수(parameter)라 하고, 관심이 있는 모수를 목표모수(target parameter)라 한다. 목표모수를 알기 위해 표본을 추출하고 표본 데이터로부터 모수의 값을 추측하는 절차를 통계적 추정(statistical estimation)이라 한다.이러한 추정에는 두 가지 다른 형태가 있다. 하나는 점추정(point estimate)이고, 하나는 구간추정(interval estimate)이다. 점추정은 예를 들어 미지의 모평균에 가깝다고 생각되는 하나의 수치를 통해 추정하는 것이고, 구간추정은 미지의 모평균을 포함하리라 ..

중심극한정리 (CLT, Central Limit Theorem) 큰 수의 법칙(LLN)을 통해 표본의 크기가 커질 때 표본평균이 모평균에 거의 확실히 수렴하는 것을 확인하였다. 그러나 표본평균의 분포가 어떤 분포로 수렴하는지는 확인하지 못하였다. 중심극한정리는 표본의 크기가 커질 때 표본평균의 분포를 설명하는 정리로 다음과 같다.$ X_1, X_2, \cdots, X_n $ 이 $ E(X_i) = \mu $ 이고 $ V(X_i) = \sigma^2 $$ U_n = \dfrac{\sum_{i=1}^n X_i - n \mu}{\sigma \sqrt{n}} = \dfrac{\bar{X} - \mu}{\sigma / \sqrt{n}} $$그렇다면 $ U_n $ 의 분포함수는 $ n \to \infty $ 일 때..

큰 수의 법칙 (LLN, Law of Large Numbers) 큰 수의 법칙은 간단히 말하면 시행 횟수를 늘리면 실제 사건의 확률과 수학적 확률이 비슷해진다는 것을 말한다. 좀 더 자세히는 표본집단의 크기가 커지면 표본평균이 모평균과 가까워짐을 나타낸다.당연한 소리라 생각할 수 있지만, 이에 대한 증명을 통해 큰 수의 법칙이 맞다는 것이 확인되었기에 표본을 통해 모집단을 추론하는 통계학이 의미있다.단 코시 분포(Cauchy distribution)나 파레토 분포(Pareto distribution)와 같은 특수한 경우에는 사용하지 못한다는 한계가 존재하긴 한다. 큰 수의 약법칙 (WLLN, Weak Law of Large Numbers) $ X_1, X_2, \cdots, X_n $ 이 유한한 $ E(..

레비 연속성 정리 (Lévy's Continuity Theorem) 확률변수의 열 $ X_1, X_2, \cdots $ 에 대응하는 특성함수의 열을 $ \phi_1, \phi_2, \cdots $ 이라 하자. 여기서 특성함수는 다음과 같이 정의된다.$$ \phi_n(t) = E\left( e^{itX_n} \right) \qquad \forall t \in \mathbb{R} , \forall n \in \mathbb{N} $$만일 특성함수의 열이 어떤 함수 $ \phi $ 로 점별수렴한다고 가정하자. 즉 다음이 성립한다고 가정하자.$$ \lim_{n \to \infty} \phi_n (t) = \phi(t) $$그렇다면 아래 명제들은 모두 동치이다.$ X_n $ 이 어떤 확률변수 $ X $ 로 분포수렴..

특성함수 (Characteristic Function) 실수 $ t $ 에 대해 확률변수 $ X $ 에 대한 특성함수 $ \phi_X (t) $ 는 다음과 같이 정의된다.$$ \phi _X (t) = E \left( e^{itX} \right) $$이는 각 확률분포와 일대일대응되는 함수로 적률생성함수와 마찬가지로 이를 활용하여 기댓값이나 분산 등의 값을 얻어낼 수 있다. 일대일대응이기에 어떤 확률변수 $ X $ 와 $ Y $ 의 특성함수가 같다면 두 확률변수의 확률분포가 같다는 의미이고, 역으로 $ X $ 와 $ Y $ 의 확률분포가 같다면 특성함수 역시 같다.적률생성함수와 다른 점은 적률생성함수의 경우 일부 분포에 대해서는 존재하지 않을 수 있지만, 특성함수는 실수값에 대하여 항상 존재한다.독립인 두 ..

분포수렴 (Convergence in Distribution) $ X_1, X_2, \cdots $ 이 확률변수의 열이며 $ X $ 를 또다른 확률변수라 하고, $ X_n $ 과 $ X $ 의 분포함수(CDF)를 각각 $ F_{X_n} $ 과 $ F_X $ 로 나타내자.$$ \lim_{n \to \infty} F_{X_n} (x) = F_X(x) $$$ F_X $ 가 연속인 모든 $ x $ 에 대하여 위와 같다면 $ X_n $ 이 $ X $ 로 분포수렴한다고 하며 다음과 같이 표기한다.$$ X_n \overset{d}{\to} X $$중심극한정리(CLT)가 분포 수렴의 가장 유명한 예이다. 확률수렴 (Convergence in Probability) $ X_1, X_2, \cdots $ 이 확률변수의 열..

수열의 극한 (Limit Sequence) 임의의 각 실수 $ \epsilon > 0 $ 에 대하여 모든 $ n \geq N $ 에 대해 $ | a_n - L | $$ a_n \to L \qquad \text{or} \qquad \lim_{n\to\infty} a_n = L $$기호식으로 표현하면 다음과 같다.$$ \forall \epsilon > 0 \left( \exists N \in \mathbb{N} \left( \forall n \in \mathbb{N} \left( n \geq N \to | a_n - L | 위 수학적 정의보다 부정확하지만 말로 풀어 설명하면 $ n $ 이 $ \infty$ 로 갈 때 $ a_n $ 이 $ L $ 에 한없이 접근하면 수열 $ a_n $ 이 극한 $ L $ 에 ..

체르노프 부등식 (Chernoff Inequality) 임의의 확률변수 $ X $ 와 임의의 상수 $ c, t > 0 $ 에 대하여 다음이 성립한다.$$ P(X \geq c) \leq \dfrac{E(e^{tX})}{e^{tc}} $$이는 마르코프 부등식으로 증명 가능하다.$ g(x) = e^{tx} $ 는 가역이며 $ g $ 는 강한 증가함수이다. 따라서 마르코프 부등식에 의해 다음이 성립한다.$ P(X \geq c) = P(e^{tX} \geq e^{tc} \leq \dfrac{E(e^{tX})}{e^{tc}} $더 정확하게 증명도 가능하지만, 너무 길기에 생략한다.체르노프 부등식은 우변을 $ t $ 에 대해 최적화하여 코시-슈바르츠 부등식을 이용하는 것처럼 더 좁은 상계를 얻을 수 있다. 또한 $ ..