'분류 전체보기' 카테고리의 글 목록 (12 Page)

[Mathematical Statistics] 체르노프 부등식(Chernoff inequality)

2025.02.02·

Statistics/Mathematical Statistics

체르노프 부등식 (Chernoff Inequality) 임의의 확률변수

X

$X$ 와 임의의 상수

c, t > 0

$c, t > 0$ 에 대하여 다음이 성립한다.

P (X \geq c) \leq \frac{E (e^{t X})}{e^{t c}}

$P(X \geq c) \leq \dfrac{E(e^{tX})}{e^{tc}}$ 이는 마르코프 부등식으로 증명 가능하다.

g (x) = e^{t x}

$g(x) = e^{tx}$ 는 가역이며

g

$g$ 는 강한 증가함수이다. 따라서 마르코프 부등식에 의해 다음이 성립한다.

P (X \geq c) = P (e^{t X} \geq e^{t c} \leq \frac{E (e^{t X})}{e^{t c}}

$P(X \geq c) = P(e^{tX} \geq e^{tc} \leq \dfrac{E(e^{tX})}{e^{tc}}$ 더 정확하게 증명도 가능하지만, 너무 길기에 생략한다.체르노프 부등식은 우변을

t

$t$ 에 대해 최적화하여 코시-슈바르츠 부등식을 이용하는 것처럼 더 좁은 상계를 얻을 수 있다. 또한 $ ..

[Mathematical Statistics] 마르코프 부등식(Markov inequality)

2025.02.02·

Statistics/Mathematical Statistics

마르코프 부등식 (Markov Inequality) 러시아 수학자 안드레이 마르코프의 이름을 딴 확률론의 절대부등식으로 간단하며 굉장히 많이 사용된다. 이는 확률변수

X

$X$ 과 양수

c

$c$ 에 대하여 다음과 같다.

\frac{E (X)}{c} \geq P (X \geq c)

$\dfrac{E(X)}{c} \geq P(X \geq c)$ 증명은 다음과 같다.

X \geq 0

$X \geq 0$ 이므로 임의의 양수

c

$c$ 에 대하여 다음 부등식이 성립한다.

X \geq c \cdot I_{X \geq c}

$X \geq c \cdot I_{X \geq c}$ 여기서 기댓값을 취하면 다음과 같다.

E (X) \geq E (c \cdot I_{X \geq c}) = c E (I_{X \geq c})

$E(X) \geq E( c \cdot I_{X \geq c}) = c E(I_{X \geq c})$ 근본가교를 적용하면 다음과 같다.

E (X) \geq c P (X \geq c)

$E(X) \geq c P(X \geq c)$ 양변을

c

$c$ 로 나누면 다음과 같다.$..

[Mathematical Statistics] 섀넌 엔트로피(Shannon entropy)와 미분 엔트로피(differential entropy) 그리고 쿨백-라이블러 발산(Kullback-Leibler divergence) 및 옌센-섀넌 발산(Jensen-Shannon divergence)

2025.02.02·

Statistics/Mathematical Statistics

섀넌 엔트로피 (Shannon Entropy) 정보 엔트로피(information entropy)는 확률변수의 불확실성(uncertainty)을 정량화하는 척도이다. 일반화된 레니 엔트로피(Rényi entropy)도 있지만, 확률론에서는 섀넌 엔트로피가 많이 사용된다.이산확률변수

X

$X$ 의 섀넌 엔트로피

H (X)

$H(X)$ 는 다음과 같이 정의된다.

H (X) = - \sum x \in X p (x) log p (x)

$H(X) = - \sum_{x \in \mathcal{X}} p(x) \log p(x)$ 보통

log

$\log$ 의 밑은

2

$2$ 이며

$\mathcal{X}$ 는

$X$ 가 취할 수 있는 값들의 집합, 즉 치역이다. 또한 위 엔트로피의 정의에서 알 수 있지만, 엔트로피는 확률에만 의존한다.이렇게 정의된 엔트로피

$H(X)$ 는 $ - \l..

[Mathematical Statistics] 옌센 부등식(Jensen inequality)

2025.02.02·

Statistics/Mathematical Statistics

옌센 부등식 (Jensen Inequality) 일반적으로는 젠센 부등식으로 부른다. 덴마크 수학자 요한 옌센에 의해 발표된 부등식으로 옌센이라 부르는 것이 올바르겠으나 영어식 발음인 젠센으로 많이 불리는 것이다. 옌센 부등식은 다음과 같다.확률변수

$X$ 에 대하여

$g$ 가 볼록(convex) 함수라면

$E(g(X)) \geq g(E(X))$ 이다. 만일

$g$ 가 오목(concave) 함수라면

$E(g(X)) \leq g(E(X))$ 이다. 두 경우 모두에서 등식이 성립하는 유일한 조건은 확률

$1$ 로

$g(X) = a + bX$ 가 성립하는 상수

$a$ 와

$b$ 가 존재하는 것이다. 증명은 다음과 같다.만일

$g$ 가 볼록 함수라면

$g$ 에 대한 모든 접..

[Mathematical Statistics] 코시-슈바르츠 부등식(Cauchy–Schwarz inequality)

2025.02.02·

Statistics/Mathematical Statistics

코시-슈바르츠 부등식 (Cauchy–Schwarz Inequality) 절대부등식으로 일반적인 형태는 아래와 같다.

$\| v \| ^2 \| w \| ^2 \geq | v \cdot w | ^2$ 여기서

$\| \|$ 는 벡터의 크기(참고링크)이고,

$\cdot$ 은 벡터의 내적(참고링크)이다.이를 확률론에 끌어와 사용할 때는 일반적으로 아래와 같이 사용한다.

$E(X^2) E(Y^2) \geq E(XY)^2$ 증명은 다음과 같다.

$E[(Y-tX)^2] = E(Y^2)-2tE(XY)+t^2E(X^2) \geq 0$ 위 식을

$t$ 로 편미분하고

$0$ 으로 놓으면 다음과 같다.$ \dfrac{\partial}{\partial t} E[(Y-tX)^2] = -2E(XY) + 2t..

[Mathematical Statistics] F-분포(F-distribution)

2025.02.01·

Statistics/Mathematical Statistics

F-분포 (F-distribution) 어떤 확률변수

$W_1$ 과

$W_2$ 가 독립이며 자유도가 각각

$\nu_1$ ,

$\nu_2$ 인 카이제곱분포를 따를 때

$F$ 가 다음과 같이 정의된다면

$F$ 는 분자의 자유도가

$\nu_1$ 이고 분모의 자유도가

$\nu_2$ 인 F-분포를 따른다.

$F = \dfrac{W_1 / \nu_1}{W_2 / \nu_2} \sim F(\nu_1, \nu_2)$ 즉 카이제곱분포를 따르는 두 확률변수의 비율이 F-분포를 따른다.참고로 당연하겠지만,

$F \sim F(\nu_1, \nu_2)$ 일 때

$\dfrac{1}{F} \sim F(\nu_2, \nu_1)$ 이다. 더하여 F-분포의 누적분포를

$F_\alpha$ 로 나타낸..

[Mathematical Statistics] t-분포(Student's t-distribution)

2025.01.31·

Statistics/Mathematical Statistics

$t$ -분포 (Student's

$t$ -Distribution) 분포 자체와는 별 상관 없는 이야기지만 이름에 Student가 붙은 이유는 이 분포를 제안한 윌리엄 고셋이 해당 논문을 낼 때 가명으로 Student를 사용했기 때문이다.

$Z \sim N(0, 1)$ 과

$W \sim \chi^2 (\nu)$ 에 대하여

$Z$ 와

$W$ 가 독립일 때

$T = Z / \sqrt{W / \nu}$ 라면

$T$ 가

$t$ -분포를 따른다고 하며 다음과 같다.

$T = \dfrac{Z}{\sqrt{W / \nu}} \sim t (\nu)$ 이를 응용할 수 있다. i.i.d.인

$X_i$

$(i = 1, 2, \dots, n)$ 에 대하여 $ X \sim N(\mu, \sigma^2) ..

[Mathematical Statistics] 카이제곱분포(chi-square distribution)

2025.01.31·

Statistics/Mathematical Statistics

카이제곱분포 (Chi-Square Distribution) 카이제곱분포는 감마분포의 특수한 형태이면서

$k$ 개의 서로 독립적인 표준정규분포를 따르는 확률변수를 제곱한 다음 합하여 얻어지는 확률변수의 분포이다. 즉

$X_i \sim N(\mu, \sigma^2)$

$(i = 1, 2, \dots, n)$ 에 대하여

$Z_i = (X_i - \mu) / \sigma$ 일 때

$Z_i^2$ 의 합,

$\sum_{i=1}^n Z_i^2$ 은 자유도가

$n$ 인 카이제곱분포를 따른다.

$\sum_{i=1}^n Z_i^2 \sim \chi^2 (n)$ 참고로 표본을 추출하여 만들어지는 표본분산

$S^2$ 을 이용한

$(n-1)S^2 / \sigma^2$ 은 자유도가 $ n-1 ..

[Mathematical Statistics] 표본평균과 표본분산의 표집분포

2025.01.25·

Statistics/Mathematical Statistics

표본평균의 표집분포

$X_1, X_2, \cdots, X_n$ 이 평균이

$\mu$ 이고, 분산이

$\sigma^2$ 인 정규분포에서의 크기가

$n$ 인 확률분포라 할 때 표본평균인

$\bar{X}$ 는 평균이

$\mu_{\bar{X}} = \mu$ 이고, 분산이

$\sigma_{\bar{X}}^2 = \dfrac{\sigma^2}{n}$ 인 정규분포를 따른다. 즉 다음과 같다.

$\bar{X} \sim N \left(\mu, \frac{\sigma^2}{n} \right)$ 더보기

$X_1, X_2, \cdots, X_n$ 은 평균이

$\mu$ 이고 분산이

$\sigma^2$ 인 정규분포에서의 크기가

$n$ 인 확률표본이기에

$X_i$ 는 독립이고, $ E(..

[Mathematical Statistics] 표집분포(sampling distribution)

2025.01.23·

Statistics/Mathematical Statistics

표본평균 (Sample Mean) i.i.d. 확률변수

$X_1, X_2, \cdots, X_n$ 에 대한 표본평균

$\bar{X}$ 는 다음과 같다.

$\bar{X} = \dfrac{1}{n} \sum_{i=1}^n X_i$ 표본평균은 모평균을 추정하기 위해 사용된다. 표본분산 (Sample Variance) i.i.d. 확률변수

$X_1, X_2, \cdots, X_n$ 에 대한 표본분산

$S^2$ 는 다음과 같다.

$S^2 = \dfrac{1}{n-1} \sum_{i=1}^n (X_i - \bar{X})^2$ 표본분산은 모분산을 추정하기 위해 사용된다.

$frac{1}{n}$ 이 아니라

$\frac{1}{n-1}$ 인 이유는 불편추정량 때문이다. 통계량 (Statistic..

내 블로그 - 관리자 홈 전환	`Q` `Q`
새 글 쓰기	`W` `W`

글 수정 (권한 있는 경우)	`E` `E`
댓글 영역으로 이동	`C` `C`

이 페이지의 URL 복사	`S` `S`
맨 위로 이동	`T` `T`
티스토리 홈 이동	`H` `H`
단축키 안내	`Shift` + `/` `⇧` + `/`

All Posts

All Posts

티스토리툴바

단축키

내 블로그

블로그 게시글

모든 영역

All Posts

개인정보

티스토리툴바

단축키

내 블로그

블로그 게시글

모든 영역