'Statistics/Mathematical Statistics' 카테고리의 글 목록 (2 Page)

[Mathematical Statistics] 분포수렴(convergence in distribution), 확률수렴(convergence in probability), 평균수렴(mean convergence), 거의 확실한 수렴(almost sure convergence), 확실한 수렴(sure convergence)

2025.02.03·

Statistics/Mathematical Statistics

분포수렴 (Convergence in Distribution)

X_{1}, X_{2}, \dots

$X_1, X_2, \cdots$ 이 확률변수의 열이며

X

$X$ 를 또다른 확률변수라 하고,

X_{n}

$X_n$ 과

X

$X$ 의 분포함수(CDF)를 각각

F_{X_{n}}

$F_{X_n}$ 과

F_{X}

$F_X$ 로 나타내자.

lim_{n \to \infty} F_{X_{n}} (x) = F_{X} (x)

$\lim_{n \to \infty} F_{X_n} (x) = F_X(x)$

F_{X}

$F_X$ 가 연속인 모든

x

$x$ 에 대하여 위와 같다면

X_{n}

$X_n$ 이

X

$X$ 로 분포수렴한다고 하며 다음과 같이 표기한다.

X_{n} \overset{d}{\to} X

$X_n \overset{d}{\to} X$ 중심극한정리(CLT)가 분포 수렴의 가장 유명한 예이다. 확률수렴 (Convergence in Probability)

X_{1}, X_{2}, \dots

$X_1, X_2, \cdots$ 이 확률변수의 열..

[Mathematical Statistics] 수열의 극한(limit sequence) 및 확률변수의 열(random variable sequence)

2025.02.03·

Statistics/Mathematical Statistics

수열의 극한 (Limit Sequence) 임의의 각 실수

ϵ > 0

$\epsilon > 0$ 에 대하여 모든

n \geq N

$n \geq N$ 에 대해

| a_{n} - L |

$| a_n - L |$

a_{n} \to L or lim_{n \to \infty} a_{n} = L

$a_n \to L \qquad \text{or} \qquad \lim_{n\to\infty} a_n = L$

기 호 식 으 로 표 현 하 면 다 음 과 같 다 .

$기호식으로 표현하면 다음과 같다.$

\forall \epsilon > 0 \left( \exists N \in \mathbb{N} \left( \forall n \in \mathbb{N} \left( n \geq N \to | a_n - L | 위 수학적 정의보다 부정확하지만 말로 풀어 설명하면

$\forall \epsilon > 0 \left( \exists N \in \mathbb{N} \left( \forall n \in \mathbb{N} \left( n \geq N \to | a_n - L | 위 수학적 정의보다 부정확하지만 말로 풀어 설명하면$ n

이

$이$ \infty

로 갈 때

$로 갈 때$ a_n

이

$이$ L

에 한 없 이 접 근 하 면 수 열

$에 한없이 접근하면 수열$ a_n

이 극 한

$이 극한$ L $ 에 ..

[Mathematical Statistics] 체르노프 부등식(Chernoff inequality)

2025.02.02·

Statistics/Mathematical Statistics

체르노프 부등식 (Chernoff Inequality) 임의의 확률변수

X

$X$ 와 임의의 상수

c, t > 0

$c, t > 0$ 에 대하여 다음이 성립한다.

P (X \geq c) \leq \frac{E (e^{t X})}{e^{t c}}

$P(X \geq c) \leq \dfrac{E(e^{tX})}{e^{tc}}$ 이는 마르코프 부등식으로 증명 가능하다.

g (x) = e^{t x}

$g(x) = e^{tx}$ 는 가역이며

g

$g$ 는 강한 증가함수이다. 따라서 마르코프 부등식에 의해 다음이 성립한다.

P (X \geq c) = P (e^{t X} \geq e^{t c} \leq \frac{E (e^{t X})}{e^{t c}}

$P(X \geq c) = P(e^{tX} \geq e^{tc} \leq \dfrac{E(e^{tX})}{e^{tc}}$ 더 정확하게 증명도 가능하지만, 너무 길기에 생략한다.체르노프 부등식은 우변을

t

$t$ 에 대해 최적화하여 코시-슈바르츠 부등식을 이용하는 것처럼 더 좁은 상계를 얻을 수 있다. 또한 $ ..

[Mathematical Statistics] 마르코프 부등식(Markov inequality)

2025.02.02·

Statistics/Mathematical Statistics

마르코프 부등식 (Markov Inequality) 러시아 수학자 안드레이 마르코프의 이름을 딴 확률론의 절대부등식으로 간단하며 굉장히 많이 사용된다. 이는 확률변수

X

$X$ 과 양수

c

$c$ 에 대하여 다음과 같다.

\frac{E (X)}{c} \geq P (X \geq c)

$\dfrac{E(X)}{c} \geq P(X \geq c)$ 증명은 다음과 같다.

X \geq 0

$X \geq 0$ 이므로 임의의 양수

c

$c$ 에 대하여 다음 부등식이 성립한다.

X \geq c \cdot I_{X \geq c}

$X \geq c \cdot I_{X \geq c}$ 여기서 기댓값을 취하면 다음과 같다.

E (X) \geq E (c \cdot I_{X \geq c}) = c E (I_{X \geq c})

$E(X) \geq E( c \cdot I_{X \geq c}) = c E(I_{X \geq c})$ 근본가교를 적용하면 다음과 같다.

E (X) \geq c P (X \geq c)

$E(X) \geq c P(X \geq c)$ 양변을

c

$c$ 로 나누면 다음과 같다.$..

[Mathematical Statistics] 섀넌 엔트로피(Shannon entropy)와 미분 엔트로피(differential entropy) 그리고 쿨백-라이블러 발산(Kullback-Leibler divergence) 및 옌센-섀넌 발산(Jensen-Shannon divergence)

2025.02.02·

Statistics/Mathematical Statistics

섀넌 엔트로피 (Shannon Entropy) 정보 엔트로피(information entropy)는 확률변수의 불확실성(uncertainty)을 정량화하는 척도이다. 일반화된 레니 엔트로피(Rényi entropy)도 있지만, 확률론에서는 섀넌 엔트로피가 많이 사용된다.이산확률변수

X

$X$ 의 섀넌 엔트로피

H (X)

$H(X)$ 는 다음과 같이 정의된다.

H (X) = - \sum_{x \in X} p (x) \log p (x)

$H(X) = - \sum_{x \in \mathcal{X}} p(x) \log p(x)$ 보통

\log

$\log$ 의 밑은

2

$2$ 이며

X

$\mathcal{X}$ 는

X

$X$ 가 취할 수 있는 값들의 집합, 즉 치역이다. 또한 위 엔트로피의 정의에서 알 수 있지만, 엔트로피는 확률에만 의존한다.이렇게 정의된 엔트로피

H (X)

$H(X)$ 는 $ - \l..

[Mathematical Statistics] 옌센 부등식(Jensen inequality)

2025.02.02·

Statistics/Mathematical Statistics

옌센 부등식 (Jensen Inequality) 일반적으로는 젠센 부등식으로 부른다. 덴마크 수학자 요한 옌센에 의해 발표된 부등식으로 옌센이라 부르는 것이 올바르겠으나 영어식 발음인 젠센으로 많이 불리는 것이다. 옌센 부등식은 다음과 같다.확률변수

X

$X$ 에 대하여

g

$g$ 가 볼록(convex) 함수라면

E (g (X)) \geq g (E (X))

$E(g(X)) \geq g(E(X))$ 이다. 만일

g

$g$ 가 오목(concave) 함수라면

E (g (X)) \leq g (E (X))

$E(g(X)) \leq g(E(X))$ 이다. 두 경우 모두에서 등식이 성립하는 유일한 조건은 확률

1

$1$ 로

g (X) = a + b X

$g(X) = a + bX$ 가 성립하는 상수

a

$a$ 와

b

$b$ 가 존재하는 것이다. 증명은 다음과 같다.만일

g

$g$ 가 볼록 함수라면

g

$g$ 에 대한 모든 접..

[Mathematical Statistics] 코시-슈바르츠 부등식(Cauchy–Schwarz inequality)

2025.02.02·

Statistics/Mathematical Statistics

코시-슈바르츠 부등식 (Cauchy–Schwarz Inequality) 절대부등식으로 일반적인 형태는 아래와 같다.

‖ v ‖^{2} ‖ w ‖^{2} \geq | v \cdot w |^{2}

$\| v \| ^2 \| w \| ^2 \geq | v \cdot w | ^2$ 여기서

‖ ‖

$\| \|$ 는 벡터의 크기(참고링크)이고,

\cdot

$\cdot$ 은 벡터의 내적(참고링크)이다.이를 확률론에 끌어와 사용할 때는 일반적으로 아래와 같이 사용한다.

E (X^{2}) E (Y^{2}) \geq E (X Y)^{2}

$E(X^2) E(Y^2) \geq E(XY)^2$ 증명은 다음과 같다.

E [(Y - t X)^{2}] = E (Y^{2}) - 2 t E (X Y) + t^{2} E (X^{2}) \geq 0

$E[(Y-tX)^2] = E(Y^2)-2tE(XY)+t^2E(X^2) \geq 0$ 위 식을

t

$t$ 로 편미분하고

0

$0$ 으로 놓으면 다음과 같다.$ \dfrac{\partial}{\partial t} E[(Y-tX)^2] = -2E(XY) + 2t..

[Mathematical Statistics] F-분포(F-distribution)

2025.02.01·

Statistics/Mathematical Statistics

F-분포 (F-distribution) 어떤 확률변수

W_{1}

$W_1$ 과

W_{2}

$W_2$ 가 독립이며 자유도가 각각

ν_{1}

$\nu_1$ ,

ν_{2}

$\nu_2$ 인 카이제곱분포를 따를 때

F

$F$ 가 다음과 같이 정의된다면

F

$F$ 는 분자의 자유도가

ν_{1}

$\nu_1$ 이고 분모의 자유도가

ν_{2}

$\nu_2$ 인 F-분포를 따른다.

F = \frac{W_{1} / ν_{1}}{W_{2} / ν_{2}} \sim F (ν_{1}, ν_{2})

$F = \dfrac{W_1 / \nu_1}{W_2 / \nu_2} \sim F(\nu_1, \nu_2)$ 즉 카이제곱분포를 따르는 두 확률변수의 비율이 F-분포를 따른다.참고로 당연하겠지만,

F \sim F (ν_{1}, ν_{2})

$F \sim F(\nu_1, \nu_2)$ 일 때

\frac{1}{F} \sim F (ν_{2}, ν_{1})

$\dfrac{1}{F} \sim F(\nu_2, \nu_1)$ 이다. 더하여 F-분포의 누적분포를

F_{α}

$F_\alpha$ 로 나타낸..

[Mathematical Statistics] t-분포(Student's t-distribution)

2025.01.31·

Statistics/Mathematical Statistics

t

$t$ -분포 (Student's

t

$t$ -Distribution) 분포 자체와는 별 상관 없는 이야기지만 이름에 Student가 붙은 이유는 이 분포를 제안한 윌리엄 고셋이 해당 논문을 낼 때 가명으로 Student를 사용했기 때문이다.

Z \sim N (0, 1)

$Z \sim N(0, 1)$ 과

W \sim χ^{2} (ν)

$W \sim \chi^2 (\nu)$ 에 대하여

Z

$Z$ 와

W

$W$ 가 독립일 때

T = Z / \sqrt{W / ν}

$T = Z / \sqrt{W / \nu}$ 라면

T

$T$ 가

t

$t$ -분포를 따른다고 하며 다음과 같다.

T = \frac{Z}{\sqrt{W / ν}} \sim t (ν)

$T = \dfrac{Z}{\sqrt{W / \nu}} \sim t (\nu)$ 이를 응용할 수 있다. i.i.d.인

X_{i}

$X_i$

(i = 1, 2, \dots, n)

$(i = 1, 2, \dots, n)$ 에 대하여 $ X \sim N(\mu, \sigma^2) ..

[Mathematical Statistics] 카이제곱분포(chi-square distribution)

2025.01.31·

Statistics/Mathematical Statistics

카이제곱분포 (Chi-Square Distribution) 카이제곱분포는 감마분포의 특수한 형태이면서

k

$k$ 개의 서로 독립적인 표준정규분포를 따르는 확률변수를 제곱한 다음 합하여 얻어지는 확률변수의 분포이다. 즉

X_{i} \sim N (μ, σ^{2})

$X_i \sim N(\mu, \sigma^2)$

(i = 1, 2, \dots, n)

$(i = 1, 2, \dots, n)$ 에 대하여

Z_{i} = (X_{i} - μ) / σ

$Z_i = (X_i - \mu) / \sigma$ 일 때

Z_{i}^{2}

$Z_i^2$ 의 합,

\sum_{i = 1}^{n} Z_{i}^{2}

$\sum_{i=1}^n Z_i^2$ 은 자유도가

n

$n$ 인 카이제곱분포를 따른다.

\sum_{i = 1}^{n} Z_{i}^{2} \sim χ^{2} (n)

$\sum_{i=1}^n Z_i^2 \sim \chi^2 (n)$ 참고로 표본을 추출하여 만들어지는 표본분산

S^{2}

$S^2$ 을 이용한

(n - 1) S^{2} / σ^{2}

$(n-1)S^2 / \sigma^2$ 은 자유도가 $ n-1 ..

내 블로그 - 관리자 홈 전환	`Q` `Q`
새 글 쓰기	`W` `W`

글 수정 (권한 있는 경우)	`E` `E`
댓글 영역으로 이동	`C` `C`

이 페이지의 URL 복사	`S` `S`
맨 위로 이동	`T` `T`
티스토리 홈 이동	`H` `H`
단축키 안내	`Shift` + `/` `⇧` + `/`

Statistics/Mathematical Statistics

Statistics/Mathematical Statistics

티스토리툴바

단축키

내 블로그

블로그 게시글

모든 영역

Statistics/Mathematical Statistics

개인정보

티스토리툴바

단축키

내 블로그

블로그 게시글

모든 영역