전체 글

가능도 (Likelihood) 우도라도고 한다. 이는 확률분포의 모수가 어떤 확률변수의 표집값과 일관되는 정도를 나타낸다. 구체적으로, 주어진 표집값에 대한 모수의 가능도는 이 모수를 따르는 분포가 주어진 관측값에 대하여 부여하는 확률로 다음과 같이 정의한다.$ x_1, x_2, \cdots, x_n $ 을 모수 $ \theta $ 에 종속인 분포를 갖는 확률변수 $ X_1, X_2, \cdots, X_n $ 에 대한 관측 표본이라 하자. 그러면 만일 $ X_1, X_2, \cdots, X_n $ 이 이산확률변수이면 표본의 가능도 $ L(x_1, x_2, \cdots, x_n \mid \theta ) $ 는 $ x_1, x_2, \cdots, x_n $ 의 결합확률로 정의된다. 만일 $ X_1, X_2,..

충분통계량 (Sufficient Statistics) 좋은 통계량을 선택할 때 기본적으로 직관에 의존했지만, 예를 들어 $ \mu $ 와 $ \sigma $ 에 대한 추정량으로 $ \bar{X} $ 와 $ S $ 를 사용했지만, 이것만으로는 좋은 통계량을 선택하기 쉽지 않다.통계량을 표본을 통해 만든다면, 실제 표본값이 어떤지는 의미가 없고, 그 통계량이 모수에 대한 정보를 잘 보존하느냐가 중요하고 잘 보존한 통계량이 좋은 통계량일 것이다. 예를 들어서 $ \bar{X} = 5 $ 라면 실제 데이터가 $ \{1, 9, 5 \} $ 인지 혹은 $ \{4, 5, 6\} $ 인지는 중요하지 않고, 그래서 $ \bar{X} $ 가 $ \mu $ 에 대한 정보를 잘 보존하느냐가 중요할 것이다. 즉 자료를 잘 압축..

일치추정량 (Consistent Estimator) 일치성은 표본 크기가 증가할수록 점추정량이 모수를 점점 더 정확하게 추정하는 성질을 말한다. 즉 일치추정량은 임의의 $ \epsilon > 0 $ 에 대하여 다음 조건을 충족하는 $ \theta $ 에 대한 추정량 $ \hat{\theta}_n $ 을 말한다.$$ \lim_{n \to \infty} P(\lvert \hat{\theta}_n - \theta \rvert \leq \epsilon ) = 1 $$또는 동등하게 아래와 같은 조건을 충족하는 $ \theta $ 에 대한 추정량 $ \hat{\theta}_n $ 을 말한다.$$ \lim_{n \to \infty} P(\lvert \hat{\theta}_n - \theta \rvert > \epsi..

머신러닝 (Machine Learning) 번역어인 기계학습이라고도 하며, 말 그대로 기계가 데이터를 기반으로 학습하고 특정 작업을 수행하는 것을 말한다. 일반적으로 통계적 기반을 가진 알고리즘이 사용된다.인공지능의 하위 집합으로 이해되기도 하는데, 최근 인공지능을 말하면 거의 머신러닝 혹은 딥러닝인 경우가 많아 유의미한지는 잘 모르겠다. 그나마 딥러닝은 머신러닝의 하위 집합이면서 동시에 딥러닝이 아닌 머신러닝과 차이가 명확하다.어찌되었던 데이터를 기반으로 학습하여 특정 작업을 수행하는 것을 머신러닝이라 말한다. 따라서 데이터 의존적이라는 특징이 있다. 쓰레기를 넣으면, 쓰레기가 나온다(garbage in, garbage out)는 말처럼 질 낮은 데이터로는 머신러닝의 장점을 확인하기 어렵고, 양질의 데..

효율성 (Efficiency) 추정량은 당연하게도 모수를 잘 예측하는가가 중요하다. 따라서 추정량은 불편성, 효율성 등의 특징을 통해 모수를 얼마나 잘 예측하는가를 따져야 한다.불편성은 편향에 대한 것인데, 만약 불편성을 만족하는 두 추정량, 즉 두 불편추정량이 있다면, 어느 추정량을 선택해야 하는가하는 문제가 생길 것이다. 이때 따져봐야 하는 것이 효율성이다.효율성은 추정량의 분산에 관한 것으로 분산이 작을수록 효율적이라 한다. 상대효율 (Relative Efficiency) 목표 모수 $ \theta $ 에 대한 두 불편추정량 $ \hat{\theta}_1 $ 과 $ \hat{\theta}_2 $, 그리고 각각의 분산 $ V(\hat{\theta}_1) $ 및 $ V(\hat{\theta}_2) $ ..

계단 함수 (Step Function) 계단 함수는 퍼셉트론에서의 활성화함수로 아래와 같다.$$ h(x) = \begin{cases} 0 & (x \leq 0) \\ 1 & (x > 0) \end{cases} $$즉 단순하게 입력으로 전달받은 값이 $ 0 $을 넘으면 $ 1 $을 출력하는 함수이다. 코드로는 다음과 같다.def step_function(x): if x > 0: return 1 else: return 0그러나 위 함수는 넘파이 배열을 받을 수 없기 때문에 아래와 같이 수정하여 넘파이 배열의 입력을 가능하게 만들어주어야 한다.def step_function(x): y = x > 0 return y.astype(int)입력받은 넘파이 배열에서 $ ..

신경망 (Neural Network) 퍼셉트론을 통해 AND, OR, NAND 게이트 구현이 가능함을 확인하였고, 다층 퍼셉트론을 통해 XOR 게이트 구현 역시 가능함을 확인하였다. 그러나 가중치와 편향에 대해 모두 설정해주어야 하는 특징이 있었다.신경망은 퍼셉트론과 유사한데, 아래와 같이 그 구조를 나타낼 수 있다. 입력층인 $0$층과 출력층인 $2$층이 있고, 그 중간에 은닉층(hidden layer)이 있다. 이 경우 보통은 입력층을 제외하고 2층 신경망이라 부른다. 단 어떤 경우에는 3층이라 부르기도 하니 주의해야 한다.다시 퍼셉트론으로 돌아와서 구조를 생각해보면 기존 편향을 명시하지 않은 구조는 아래와 같았다.수식으로는 편향을 포함하여 아래와 같이 나타냈었다.$$ y = \begin{cases}..

퍼셉트론 (Perceptron) 프랑크 로젠블라트(Frank Rosenblatt)가 1957년에 제안한 초기 형태의 인공 신경망 알고리즘으로 여러 입력으로부터 하나의 출력을 내보낸다. 인공 신경망이라는 점에서 알 수 있지만, 퍼셉트론은 뇌를 구성하는 신경세포인 뉴런의 동작과 유사한데,  뉴런은 가지돌기에서 신호를 받아들이고, 이 신호가 일정치 이상의 크기를 가지면 축삭돌기를 통해서 신호를 전달한다.간단하게 입력이 2개인 퍼셉트론을 방향 그래프로 보면 다음과 같다.$ x_1, x_2 $ 의 입력 신호가 존재하고, $ y $ 의 출력신호가 존재한다. $ w_1, w_2 $ 는 가중치(weight)를 뜻한다. 입력 신호가 뉴런(여기서는 $ y $)에 보내질 때는 각각 고유한 가중치가 곱해지고, 이렇게 곱해진 ..

대표본에서의 신뢰구간 대표본이라는 것은 중심극한정리(CLT)를 적용 가능하다는 의미이다. 중심극한정리에 따라 $ \theta $ 의 목표모수가 $ \mu $, $p$, $\mu_1 - \mu_2 $ 또는 $ p_1 - p_2 $ 라면 추축량 $ Z $ 는 다음과 같고 근사적으로 표준정규분포를 따른다.$$ Z = \dfrac{\hat{\theta} - \theta}{\sigma_\hat{\theta}} \sim N (0, 1) $$근사적으로 추축량이 되므로 목표모수에 대한 신뢰구간 계산에 추축법을 사용할 수 있다. 목표모수 종류에 따른 표준오차는 다음과 같다.목표모수 $ \theta $점추정량 $ \hat{\theta} $표준오차 $ \sigma_\hat{\theta} $모평균 $ \mu $$$ \bar{..

신뢰구간 (CI, Confidence Interval) 신뢰구간은 구간추정량(interval estimator)을 말하는데, 좀 더 정확히 말하자면 표본 측정값을 사용하여 구간의 양 끝점을 게산하는 방법을 규정하는 규칙이다. 신뢰구간이 의미있기 위해서는 당연하게도 신뢰구간은 목표모수 $ \theta $ 를 포함할 가능성이 높아야 하며, 가능한 범위가 좁아야 한다.이렇게 설정된 신뢰구간의 위와 아래의 끝점을 각각 신뢰상한(upper confidence)과 신뢰하한(lower confidence)라 한다. 그리고 신뢰구간이 목표모수 $ \theta $ 를 포함할 확률을 신뢰계수(confidence coefficient) 혹은 신뢰수준(confidence level)이라 한다. 여기서 목표모수를 포함한다는 것..