All Posts

머신러닝 (Machine Learning) 번역어인 기계학습이라고도 하며, 말 그대로 기계가 데이터를 기반으로 학습하고 특정 작업을 수행하는 것을 말한다. 일반적으로 통계적 기반을 가진 알고리즘이 사용된다.인공지능의 하위 집합으로 이해되기도 하는데, 최근 인공지능을 말하면 거의 머신러닝 혹은 딥러닝인 경우가 많아 유의미한지는 잘 모르겠다. 그나마 딥러닝은 머신러닝의 하위 집합이면서 동시에 딥러닝이 아닌 머신러닝과 차이가 명확하다.어찌되었던 데이터를 기반으로 학습하여 특정 작업을 수행하는 것을 머신러닝이라 말한다. 따라서 데이터 의존적이라는 특징이 있다. 쓰레기를 넣으면, 쓰레기가 나온다(garbage in, garbage out)는 말처럼 질 낮은 데이터로는 머신러닝의 장점을 확인하기 어렵고, 양질의 데..

효율성 (Efficiency) 추정량은 당연하게도 모수를 잘 예측하는가가 중요하다. 따라서 추정량은 불편성, 효율성 등의 특징을 통해 모수를 얼마나 잘 예측하는가를 따져야 한다.불편성은 편향에 대한 것인데, 만약 불편성을 만족하는 두 추정량, 즉 두 불편추정량이 있다면, 어느 추정량을 선택해야 하는가하는 문제가 생길 것이다. 이때 따져봐야 하는 것이 효율성이다.효율성은 추정량의 분산에 관한 것으로 분산이 작을수록 효율적이라 한다. 상대효율 (Relative Efficiency) 목표 모수 $ \theta $ 에 대한 두 불편추정량 $ \hat{\theta}_1 $ 과 $ \hat{\theta}_2 $, 그리고 각각의 분산 $ V(\hat{\theta}_1) $ 및 $ V(\hat{\theta}_2) $ ..

계단 함수 (Step Function) 계단 함수는 퍼셉트론에서의 활성화함수로 아래와 같다.$$ h(x) = \begin{cases} 0 & (x \leq 0) \\ 1 & (x > 0) \end{cases} $$즉 단순하게 입력으로 전달받은 값이 $ 0 $을 넘으면 $ 1 $을 출력하는 함수이다. 코드로는 다음과 같다.def step_function(x): if x > 0: return 1 else: return 0그러나 위 함수는 넘파이 배열을 받을 수 없기 때문에 아래와 같이 수정하여 넘파이 배열의 입력을 가능하게 만들어주어야 한다.def step_function(x): y = x > 0 return y.astype(int)입력받은 넘파이 배열에서 $ ..

신경망 (Neural Network) 퍼셉트론을 통해 AND, OR, NAND 게이트 구현이 가능함을 확인하였고, 다층 퍼셉트론을 통해 XOR 게이트 구현 역시 가능함을 확인하였다. 그러나 가중치와 편향에 대해 모두 설정해주어야 하는 특징이 있었다.신경망은 퍼셉트론과 유사한데, 아래와 같이 그 구조를 나타낼 수 있다. 입력층인 $0$층과 출력층인 $2$층이 있고, 그 중간에 은닉층(hidden layer)이 있다. 이 경우 보통은 입력층을 제외하고 2층 신경망이라 부른다. 단 어떤 경우에는 3층이라 부르기도 하니 주의해야 한다.다시 퍼셉트론으로 돌아와서 구조를 생각해보면 기존 편향을 명시하지 않은 구조는 아래와 같았다.수식으로는 편향을 포함하여 아래와 같이 나타냈었다.$$ y = \begin{cases}..

퍼셉트론 (Perceptron) 프랑크 로젠블라트(Frank Rosenblatt)가 1957년에 제안한 초기 형태의 인공 신경망 알고리즘으로 여러 입력으로부터 하나의 출력을 내보낸다. 인공 신경망이라는 점에서 알 수 있지만, 퍼셉트론은 뇌를 구성하는 신경세포인 뉴런의 동작과 유사한데,  뉴런은 가지돌기에서 신호를 받아들이고, 이 신호가 일정치 이상의 크기를 가지면 축삭돌기를 통해서 신호를 전달한다.간단하게 입력이 2개인 퍼셉트론을 방향 그래프로 보면 다음과 같다.$ x_1, x_2 $ 의 입력 신호가 존재하고, $ y $ 의 출력신호가 존재한다. $ w_1, w_2 $ 는 가중치(weight)를 뜻한다. 입력 신호가 뉴런(여기서는 $ y $)에 보내질 때는 각각 고유한 가중치가 곱해지고, 이렇게 곱해진 ..

대표본에서의 신뢰구간 대표본이라는 것은 중심극한정리(CLT)를 적용 가능하다는 의미이다. 중심극한정리에 따라 $ \theta $ 의 목표모수가 $ \mu $, $p$, $\mu_1 - \mu_2 $ 또는 $ p_1 - p_2 $ 라면 추축량 $ Z $ 는 다음과 같고 근사적으로 표준정규분포를 따른다.$$ Z = \dfrac{\hat{\theta} - \theta}{\sigma_\hat{\theta}} \sim N (0, 1) $$근사적으로 추축량이 되므로 목표모수에 대한 신뢰구간 계산에 추축법을 사용할 수 있다. 목표모수 종류에 따른 표준오차는 다음과 같다.목표모수 $ \theta $점추정량 $ \hat{\theta} $표준오차 $ \sigma_\hat{\theta} $모평균 $ \mu $$$ \bar{..

신뢰구간 (CI, Confidence Interval) 신뢰구간은 구간추정량(interval estimator)을 말하는데, 좀 더 정확히 말하자면 표본 측정값을 사용하여 구간의 양 끝점을 게산하는 방법을 규정하는 규칙이다. 신뢰구간이 의미있기 위해서는 당연하게도 신뢰구간은 목표모수 $ \theta $ 를 포함할 가능성이 높아야 하며, 가능한 범위가 좁아야 한다.이렇게 설정된 신뢰구간의 위와 아래의 끝점을 각각 신뢰상한(upper confidence)과 신뢰하한(lower confidence)라 한다. 그리고 신뢰구간이 목표모수 $ \theta $ 를 포함할 확률을 신뢰계수(confidence coefficient) 혹은 신뢰수준(confidence level)이라 한다. 여기서 목표모수를 포함한다는 것..

추정오차 (Error of Estimation) 추정오차 $ \epsilon $ 은 추정량과 목표모수와의 거리이다. 즉 다음과 같다.$$ \epsilon = | \hat{\theta} - \theta | $$추정오차를 통해 점추정 절차의 우수성을 측정할 수 있고, 당연히 추정오차가 작을수록 선호된다.이때 $ \hat{\theta} $ 가 확률변수이므로 $ \epsilon $ 역시 확률적 양이다. 따라서 측정 추정값에 대하여 얼마나 크고 작은지를 말할 수 없고, 다만 확률적 주장만 가능하다. 즉 다음과 같이 나타낼 수 있다.$$ P( \epsilon 만약 $ b $ 가 현실적 관점에서 작다고 간주할 수 있다면 당연히 $ P( \epsilon 반대로 $ P(\epsilon $$ \int_{\theta - b..

편향 (Bias) 편향은 추정량이 실제 모수와 얼마나 차이가 있는가를 나타내는 척도로 정확히는 추정량의 기댓값과 실제 모수의 차이를 말한다. 즉 모수를 $ \theta $ 라 하고, 추정량을 $ \hat{\theta} $ 라 할 때 추정량의 편향 $ B(\hat{\theta}) $ 는 다음과 같다.$$ B (\hat{\theta} ) = E(\hat{\theta}) - \theta $$당연히도 편향은 모수 추정에 유리하도록 작을수록 좋다.참고로 추정량의 평균제곱오차는 $ \operatorname{MSE}(\hat{\theta}) = E \left[ (\hat{\theta} - \theta)^2 \right] $ 인데, 이는 다르게 $ \operatorname{MSE}(\hat{\theta}) = V( \..

추정 (Estimate) 통계학의 가장 큰 목적 중 하나는 표본을 통해 모집단을 추정하는 것이다. 모집단을 추정하는 것은 모집단의 특징에 관심을 갖는 것인데, 이러한 모집단의 특징을 모수(parameter)라 하고, 관심이 있는 모수를 목표모수(target parameter)라 한다. 목표모수를 알기 위해 표본을 추출하고 표본 데이터로부터 모수의 값을 추측하는 절차를 통계적 추정(statistical estimation)이라 한다.이러한 추정에는 두 가지 다른 형태가 있다. 하나는 점추정(point estimate)이고, 하나는 구간추정(interval estimate)이다. 점추정은 예를 들어 미지의 모평균에 가깝다고 생각되는 하나의 수치를 통해 추정하는 것이고, 구간추정은 미지의 모평균을 포함하리라 ..