유한차수 이동평균 (MA) 유한차수 이동평균 모델에서는 관행적으로 $\psi_0 = 1$ 로 설정하고, $0$ 이 아닌 나머지 가중치(weights)를 $\theta$ 로 표현하되 마이너스 기호를 붙인다. 즉 차수가 $q$ 인 이동평균 프로세스를 MA($q$)라 부르며 다음과 같이 표현한다. $$y_t = \mu + \epsilon_t - \theta_1 \epsilon_{t-1} - \cdots - \theta_q \epsilon_{t-q}$$ 여기서 $\{ \epsilon_t \}$ 는 화이트 노이즈(white noise) 시계열이다.이렇게 정의된 차수 $q$ 를 가지는 이동평균 프로세스는 무한 이동평균(참고링크)의 특수 경우로서 가중치가 유한개만 남고 나머지는 $0$ 이므로..

선형성 (Linearity) 시계열 모델을 만들 때 편리한 가정이 선형성 가정(linearity assumption)이다. 어떤 선형 필터(linear filter)를 가정하자. 선형 필터는 어떤 시계열 $x_t$ 를 입력으로 하여 다른 시계열 $y_t$ 를 출력으로 내보내는 선형 연산(linear operation)을 의미한다. $$y_t = L(x_t) = \sum_{i = - \infty}^{+\infty} \psi_i x_{t-i} , \qquad (t = \cdots, -1, 0, 1, \cdots)$$ 이 식에서 선형 필터는 입력 $x_t$ 를 출력 $y_t$ 로 바꾸는 프로세스(process)로도 볼 수 있으며, 변화는 순간적(instantaneous)인 것이 아니라 과거, 미..

가법 계절 모델 (Additive Seasonal Model) 일부 시계열 모델은 계절성을 가지며 이는 기본적인 다항식 모델로는 설명 불가능하다. 이는 지수평활법을 이용할 때도 마찬가지로 이를 극복하기 위해 가법 계절 모델과 승법 계절 모델이 사용된다.다음과 같은 계절성을 가지는 시계열 모델을 가정하자. $$y_t = L_t + S_t + \epsilon_t$$ 여기서 $L_t$ 는 수준 또는 선형 추세로 $L_t = \beta_0 + \beta_1 t$ 와 같이 기존 모델로 표현 가능하다. $S_t$ 는 계절적 보정(seasonal adjustment)을 나타내며 각 시즌(season)마다 동일한 값을 가진다. $\epsilon_t$ 는 평균이 $0$, 분산이 $ \sigma_\epsil..

예측 (Forecasting) 1차 지수평활법(참고링크)과 2차 지수평활법(참고링크), $n$차 지수평활법을 통해 시계열 데이터의 기저 패턴(underlying patterns)을 시각적으로 파악하는 것이 가능한데, 특히 1차 지수평활법은 상수 프로세스(constant process)을, 2차 지수평활법은 선형 추세 프로세스(linear trend process)에 적합하다.그런데 이러한 지수평활법을 이용하면 단순히 스무딩만 가능한 것이 아니라 새로운 데이터에 대한 예측도 가능하다. 즉 시점 $T$ 에서 다음 시점인 $T + 1$ 의 관측값을 예측할 수 있고, 더 멀리 떨어진 미래 시점 $T + \tau$ 에 대해서도 예측할 수 있다. 이런 경우 시점 $T$ 에서 수행하는 $\tau$..

2차 지수평활법 (Second-Order Exponential Smoothing) 앞서 1차 지수평활법은 상수 프로세스에 대한 것이었다. 선형 추세(linear trend)가 있는 프로세스에 이를 적용하면 오차가 생긴다. 예를 들어 아래와 같은 다우존스 지수 데이터를 확인하자.1차 지수평활법을 이용하면 아래와 같이 나온다.여기서 $\tilde{y}_0 = y_1$ 로 설정하고 스무딩 상수(smoothing constant)는 $\lambda = 0.3$ 으로 설정하였다. 확인하면 어느정도 선형 추세의 기울기(slope)는 포착했지만, 일관된 편향(bias)을 보인다. 즉 과소추정(underestimaton)되었다. 그런데 이 과소 추정 정도가 일정해보인다.다음과 같은 선형 추세 모델을 생각해보자...

평활화 (Smoothing) 일반적으로 하나의 데이터 세트는 신호(signal)와 노이즈(noise)라는 두 가지 성분으로 이루어져 있다고 생각할 수 있다. 신호는 수집된 프로세스의 고유한 동학(dynamics)에서 비롯되는 패턴이고, 이는 단순 상수 프로세스에서부터 복잡한 구조에 이르기까지 다양하다. 예를 들어 상수 프로세스는 다음과 같이 표현된다. $$y_t = \mu + \epsilon_t$$ 보통 노이즈 $\epsilon_t$ 에 대해서는 평균이 $0$ 이고, 분산이 $\sigma^2$ 으로 일정하며, 자기상관이 없다고 가정한다.평활화(참고링크)는 신호와 노이즈를 분리하는 기법 중 하나로 스무더(smoother)가 필터처럼 작동하여 신호의 추정치(estimate)을 얻게 한다. 지수평활..

코크란-오컷 방법 (Cochrane-Orcutt Method) 더빈–왓슨 검정을 통해 자기상관이 존재한다고 판단되면, 이를 개선하기 위해 다양한 방법을 고려할 수 있다. 예를 들어, 자기상관이 특정 변수의 누락으로 인해 발생한 것이라면 그 변수를 모델에 추가함으로써 자기상관을 줄일 수 있다. 하지만 예측 변수를 추가해도 잔차의 자기상관이 제거되지 않는다면, 오차의 자기상관 구조를 명시적으로 모델에 반영하고 이에 적합한 추정 방법을 사용해야 한다.이때 자주 사용되는 방법이 바로 코크란–오컷 방법이다. 먼저 단순선형회귀모형에서 오차가 1차 자기상관을 가진다고 가정한다.$$ y_t = \beta_0 + \beta_1 x_t + \epsilon_t , \qquad \epsilon_t = \phi \epsilon..

시계열 데이터의 자기상관 예측(forecasting)을 목적으로 회귀분석을 사용할 때 설명변수(predictor)와 반응변수(response)가 모두 시계열 데이터인 경우가 있다. 그러나 이 경우 일반적인 횡단면 데이터(cross-section data)를 대상으로 하는 회귀분석과 달리 오차항이 서로 독립이거나 상관이 없을 것이라는 가정은 적절하지 않을 때가 많다. 시계열 데이터의 오차항들은 대체로 자기상관(autocorrelation - 참고링크) 구조를 갖게 된다. 자기상관이 발생하는 대표적 원인 중 하나는 분석 과정에서의 중요한 설명변수 누락(omission)이다. 누락된 설명변수로 인해 오차가 발생하고 이것이 자기상관을 만드는 것이다.시계열 데이터에 자기상관이 존재한다면 최소제곱 추정에도 영향을 ..

잔차 그래프 (Residual Plots) 가장 간단하게 잔차 그래프(residual plots)을 그려볼 수 있다. 참고로 잔차(residual)는 예측 오차(perdiction error)와 다른 값으로 다음과 같다. $$e_i = y_i - \hat{y}_i$$ 예를 들어서 아래와 같은 잔차 그래프들을 가정하자. 단 이 방법은 정성적 방법이다.좌상단 그래프는 잔차의 정규 확률 그래프인데 정규성 가정을 확인하면 나름 정규성을 만족하는 것을 알 수 있다. 좌하단의 분포를 확인해도 나름의 정규성을 가지는 것을 보인다. 적합값과 잔차의 산점도인 우상단 그래프도 나름 무작위 성을 가지며, 우하단의 시계열에 따른 잔차 그래프도 나름 무작위 성을 가지는 것을 알 수 있다. 표준화 잔차 (Standardzied ..

예측 (Prediction) 회귀식을 이용해서 모델을 만들고, 모델이 유의한지 검정했다면 모델 자체에 대한 검증은 끝난 것이다. 이제는 모델을 이용해 예측을 하고, 이 예측에 대한 검증을 해야 한다.예측은 적합된 과거 데이터가 아닌 새로운 데이터(new observations)에 대한 예측이다. 예측하고자 하는 설명변수 데이터를 다음과 같이 가정하자. $$\mathbf{x}_0 = \begin{bmatrix} 1 \\ x_{01} \\ x_{02} \\ \vdots \\ x_{0k} \end{bmatrix}$$ 그리고 이에 대한 예측값 $y(\mathbf{x}_0)$ 에 대한 점 추정치와 그에 대한 분산은 다음과 같다.$$ \hat{y}(\mathbf{x}_0) = \hat{\mu}_{y \mid \..