Statistics/Time Series Analysis

계절성 (Seasonality) 시계열 자료가 주기적 패턴을 띠면 이를 계절성이라 한다. 월별, 혹은 주별, 혹은 요일별 등으로 자료를 확인할 때 주로 나타나며, 이를 표현하는 방법 중 하나가 가법 모델(additive model)이다.$$ y_t = S_t + N_t $$여기서 $ S_t $ 는 주기가 $ s $ 인 결정적 성분(deterministic component)이고, $ N_t $ 는 확률적 성분(stochastic component)이다. 확률적 성분은 보통 ARMA 모델로 설명할 수 있다. 즉 $y_t $는 예측 가능한 주기적 움직임 $ S_t $ 에 노이즈 $ N_t $ 가 더해진 형태로 볼 수 있다.$ S_t $ 가 결정적이며 주기 $ s $ 를 가지므로 다음과 같이 후방이동 연산자..

자기회귀-누적-이동평균 (ARIMA) 어떤 프로세스가 일정한 수준(level)을 벗어나더라도, 시간에 따라 균질성(homogeneous)을 가지는 경우가 있다. 예를 들어 아래와 같은 선형 추세 프로세스(linear trend process)를 생각해보자.이 프로세스의 형태를 보면, 서로 다른 시점에서 잘라 확인했을 때 비교적 균일한 형태를 보인다. 즉 증가하는 정도가 유사하고, 계절성 등이 없어 평균 수준을 제외하면 유사하다. 단 어떤 프로세스는 기울기(slope) 측면에서도 비정상성(non-stationarity)를 가질 수 있다.시계열 $ y_t $ 가 정상시계열(stationary time series)은 아니지만, 다음과 같은 그 1차 차분(first difference) 혹은 고차 차분(hig..

자기회귀-이동평균 (ARMA, Autoregressive Moving Average) 정상시계열은 무한 이동평균, 혹은 그 특수한 형태인 이동평균(MA), 또는 자기회귀(AR) 모델을 통해 무한개의 무작위 충격(random shocks)에 대한 가중합으로 표현 가능하다. 특히 1차 자기회귀 프로세스(first-order autoregressive process)에서는 이 무한합 안에 등장하는 가중치들이 $ \phi $ 라는 단 하나의 감쇠율(rate of decay)에 따라 기하급수적으로 감쇠(exponential decay)하는 패턴을 강제했다.그러나 정상성 유지를 위한 $ \sum_{i=0}^\infty \psi_i^2 그러나 어떤 경우에는 기하급수적 감쇠를 전반적으로 유지하되 일부 항(term)만 ..

부분상관 (Partial Correlation) 무한 이동평균(infinite moving average)를 이용한 유한차수 이동평균(MA)과 유한차수 자기상관(AR)에서 자기상관함수(ACF)가 어떤 모습을 그리는지 확인할 수있다. 유한차수 이동평균(MA) 모델에서는 이론상 특정 시차(lag) $ q $ 이후의 자기상관함수가 뚝 끊기고(cut off), 유한차수 자기회귀(AR) 모델에서는 여러 개의 지수감쇠(exponential decay) 항이나 감쇠사인(damped sinusoid) 항이 섞인 형태가 나타난다. 이동평균 모델에서는 뚝 끊기는 지점을 확인하여 $ q $ 를 구할 수 있겠으나, 물론 이것도 이론상이지만, 자기회귀 모델에서는 자기상관함수를 확인하더라도 대략적인 것만 확인할 수 있을 뿐 차수..

유한차수 자기회귀 (AR) 무한 이동평균(참고링크)는 무한히 많은 가중치 $ \{ \psi_i \} $ 를 추정해야 한다는 점 때문에 실질적으로 사용 가능한 모델은 아니다. 그리고 이를 보완하기 위해 가중치를 유한하게 만든 유한차수 이동평균(참고링크)를 만들어 사용할 수 있다. 즉 소수의 가중치만을 추정하고, 나머지를 $ 0 $ 으로 두어도 충분히 시계열을 설명할 수 있다고 생각하고 모델을 만드는 것이다. 조금 다르게 말하면 무한한 과거로부터 오는 충격(disturbances) 중 오직 유한한 충격만이 현재 값에 기여한다고 말한다.그러나 어떤 프로세스에서는 과거의 일어난 충격들의 영향이 줄긴해도 한동안 완전히 사라지지 않는다. 즉 충격의 파장이 질질 끌리며(lingering) 계속 영향을 준다. 그렇다면..

유한차수 이동평균 (MA) 유한차수 이동평균 모델에서는 관행적으로 $ \psi_0 = 1 $ 로 설정하고, $ 0 $ 이 아닌 나머지 가중치(weights)를 $ \theta $ 로 표현하되 마이너스 기호를 붙인다. 즉 차수가 $ q $ 인 이동평균 프로세스를 MA($q$)라 부르며 다음과 같이 표현한다.$$ y_t = \mu + \epsilon_t - \theta_1 \epsilon_{t-1} - \cdots - \theta_q \epsilon_{t-q} $$여기서 $ \{ \epsilon_t \} $ 는 화이트 노이즈(white noise) 시계열이다.이렇게 정의된 차수 $ q $ 를 가지는 이동평균 프로세스는 무한 이동평균(참고링크)의 특수 경우로서 가중치가 유한개만 남고 나머지는 $ 0 $ 이므로..

선형성 (Linearity) 시계열 모델을 만들 때 편리한 가정이 선형성 가정(linearity assumption)이다. 어떤 선형 필터(linear filter)를 가정하자. 선형 필터는 어떤 시계열 $ x_t $ 를 입력으로 하여 다른 시계열 $ y_t $ 를 출력으로 내보내는 선형 연산(linear operation)을 의미한다.$$ y_t = L(x_t) = \sum_{i = - \infty}^{+\infty} \psi_i x_{t-i} , \qquad (t = \cdots, -1, 0, 1, \cdots) $$이 식에서 선형 필터는 입력 $ x_t $ 를 출력 $ y_t $ 로 바꾸는 프로세스(process)로도 볼 수 있으며, 변화는 순간적(instantaneous)인 것이 아니라 과거, 미..

가법 계절 모델 (Additive Seasonal Model) 일부 시계열 모델은 계절성을 가지며 이는 기본적인 다항식 모델로는 설명 불가능하다. 이는 지수평활법을 이용할 때도 마찬가지로 이를 극복하기 위해 가법 계절 모델과 승법 계절 모델이 사용된다.다음과 같은 계절성을 가지는 시계열 모델을 가정하자.$$ y_t = L_t + S_t + \epsilon_t $$여기서 $ L_t $ 는 수준 또는 선형 추세로 $ L_t = \beta_0 + \beta_1 t $ 와 같이 기존 모델로 표현 가능하다. $ S_t $ 는 계절적 보정(seasonal adjustment)을 나타내며 각 시즌(season)마다 동일한 값을 가진다. $ \epsilon_t $ 는 평균이 $0$, 분산이 $ \sigma_\epsil..

예측 (Forecasting) 1차 지수평활법(참고링크)과 2차 지수평활법(참고링크), $ n $차 지수평활법을 통해 시계열 데이터의 기저 패턴(underlying patterns)을 시각적으로 파악하는 것이 가능한데, 특히 1차 지수평활법은 상수 프로세스(constant process)을, 2차 지수평활법은 선형 추세 프로세스(linear trend process)에 적합하다.그런데 이러한 지수평활법을 이용하면 단순히 스무딩만 가능한 것이 아니라 새로운 데이터에 대한 예측도 가능하다. 즉 시점 $ T $ 에서 다음 시점인 $ T + 1 $ 의 관측값을 예측할 수 있고, 더 멀리 떨어진 미래 시점 $ T + \tau $ 에 대해서도 예측할 수 있다. 이런 경우 시점 $ T $ 에서 수행하는 $ \tau$..

2차 지수평활법 (Second-Order Exponential Smoothing) 앞서 1차 지수평활법은 상수 프로세스에 대한 것이었다. 선형 추세(linear trend)가 있는 프로세스에 이를 적용하면 오차가 생긴다. 예를 들어 아래와 같은 다우존스 지수 데이터를 확인하자.1차 지수평활법을 이용하면 아래와 같이 나온다.여기서 $ \tilde{y}_0 = y_1 $ 로 설정하고 스무딩 상수(smoothing constant)는 $ \lambda = 0.3 $ 으로 설정하였다. 확인하면 어느정도 선형 추세의 기울기(slope)는 포착했지만, 일관된 편향(bias)을 보인다. 즉 과소추정(underestimaton)되었다. 그런데 이 과소 추정 정도가 일정해보인다.다음과 같은 선형 추세 모델을 생각해보자...