[Time Series Analysis] 2차 지수평활법(second-order exponential smoothing)

---

2차 지수평활법 (Second-Order Exponential Smoothing)

 

앞서 1차 지수평활법은 상수 프로세스에 대한 것이었다. 선형 추세(linear trend)가 있는 프로세스에 이를 적용하면 오차가 생긴다. 예를 들어 아래와 같은 다우존스 지수 데이터를 확인하자.

1차 지수평활법을 이용하면 아래와 같이 나온다.

여기서 $ \tilde{y}_0 = y_1 $ 로 설정하고 스무딩 상수(smoothing constant)는 $ \lambda = 0.3 $ 으로 설정하였다. 확인하면 어느정도 선형 추세의 기울기(slope)는 포착했지만, 일관된 편향(bias)을 보인다. 즉 과소추정(underestimaton)되었다. 그런데 이 과소 추정 정도가 일정해보인다.

다음과 같은 선형 추세 모델을 생각해보자.

$$ y_t = \beta_0 + \beta_1 t + \epsilon_t $$

물론 이때도 기본적인 가정인 $ \epsilon_t \overset{\text{i.i.d.}}{\sim} N(0, \sigma^2) $ 이 성립한다고 생각하자.

앞서 일관된 편햐에 대해 생각하기 위해 단순 지수평활법을 사용하여 그 기댓값을 계산하면 다음과 같다.

$$ E(\tilde{y}_T) = E \left( \lambda \sum_{t=0}^\infty (1 - \lambda)^t y_{T-t} \right) = \lambda \sum_{t=0}^\infty (1 - \lambda)^t E(y_{T-t}) $$

여기서 $ E( \tilde{y}_T) = \beta_0 + \beta_1 t $ 라 하므로 다음과 같다.

$$ E(\tilde{y}_T) = E(y_T) -\frac{1 - \lambda}{\lambda} \beta_1 $$

$ E(\tilde{y}_T) = \lambda \sum_{t=0}^\infty (1 - \lambda)^t (\beta_0 + \beta_1 ( T - t)) $

$ = \lambda \sum_{t=0}^\infty (1 - \lambda)^t (\beta_0 + \beta_1 T) - \lambda \beta_1 \sum_{t=0}^\infty (1 - \lambda)^t t $

이때 무한급수를 계산하면 다음과 같다.

$ \sum_{t=0}^\infty (1 - \lambda)^t = \frac{1}{1 - (1 - \lambda)} = \frac{1}{\lambda} $

$ \sum_{t=0}^\infty (1 - \lambda)^t t = \frac{1 - \lambda}{\lambda^2} $

대입하면 다음과 같다.

$ E ( \tilde{y}_T) = (\beta_0 + \beta_1 T) - \frac{1 - \lambda}{\lambda} \beta_1 $

$ = E(y_T) -\frac{1 - \lambda}{\lambda} \beta_1 $

즉 단순 지수평활법은 선형 추세 모델에 대해 편향된 추정량(biased estimator)이 되며, 편향의 크기는 $ - [(1 - \lambda) / \lambda] \beta_1 $ 이다. 이것이 위 다우존스 지수를 추정할 때 발생한 과소추정의 이유이다.

물론 편향을 줄이는 가장 간단한 방법은 $ \lambda $ 를 키우는 것으로 실제값에 가장 가까이 따라가기에 편향이 적다. 단 이렇게 하면 스무딩을 하는 의미가 없어지니 이 방법이 아니 2차 지수평활법을 사용하겠다.

2차 지수평활법은 간단히 말해 아래 식처럼 1차 지수평활값 $ \tilde{y}^{(1)} $ 을 다시 한 번 지수 스무딩하는 것이다.

$$ \tilde{y}_T^{(2)} = \lambda \tilde{y}^{(1)}_T + ( 1 - \lambda ) \tilde{y}^{(2)}_{T-1} $$

여기서 1차 지수평활 때와 다른 $ \lambda $ 를 사용할 수도 있겠지만, 전개를 간단히 하기 위해 두 스무더가 같은 $ \lambda $ 를 사용한다고 가정하겠다.

2차 지수평활값도 1차 지수평활값을 다시 평활하기 때문에 이론적으로 편향이 존재한다. 즉 다음과 같다.

$$ E\left( \tilde{y}_T^{(2)} \right) = E\left(\tilde{y}_T^{(1)} \right) - \frac{1 - \lambda}{\lambda} \beta_1 $$

그러나 이를 활용하면 시점 $ T $ 에서의 기울기인 $ \beta_1 $ 에 대한 추정치(estimate)는 다음과 같이 쓸 수 있다.

$$ \hat{\beta}_{1, T} = \frac{1}{1 - \lambda} \left( \tilde{y}_T^{(1)} - \tilde{y}_T^{(2)} \right) $$

또한 $ \beta_0 $ 에 대한 추정치는 다음과 같다.

$$ \hat{\beta}_{0, T} = \tilde{y}_T^{(1)} - T \hat{\beta}_{1, T} + \frac{1 - \lambda}{\lambda} \hat{\beta}_{1, T} $$

이를 다시 정리하면 다음과 같다.

$$ \hat{\beta}_{0, T} = \left( 2 - T \frac{\lambda}{1 - \lambda} \right) \tilde{y}_T^{(1)} - \left( 1 - T \frac{\lambda}{1 - \lambda} \right) \hat{\beta}_{1, T} $$

정리하여 $ T $ 에서의 예측값(prediction)은 다음과 같다.

$$ \tilde{y}_T = \hat{\beta}_{0, T} + \hat{\beta}_{1, T} T = 2 \tilde{y}_T^{(1)} - \tilde{y}_T^{(2)} $$

이때 $ \tilde{y}_T $ 가 $ y_T $ 의 불편 예측량(unbiased predictor)이다.

이를 활용하여 다우존스 지수를 다시 한번 추정하면 다음과 같다.

이때 단순 지수평활법과 마찬가지로 2차 지수평활법에서도 고려해야 할 사항이 두 가지 있다. 역시 초기값(initial values) 문제와 스무딩 상수(smoothing constant) 혹은 할인계수(discount factor) $ \lambda $ 설정이다. 스무딩 상수 설정은 앞서 1차 지수평활법에서 다루었고(참고링크)기에 생략하고, 초기값에 대한 부분을 확인하자면 다음과 같이 설정할 수 있다.

$$ \tilde{y}_0^{(1)} = \hat{\beta}_{0, 0} - \frac{1 - \lambda}{\lambda} \hat{\beta}_{1, 0} $$

$$ \tilde{y}_0^{(2)} = \hat{\beta}_{0, 0} - 2 \frac{1 - \lambda}{\lambda} \hat{\beta}_{1, 0} $$

여기서 $ \hat{\beta}_{0, 0} $, $ \hat{\beta}_{1, 0} $ 는 앞서 모델 $ y_t = \beta_0 + \beta_1 t + \epsilon_t $ 을 데이터 전체 혹은 일부 구간에 선형회귀로 적합하여 얻은 추정치이다. 즉 회귀분석으로 선형 추세의 초기 추정값을 구하고 $ \tilde{y}_0^{(1)} $, $ \tilde{y}_0^{(2)} $ 를 계산하여 초기값으로 설정하는 것이 일반적이다.

 

---

홀트 방법 (Holt's Method)

 

이중 지수평활법(double exponential smoothing)이라고도 한다. 이는 시계열을 두 성분으로 분해하는 것이다.

먼저 수준(level)은 다음과 같다.

$$ L_t = \alpha y_t + (1 - \alpha) ( L_{t-1} + T_{t-1}) $$

추세(trend)는 다음과 같다.

$$ T_t = \gamma ( L_t - L_{t-1}) + (1 - \gamma) T_{t-1} $$

여기서 $ \alpha $ 와 $ \gamma $ 는 서로 다른 스무딩 상수이다. 그리고 $ L_t + T_t $ 가 시점 $ t $ 에서의 스무딩 추정치가 되며 또한 $ t+1 $ 시점 예측치로도 사용된다.

일반적으로 $ L_t $ 와 $ T_t $ 의 초기값은 시계열 전체 혹은 일부 구간에 대해 선형회귀를 적용하여 얻은 절편(intercept)과 기울기(slope)로 설정한다.

 

---

고차 지수평활법 (Higher-Order Exponential Smoothing)

 

1차 지수평활법을 통해 상수 프로세스를, 2차 지수평활법을 통해 선형 추세 프로세스를 추정하였다. 이를 확장하여 $ n $ 차 다항식 모델에 대해서도 생각해볼 수 있다.

$$ y_t = \beta_0 + \beta_1 t _ \frac{\beta_2}{2!} t^2 + \cdots + \frac{\beta_n}{n!}t^n + \epsilon_t $$

이때도 지수평활법을 적용할 수 있는데, 여기서도 $ \epsilon_t \overset{\text{i.i.d.}}{\sim} N(0, \sigma^2) $ 을 가정하자. 이 경우 모델 파라미터를 추정하기 위해 $ n + 1 $ 차 지수평활($n+1$-order exponential smoothers)을 다음과 같이 적용한다.

$$ \tilde{y}_T^{(1)} = \lambda y_T + ( 1 - \lambda ) \tilde{y}^{(1)}_{T-1} $$

$$ \tilde{y}_T^{(2)} = \lambda \tilde{y}^{(1)}_T + ( 1 - \lambda ) \tilde{y}^{(2)}_{T-1} $$

$$ \vdots $$

$$ \tilde{y}_T^{(n)} = \lambda \tilde{y}^{(n-1)}_T + ( 1 - \lambda ) \tilde{y}^{(n)}_{T-1} $$

단 조금만 $ n $ 이 커지더라도 계산 비용이 기하급수적으로 커지기 때문에 잘 고려되지는 않는다.