자기회귀-이동평균 (ARMA, Autoregressive Moving Average)
정상시계열은 무한 이동평균, 혹은 그 특수한 형태인 이동평균(MA), 또는 자기회귀(AR) 모델을 통해 무한개의 무작위 충격(random shocks)에 대한 가중합으로 표현 가능하다. 특히 1차 자기회귀 프로세스(first-order autoregressive process)에서는 이 무한합 안에 등장하는 가중치들이 $ \phi $ 라는 단 하나의 감쇠율(rate of decay)에 따라 기하급수적으로 감쇠(exponential decay)하는 패턴을 강제했다.
그러나 정상성 유지를 위한 $ \sum_{i=0}^\infty \psi_i^2 < \infty $ 라는 조건 외 이러한 가중치 $ \psi_i $ 에 부과되는 특별한 제약이 없다면 모델에서 가정한 가중치와 실제 가중치가 다를 수 있다. 즉 가중치 패턴이 더욱 복잡할 수 있다. 1차 자기회귀 모델에서 가중치 패턴이 더욱 복잡하다면 모델의 차수를 높이는 방식을 통해 그 패턴을 모사(approximate)해야 할 것이다.
그러나 어떤 경우에는 기하급수적 감쇠를 전반적으로 유지하되 일부 항(term)만 약간의 조정을 거쳐 더 간결한(parsimonious) 모델을 얻을 수도 있다. 예를 들어 $ \psi $ 가 대체로 일정한 감쇠율을 통해 기하급수적으로 감소하지만, 1차 자기회귀(AR(1)) 모델과 달리 약간의 오차만 있을 수 있다. 이때 차수를 높여서 패턴을 맞추는 것 보다 더 간단하게 1차 이동평균(MA(1)) 항을 추가하여 $ \psi_1 $ 항만 조정해주면 나머지 항들의 감쇠율은 그대로 두면서 패턴을 맞출 수 있다. 이를 1-1차 자기회귀-이동평균 모델(ARMA(1, 1))이라 한다.
좀 더 일반적으로 표현한 ARMA($p$, $q$) 모델은 다음과 같다.
$$ y_t = \delta + \phi_1 y_{t-1} + \phi_2 y_{t-2} + \cdots + \phi_p y_{t-p} + \epsilon_t - \theta_1 \epsilon_{t-1} - \theta_2 \epsilon_{t-2} - \cdots - \theta_q \epsilon_{t-q} $$
정리하면 다음과 같다.
$$ y_t = \delta + \sum_{i=1}^p \phi_i y_{t-i} + \epsilon_t - \sum_{i=1}^q \theta_i \epsilon_{t-i} $$
이를 다시 후바이동 연산자(backshift operator) $ B $ 를 사용하여 나타내면 다음과 같다.
$$ \Phi(B) y_t = \delta + \Theta(B) \epsilon_t $$
여기서 $ \epsilon_t $ 는 화이트 노이즈(white noise)이다.
결과적으로 ARMA 모델은 시계열의 과거값(autoregressive part)과 과거 오차(moving average part)를 모두 고려함으로써 더 유연하고 포괄적인 방식으로 데이터를 설명할 수 있다.
정상성 (Stationarity)
ARMA 모델에서 정상성은 모델 내 AR 성분에 의해 결정된다. 즉 아래 특성다항식의 모든 근의 절댓값이 $ 1 $ 보다 작으면 정상적이다.
$$ m^p - \phi_1 m^{p-1} - \phi_2 m^{p-2} - \cdots - \phi_p = 0 $$
이 조건이 충족되면 ARMA($p$, $q$) 모델은 다음과 같은 무한 이동평균 형태로 나타낼 수 있다.
$$ y_t = \mu + \sum_{i=0}^\infty \psi_i \epsilon_{t-i} = \mu + \Psi(B) \epsilon_t $$
여기서 $ \Psi (B) = \Phi(B)^{-1} \Theta(B) $ 이다.
이때 $ \Psi(B) $ 속 계수들은 다음과 같다.
$$ \psi_0 = 1 $$
$$ \psi_i - \phi_1 \psi_{i-1} - \phi_2 \psi_{i-2} - \cdots - \phi_p \psi_{i-p} = \begin{cases} - \theta_i, & \quad (i = 1, \cdots, q) \\ 0, & \quad (i > q) \end{cases} $$
가역성 (Invertibility)
ARMA 모델에서 가역성은 모델 내 MA 성분에 의해 결정된다. 즉 아래 특성다항식의 모든 근의 절댓값이 $ 1 $ 보다 작으면 가역적이다.
$$ m^q - \theta_1 m^{q-1} - \theta_2 m^{q-2} - \cdots - \theta_q = 0 $$
이 조건이 충족되면 다음과 같은 무한차수 AR 형태로 나타낼 수 있다.
$$ \Pi(B) y_t = \alpha + \epsilon_t $$
여기서 $ \alpha = \Theta(B)^{-1} \delta $, $ \Pi(B) = \Theta(B)^{-1} \Psi(B) $ 이다.
이때 $ \Pi(B) $ 의 계수들은 다음과 같다.
$$ \pi_0 = -1 $$
$$ \pi_i - \theta_1 \pi_{i-1} - \theta_2 \pi_{i-2} - \cdots - \theta_q \pi_{i-q} = \begin{cases} \phi_i, & \quad (i = 1, \cdots, p) \\ 0, & \quad (i > p) \end{cases} $$
부분자기상관함수 (PACF)
정상성, 가역성 조건을 통해 확인할 수 있지만, ARMA 모델의 자기상관함수(ACF)와 부분자기상관함수(PACF)는 AR 성분과 MA 성분에 의해 결정된다. 따라서 AMRA($p$, $q$) 프로세스는 자기상관함수(ACF)와 부분자기상관함수(PACF) 모두에서 지수감쇠 혹은 감쇠사인 패턴을 보일 수 있고, 이때문에 AR 모델이나 MA 모델에 비해 차수를 식별하기 어렵다.
