[Time Series] Lag Operator
Lag Operator \( L \)는 시계열 데이터 \( y_t \)를 한 시점 이전으로 이동시키는 연산자입니다
\[ L y_t = y_{t-1} \]
여러 번 적용하면
\[ L^k y_t = y_{t-k} \]
Difference Operator
1차 차분은 다음과 같이 표현됩니다:
\[ \Delta y_t = (1 - L) y_t \]
2차 차분은 다음과 같습니다:
\[ \Delta^2 y_t = (1 - L)^2 y_t \]
ARIMA Model
ARIMA(p, d, q) 모델은 다음과 같이 정의됩니다:
\[ (1 - \phi_1 L - \cdots - \phi_p L^p)(1 - L)^d y_t = \theta_0 + \theta_1 L + \cdots + \theta_q L^q \epsilon_t \]
1차 차분방정식 (First-Order Difference Equations)
1차 차분방정식은 다음과 같이 표현됩니다:
\[ Y_t = \phi Y_{t-1} + w_t \]
이를 Lag Operator를 사용하여 표현하면:
\[ Y_t = \phi L Y_t + w_t \]
이를 변형하면:
\[ (1 - \phi L) Y_t = w_t \]
\( |\phi| < 1 \)일 때, \( (1 - \phi L)\)의 inverse는 다음과 같이 정의됩니다(고등학교 때 배웠던 무한급수 꼴) \[ (1 - \phi L)^{-1} = 1 + \phi L + \phi^2 L^2 + \phi^3 L^3 + \ldots \] 이 식을 양쪽에 적용하면, \[ Y_t = w_t + \phi w_{t-1} + \phi^2 w_{t-2} + \phi^3 w_{t-3} + \ldots \]
현재 시점 \( Y_t \)이 과거 시점의 충격 \( w_{t-i} \)들의 누적 효과에 의해 결정된다는 것을 의미합니다.
2차 차분방정식 (Second-Order Difference Equations)
2차 차분방정식은 다음과 같이 표현됩니다:
\[ Y_t = \phi_1 Y_{t-1} + \phi_2 Y_{t-2} + w_t \]
이를 Lag Operator로 표현하면:
\[ (1 - \phi_1 L - \phi_2 L^2) Y_t = w_t \]
2차 방정식 형태이므로 인수분해를 시도합니다:
\[ (1 - \lambda_1 L)(1 - \lambda_2 L) Y_t = w_t \]
여기서 \( \lambda_1 \)과 \( \lambda_2 \)는 특성 방정식의 근입니다:
\[ \lambda^2 - \phi_1 \lambda - \phi_2 = 0 \]
특성방정식(Characteristic Equation)은 선형 차분 방정식이나 선형 미분방정식의 해를 찾기위해 사용되는 수학적 도구입니다. Lag Operator로 표현된 차분방정식(Difference equation)에서 오차항을 무시하고 Lag Operator를 변수 \( \lambda\) 로 치환하면 특성방정식을 얻을 수 있습니다.
참고로 Matrix 형태로 표현하면 \[ \begin{bmatrix} Y_t \\ Y_{t-1} \end{bmatrix} = \begin{bmatrix} \phi_1 & \phi_2 \\ 1 & 0 \end{bmatrix} \begin{bmatrix} Y_{t-1} \\ Y_{t-2} \end{bmatrix} + \begin{bmatrix} w_t \\ 0 \end{bmatrix} \] 이 되고, 이 \(F\) matrix의 eigen-value가 \( \lambda_1 \)과 \( \lambda_2 \)입니다.
근의 공식을 이용하면 \[ \lambda_{1, 2} = \frac{\phi_1 \pm \sqrt{\phi_1^2 + 4\phi_2}}{2} \]
일반해 (General Solution)
1. 서로 다른 실근인 경우:
\[ Y_t = A \lambda_1^t + B \lambda_2^t \]
2. 중근인 경우:
\[ Y_t = (A + Bt) \lambda^t \]
3. 복소수 근인 경우:
\[ Y_t = e^{\alpha t} (C_1 \cos(\beta t) + C_2 \sin(\beta t)) \]
\(\lambda_1\), \(\lambda_2\) 가 unit circle 안에 존재하고 distinct(같지 않다)라고 가정하고 dynamic multiplier를 유도해볼까요?
차분방정식의 양쪽에 아래의 값을 곱해주면
\[ (1 - \phi_1 L - \phi_2 L^2)^{-1} = \frac{1}{(1 - \lambda_1 L)(1 - \lambda_2 L)} \]
\[ y_t = (1 - \lambda_1 L)^{-1} (1 - \lambda_2 L)^{-1} w_t \]
여기서 양쪽에 \[ (\lambda_1 - \lambda_2)^{-1} \left\{ \frac{\lambda_1}{1 - \lambda_1 L} - \frac{\lambda_2}{1 - \lambda_2 L} \right\} \] 를 곱해줍시다. [Sargent, 1987 참조]
그리고 각각의 term(아래)을 무한급수 형태로 전개하면
\[ (1 - \lambda_1 L)^{-1} = 1 + \lambda_1 L + \lambda_1^2 L^2 + \cdots \] \[ (1 - \lambda_2 L)^{-1} = 1 + \lambda_2 L + \lambda_2^2 L^2 + \cdots \]
최종적으로 이런 식을 얻을 수 있습니다.
\[ Y_t = \left( \frac{\lambda_1}{\lambda_1 - \lambda_2} \right) \sum_{i=0}^{\infty} \lambda_1^i w_{t-i} - \left( \frac{\lambda_2}{\lambda_1 - \lambda_2} \right) \sum_{i=0}^{\infty} \lambda_2^i w_{t-i} \]
다시 써보면
\[ Y_t = [c_1 + c_2] w_t + [c_1 \lambda_1 + c_2 \lambda_2] w_{t-1} + [c_1 \lambda_1^2 + c_2 \lambda_2^2] w_{t-2} + \cdots \]
여기서 \[ c_1 = \frac{\lambda_1}{\lambda_1 - \lambda_2}, \quad c_2 = -\frac{\lambda_2}{\lambda_1 - \lambda_2} \]
그리고 이것으로부터 우리의 결론을 얻을 수 있습니다
\[ \frac{\partial y_{t+j}}{\partial w_t} = c_1 \lambda_1^j + c_2 \lambda_2^j \]
현재 시점 \( Y_t \)이 두 시점 이전의 값들과 과거의 충격들의 조합으로 표현됨을 의미합니다.