[Causal Inference] 2단계 최소제곱법(2SLS, two-stage least squares)

---

2단계 최소제곱법 (2SLS)

 

2단계 최소제곱법은 도구변수 회귀분석을 실제로 수행할 때 가장 널리 사용되는 방법이다. 먼저 다음과 같은 실제 모형을 가정한다.

$$ Y_i = \alpha + \beta X_i + \epsilon_i $$

이를 구조적 모델(structural model)이라 한다.

그리고 도구변수 $ Z $ 에 대해 다음과 같이 도구 관련성(instrument relevance) 조건과 도구 외생성(instrument exogeneity) 조건을 만족한다고 하자.

$$ \mathrm{Cov} (X, Z) \neq 0 $$

$$ \mathrm{Cov} (\epsilon, Z) = 0 $$

이미 도구변수를 이용한 $ \beta $ 의 추정값을 다음과 같이 알고있다.

$$ \hat{\beta}_{IV} = \frac{\mathrm{Cov}(Y, Z)}{\mathrm{Cov}(X, Z)} $$

그런데 이를 다음과 같이 나타내보자.

$$ \hat{\beta}_{IV} = \frac{\mathrm{Cov}(Y, Z) / \mathrm{Var}(Z)}{\mathrm{Cov}(X, Z) / \mathrm{Var}(Z)} $$

여기서 $ \mathrm{Cov}(Y, Z) / \mathrm{Var}(Z) $ 이 무엇인가 생각해본다면 다음과 같은 회귀식의 OLS를 이용한 회귀계수 추정값이다.

$$ Y_i = \theta_1 + \theta_2 Z_i + v_{3i} $$

즉 다음과 같다.

$$ \hat{\theta}_2 = \frac{\mathrm{Cov}(Y, Z)}{\mathrm{Var}(Z)} $$

여기서 $ Z $ 를 설명변수로 하는 $ Y $ 의 회귀식을 축약형(reduced form)이라 한다.

이제 $ \mathrm{Cov}(X, Z) / \mathrm{Var}(Z) $ 이 무엇인가 생각해보면 다음과 같은 회귀식의 OLS를 이용한 회귀계수 추정값이다.

$$ X_i = \gamma + \delta Z_i + v_{1i} $$

즉 다음과 같다.

$$ \hat{\delta} = \frac{\mathrm{Cov}(X, Z)}{\mathrm{Var}(Z)} $$

여기서 $ Z $ 를 설명변수로 하는 $X $ 의 회귀식을 1단계 모델(first-stage model)이라 한다.

그렇다면 이제 다음과 같이 쓸 수 있다.

$$ \hat{\beta}_{IV} = \frac{\hat{\theta}_2}{\hat{\delta}} $$

그런데 이를 다시 또 다음과 같이 나타내보자.

$$ \hat{\beta}_{IV} = \frac{\hat{\delta} \cdot  \mathrm{Cov}(Y, Z)}{\hat{\delta} \cdot \mathrm{Cov}(X, Z)} $$

그렇다면 다음과 같다.

$$ \hat{\beta}_{IV} = \frac{\hat{\delta} \cdot \mathrm{Cov}(Y, Z)}{\hat{\delta}^2 \cdot \mathrm{Var}(Z)} = \frac{\mathrm{Cov}(Y, \hat{\delta} \cdot Z)}{\mathrm{Var}(\hat{\delta} \cdot Z)} $$

그렇다면 이는 다음과 같은 회귀식에 OLS를 이용한 회귀계수 추정값이다.

$$ Y_i = \theta_3 + \theta_4 \hat{X}_i + v_{2i} $$

이 회귀식을 2단계 모델(second-stage model)이라 하고, 다음이 성립한다.

$$ \hat{\theta}_4 = \hat{\beta}_{IV} $$

결론적으로 적절한 도구변수를 선택하고 두 번의 회귀모델에 대한 적합을 통해 회귀계수를 추정하여 원하는 회귀계수 $ \beta $ 에 대한 추정이 가능하다는 것을 보여준다.