가중회귀 (Weighted Regression)
단순회귀모형(simple regression model)은 일반적 가정, 즉 오차항의 등분산, $ \mathrm{Var}(\epsilon_i) = \sigma^2 $ 이 가정되어 있다. 그러나 등분산이 성립하지 않는 경우, 즉 오차항마다 분산이 다른 경우가 있을 수 있다.
$$ y_i = \beta_0 + \beta_1 x_i + \epsilon_i $$
$$ \mathrm{Var}(\epsilon_i) = \sigma^2_i = \frac{\sigma^2}{w_i} $$
이런 경우 가중최소제곱법(method of weighted least squares)을 사용하여 회귀분석하고, 이를 가중회귀라 하며, $ w_i $ 를 가중치(weights)라 부른다.
가중최소제곱법에서의 오차제곱합 $ WSSE $ 는 최소제곱법에서의 오차제곱합에 가중치를 고려하여 다음과 같이 나타낸다.
$$ WSSE (\beta_0, \beta_1) = \sum w_i (y_i - \beta_0 - \beta_1 x_i)^2 $$
이때 $ WSSE $ 를 최소로하는 $ \beta_0, \beta_1 $ 을 찾기 위해 편미분하여 다음과 같은 정규방정식을 만들자.
$$ \hat{\beta}_0 \sum w_i + \hat{\beta}_1 \sum w_i x_i = \sum x_i y_i $$
$$ \hat{\beta}_0 \sum w_i x_i + \hat{\beta}_1 \sum w_i x_i^2 = \sum w_i x_i y_i $$
또한 가중평균을 아래와 같이 정의하자.
$$ \bar{x} = \frac{\sum w_i x_i}{\sum w_i}, \qquad \bar{y} = \frac{\sum w_i y_i}{\sum w_i} $$
그렇다면 가중정규방정식의 해는 다음과 같다.
$$ \hat{\beta}_1 = \frac{\sum w_i (x_i - \bar{x})(y_i - \bar{y})}{\sum w_i (x_i - \bar{x})^2} $$
$$ \hat{\beta}_0 = \bar{y} - \hat{\beta}_1 \bar{x} $$
가중회귀에서 $ SST $, $SSR $, $ SSE $ 는 다음과 같다.
$$ SST = \sum w_i (y_i - \bar{y})^2 $$
$$ SSR = \frac{\left[ \sum w_i (x_i - \bar{x})(y_i - \bar{y})\right]^2}{\sum w_i (x_i - \bar{x})} $$
$$ SSE = SST - SSR $$
이렇게 가중회귀분석을 통해 회귀선을 찾으면 가중잔차의 합(weighted sum of residuals)인 $ \sum w_i(y_i - \hat{y}_i) $ 은 $ 0 $ 이 되고, 가중잔차제곱합(weighted residual sum of squares)은 최소가 된다.
이와 관련한 분산분석표는 단순회귀분석에서의 분산분석(참고링크)과 동일한 형태를 가진다.
