원점을 지나는 회귀
특정 경우에는 $ X = 0 $ 일 때 $ Y = 0 $ 인게 명백할 수 있다. 예를 들어 $ X $ 가 생산량이고 $ Y $ 가 변동비용이라면 $ X = 0 $ 일 때 $ Y = 0 $ 일 것이다. 이러한 경우 회귀모형에서 $ \beta_0 = 0 $ 인 것이 자명하기에 다음과 같이 모형을 설정할 수 있다.
$$ y_i = \beta_1 x_i + \epsilon_i $$
그렇다면 오차제곱합 $SSE (\beta_1) $ 은 다음과 같다.
$$ SSE(\beta_1) = \sum \epsilon_i^2 = \sum (y_i - \beta_1 x_i)^2 $$
이를 최소로하기 위해 $ \hat{\beta}_1 $ 을 추정하면 다음과 같은 정규방정식을 만족시킨다.
$$ \sum x_i (y_i - \hat{\beta}_1 x_i) = 0 $$
따라서 $ \hat{\beta}_1 $ 는 다음과 같다.
$$ \hat{\beta}_1 = \frac{\sum x_i y_i}{\sum x_i^2} $$
이 경우 $ \sigma^2 $ 의 불편추정량은 $MSE $ 로 다음과 같다.
$$ MSE = \frac{\sum(y_i - \hat{y}_i)^2}{n-1} = \frac{\sum(y_i - \hat{\beta}_1 x_i)^2}{n-1} $$
$ \beta_0 = 0 $ 이라는 것이 가정되었으므로 자유도는 $ n - 1$ 이고, 따라서 분모가 $ n - 1 $ 이다.
추정된 회귀직선은 다음과 같다.
$$ \hat{y}_i = \hat{\beta}_1 x_i $$
이때 잔차는 $ \epsilon_i = y_i - \hat{y}_i $ 이며 회귀선에 의해 설명되는 변동 $SSR$ 과 잔차변동 $SSE $ 는 다음과 같이 정의되며 $ SSR $ 의 자유도는 $ 1 $, $ SSE $ 의 자유도는 $ n - 1 $ 이다.
$$ SSR = \sum (\hat{y}_i)^2 = \sum (\hat{\beta}_1 x_i)^2 = \frac{(\sum x_i y_i)^2}{\sum x_i^2} $$
$$ SSE = \sum(y_i - \hat{y}_i)^2 = \sum(y_i - \hat{\beta}_1 x_i)^2 = \sum y_i ^2 - SSR $$
따라서 원점을 통과하는 회귀선의 유의검정을 위한 검정통계량 $ F_0 $ 는 다음과 같다.
$$ F_0 = \frac{SSR / 1}{SSE / (n-1)} = \frac{MSR}{MSE} $$
그렇다면 기각역 $ RR $ 은 다음과 같다.
$$ RR = \{ F_0 > F_\alpha(1, n-1) \} $$
