회귀계수 검정 일반적인 검정과 거의 동일하다고 생각하면 된다. 앞서 신뢰구간(참고링크)를 구해놨기 때문에 측정된 관측값의 확률에 대해 확인할 수 있고, 따라서 가설검정을 진행할 수 있다.먼저 $\epsilon_i \sim N(0, \sigma^2)$ 등 단순선형회귀의 기본가정이 성립한다고 전제한다.목표모수 $\theta$점추정량 $\hat{\theta}$표준오차 $\sigma_{\hat{\theta}}$$\beta_0$ $$\hat{\beta}_1 = \bar{y} - \hat{\beta}_1 \bar{x}$$ $$\sigma^2 \left( \frac{1}{n} + \frac{\bar{x}^2}{\sum (x_i - \bar{x})^2} \right)$$ $\beta_1$$$ \..

회귀계수의 신뢰구간 단순선형회귀모형을 위한 기본 가정이 있었다. 하나는 선형성(linearity)로 $E(Y \mid X = x) = \beta_0 + \beta_1 x$ 가 성립하는 것이었고, 다른 하나는 등분산성(homoscedasticity)으로 $x$ 가 변하여도 $\mathrm{Var}(Y)$ 는 변하지 않는 것이었다. 마지막으로 $X$ 는 고정된 상수로 취급하지만, $Y$ 는 확률변수로 취급하며 이때 $Y$ 의 측정오차는 독립이라는 가정이었다. • $\beta_1$ 신뢰구간$\beta_1$ 에 대한 추정값은 최소제곱법(OLS)을 활용한 추정에서 다음과 같았다.$$ \hat{\beta}_1 = \frac{S_{XY}}{S_{X}^2} = \frac{\sum (x_i ..

가중회귀 (Weighted Regression) 단순회귀모형(simple regression model)은 일반적 가정, 즉 오차항의 등분산, $\mathrm{Var}(\epsilon_i) = \sigma^2$ 이 가정되어 있다. 그러나 등분산이 성립하지 않는 경우, 즉 오차항마다 분산이 다른 경우가 있을 수 있다. $$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$ $$\mathrm{Var}(\epsilon_i) = \sigma^2_i = \frac{\sigma^2}{w_i}$$ 이런 경우 가중최소제곱법(method of weighted least squares)을 사용하여 회귀분석하고, 이를 가중회귀라 하며, $w_i$ 를 가중치(weights)라 부른다.가중최소..

원점을 지나는 회귀 특정 경우에는 $X = 0$ 일 때 $Y = 0$ 인게 명백할 수 있다. 예를 들어 $X$ 가 생산량이고 $Y$ 가 변동비용이라면 $X = 0$ 일 때 $Y = 0$ 일 것이다. 이러한 경우 회귀모형에서 $\beta_0 = 0$ 인 것이 자명하기에 다음과 같이 모형을 설정할 수 있다. $$y_i = \beta_1 x_i + \epsilon_i$$ 그렇다면 오차제곱합 $SSE (\beta_1)$ 은 다음과 같다. $$SSE(\beta_1) = \sum \epsilon_i^2 = \sum (y_i - \beta_1 x_i)^2$$ 이를 최소로하기 위해 $\hat{\beta}_1$ 을 추정하면 다음과 같은 정규방정식을 만족시킨다.$$ \sum x_i (y_i ..

상관분석 (Correlation Analysis) 두 변수 $X$ 와 $Y$ 사이 선형관계(linear relationship)를 설명하는 상관계수(coefficient of correlation)을 이용한 분석이다. 상관계수 $r$ 은 결정계수(참고링크) $r^2$ 를 통해 다음과 같이 구할 수 있다. $$r = \pm \sqrt{r^2}$$ $r$ 의 부호는 회귀선의 기울기인 $\hat{\beta}_1$ 을 따라간다. $\hat{\beta}_1$ 이 양수이면 $r$ 도 양수이고, 음수이면 $r$ 도 음수이다. 따라서 $r$ 의 범위는 $[-1, 1]$ 이다. 만약 $r = 0$ 이면 두 변수간 선형관계가 없다고 말할 수 있다.단 지금까지는 $Y$ 는 확률변..

회귀선 추정 (Regression Line Estimation) 단순회귀분석모형인 $Y= \beta_0 + \beta_1 X + \epsilon$ 을 얻기 위해 추정을 진행한다면 다음과 같은 직선을 얻을 것이다. $$\hat{y} = \hat{\beta}_0 + \hat{\beta}_1 x$$ 이와 같은 직선을 추정된 회귀직선, 간단하게 회귀선이라 한다. 여기서 $\hat{\beta}_0, \hat{\beta}_1, \hat{y}$ 는 각각 $\beta_0, \beta_1, E(Y \mid X= x)$ 의 추정값(estimate)이다. 이를 좌표평면에 그리면 $\hat{\beta}_0$ 가 절편이 되고, $\hat{\beta}_1$ 이 기울기가 되서 이를 각각 회귀선의 절편, 기울기라 ..

회귀분석 (Regrassion Analysis) 많은 연구에서의 관심사는 특정 변수 간의 관계를 파악하는 것이다. 인공지능이나 머신러닝에서 특정 변수를 예측하는 것 역시 다른 변수와의 관계를 모델링하여 특정 변수를 예측하는 것과 무관하지 않다.회귀분석은 이러한 변수 간의 관계를 모델링하고 예측하는 통계적 방법론이다. 예측하고자 하는 변수를 일반적으로 종속변수(dependent variable) 또는 반응변수(response variable)라고 하고, 이에 영향을 주는 변수를 독립변수(independent variable) 또는 설명변수(explanatory variable)라고 한다.가장 간단하게는 독립변수 하나, 종속변수 하나, 그리고 그 둘의 선형관계(linear ralation)를 탐색하는 단순회..