[Linear Algebra] 곡선적합(curve fitting) 및 최소제곱법(least square method)

---

곡선적합

 

특정 실험을 통해 측정값을 얻었다면 이를 설명하는 함수를 구할 수 있다. 즉 $ (x_0, y_0) $, $(x_1, y_1) $, $ \cdots $, $(x_n, y_n) $ 과 같은 자료가 주어졌을 때 이 모든 점을 지나면서 이를 대표하는 곡선, 혹은 함수식 $ y = f(x) $ 을 찾을 수 있는데, 이를 곡선적합이라 한다.

$$ y = f(x) = a_0 + a_1 x + a_2 x^2 + \cdots + a_n x^{n-1} $$

위와 같은 $ n $ 차 다항식에 대하여 점 $ (x_i, y_i ) $ 가 곡선 $ y = f(x) $ 위에 있다 가정하면, $ f(x_i) = y_i $ 이다. 이를 $ n + 1 $ 개의 미지수 $ a_0, a_1, \cdots, a_n $ 를 가진 선형방정식으로 다음과 같이 나타낼 수 있다.

$$ \begin{bmatrix} 1 & x_0 & x_0^2 & \cdots & x_0^n \\ 1 & x_1 & x_1^2 & \cdots & x_1^n \\ 1 & x_2 & x_2^2 & \cdots & x_2^n \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & x_n & x_n^2 & \cdots & x_n^n \end{bmatrix} \begin{bmatrix} a_0 \\ a_1 \\ a_2 \\ \vdots \\ a_n \end{bmatrix} = \begin{bmatrix} y_0 \\ y_1 \\ y_2 \\ \vdots \\ y_n \end{bmatrix} $$

서로 다른 $ x_0, x_1, \cdots, x_n $ 에 대하여 $ (n+1) \times (n+1) $ 계수행렬 $ A $ 의 행렬식을 구해본다면 $ | A | \neq 0 $ 이고, 따라서 이 선형 연립방정식은 유일한 해를 가진다. 즉 주어진 자료를 설명하는 유일한 $ n $ 차 다항식 $ y = f(x) $ 을 얻는다.

 

---

최소제곱법

 

앞서 곡선적합을 통해 연립일차방정식 $ A \mathbf{x} = \mathbf{b} $ 의 해가 존재할 때에 대하여 주어진 자료의 값과 오차가 가장 작은 곡선을 찾았다. 그러나 만약 $ A \mathbf{x} = \mathbf{b} $ 의 해가 존재하지 않는다면 이 방법은 사용할 수 없다. 이때는 최소제곱법을 활용하여 오차가 가장 작은 곡선을 찾는다.

연립일차방정식 $ A \mathbf{x} = \mathbf{b} $ 의 해는 벡터 $ \mathbf{x} $ 가 정확한 해이면 $ \| A \mathbf{x} - \mathbf{b} \| =  0 $ 이고, 정확하지 않을수록 $ \| A \mathbf{x} - \mathbf{b} \| $ 의 갑싱 커진다. 따라서 $ \| A \mathbf{x} - \mathbf{b} \| $ 의 값을 최소화하여 해에 가장 가까운 벡터를 구할 수 있다.

$$ \| A \mathbf{x_0} - \mathbf{b} \| \leq \| A \mathbf{x} - \mathbf{b} \| $$

$ A \in M_{m \times n}, \mathbf{b} \in \mathbb{R}^m $ 일 때 $ \mathbf{x} \in \mathbb{R}^n $ 에 대하여 위를 만족하는 벡터 $ \mathbf{x_0} \in \mathbb{R}^n $ 을 $ A \mathbf{x} = \mathbf{b} $ 의 최소제곱해(least square solution)라 한다.

$ A \mathbf{x} - \mathbf{b} = \begin{bmatrix} \epsilon_1 \\ \epsilon_2 \\ \vdots \\ \epsilon_n \end{bmatrix} \neq 0 $ 이라 가정하면 $ \| A \mathbf{x} - \mathbf{b} \| = \sqrt{\epsilon_1^2 + \epsilon_2^2 + \cdots + \epsilon_n^2} $ 이다. 이때 $ \| A \mathbf{x} - \mathbf{b} \| $ 를 최소화한다는 것은 $ \epsilon_1^2 + \epsilon_2^2 + \cdots + \epsilon_n^2 $ 을 최소화한다는 것이므로 최소제곱해라고 하는 것이다.

$ A \in M_{m \times n} $, $ m > n $, $ \mathbf{b} \in \mathbb{R}^n $ 이 $ A \mathbf{x} = \mathbf{b} $ 의 최소제곱해가 되기 위한 필요충분조건은 정규연립방정식 $ A^T A \mathbf{x} = A^T \mathbf{b} $ 의 해이다. 즉 $ \mathbf{x_0} = (A^T A)^{-1} A^T \mathbf{b} $ 이다.

최소제곱해는 다음과 같이 찾는다. 먼저 $ W $ 를 $ \mathbb{R}^m $ 의 부분공간이라 하면 $ \mathbf{b} \in \mathbb{R}^m $ 에 가장 가까운 벡터는 $ \mathbf{b} $ 의 $ W $ 위로의 정사영벡터 $ \operatorname{proj}_\mathbf{w} \mathbf{b} $ 이다. 즉 벡터 $ \mathbf{x} $ 가 $ A \mathbf{x} = \mathbf{b} $ 의 최소제곱해가 되기 위해서는 $ A \mathbf{x} = \operatorname{proj}_\mathbf{w} \mathbf{b} $ 를 만족해야 한다.

$ \mathbf{b} - A \mathbf{x} = \mathbf{b} - \operatorname{proj}_\mathbf{w} \mathbf{b} $는 $ W $ 에 수직이고, 양변에 $ A^T $ 를 곱하면 $ A^T ( \mathbf{b} - A \mathbf{x} ) = A^T ( \mathbf{b} - \operatorname{proj}_\mathbf{w} \mathbf{b} ) $ 이다.

이때 $ W = \operatorname{Col}(A), \mathbf{b} - A \mathbf{x} $ 는 $ A^T $ 의 영공간 벡터이므로 $ A^T ( \mathbf{b} - \operatorname{proj}_\mathbf{w} \mathbf{b} = \mathbf{0} $ 이다. 즉 다음이 성립한다.

$ A^T ( \mathbf{b} - A \mathbf{x}) = \mathbf{0} \Longleftrightarrow A^T A \mathbf{x} = A^T \mathbf{b} $

이때 $ A^T A \mathbf{x} = A^T \mathbf{b} $ 를 $ A \mathbf{x} = \mathbf{b} $ 에 대한 정규연립방정식(normal system)이라 한다.

 

---

최소제곱직선 (Least Square Line of Best Fit)

 

실험으로 얻은 자료가 정확히 직선 혹은 곡선으로 나타나지 않을 수 있다. 그렇기에 자료에서 적합한 함수의 계수를 결정하고 곡선을 어림하여 찾는 것이다.

만약 자료 $ (x_1, y_1) $, $(x_2, y_2) $, $ \cdots $, $ (x_n, y_n) $ 이 있고, 이를 가장 잘 설명하는 임의의 직선 $ y = a + bx $ 를 찾는다 가정하자. 계수 $ a $ 와 $ b $ 는 자료가 정확히 $ y = a + bx $ 위에 있을 때는 다음과 같은 연립일차방정식의 해이다.

$$ \begin{cases} a + bx_1 = y_1 \\ a + bx_2 = y_2 \\ \vdots \\ a+ bx_n = y_n \end{cases} $$

행렬로 나타내면 다음과 같다.

$$ A \mathbf{x} = \mathbf{b} $$

$$ A = \begin{bmatrix} 1 & x_1 \\ 1 & x_2 \\ \vdots & \vdots \\ 1 & x_n \end{bmatrix}, \quad \mathbf{x} = \begin{bmatrix} a \\ b \end{bmatrix} , \quad \mathbf{b} = \begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{bmatrix} $$

주어진 자료가 정확히 직선 위에 있지 않으므로 정규연립방정식 $ A^T A \mathbf{x} = A^T \mathbf{b} $ 에서 최소제곱해 $ \mathbf{x_0} = (A^T A)^{-1} A^T \mathbf{b} $ 를 계산한다. 이때 얻은 직선 $ y = a + bx $ 를 주어진 자료에 대한 최소제곱직선 혹은 회귀직선(regression line)이라 한다.