[Linear Algebra] 행렬(matrix)과 행렬 연산 및 여러 행렬

---

행렬 (Matrix)

 

일반적으로 수들을 직사각형 형태로 배열한 것을 말한다. 이때, 가로줄을 행, 세로줄을 열이라 한다. 이때 내부에는 수 뿐 아니라 식 등 다양한 것들이 들어갈 수 있는데 이를 원소(element) 혹은 성분(entry)이라 한다. 아래와 같은 행렬은 가로줄이 세 개이므로 행이 세 개, 세로줄이 두 개 이므로 행이 두 개인 행렬이다. 즉 크기가 $ 3 \times 2 $ 인 행렬이다. 또한 크기가 $ 3 \times 2 $ 이기 때문에 성분의 개수는 6 개이다.

$$ A = \begin{bmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \\ a_{31} & a_{32} \end{bmatrix} $$

행렬은 또 다르게 $ A = \begin{bmatrix} a_{ij} \end{bmatrix}_{3 \times 2} $ 와 같이 표기하기도 한다. 이때 $ a_{ij} $ 는 $ i $ 행과 $ j $ 열이 만나는 곳의 성분을 말한다.

$ m \times n $ 행렬을 일반화시키면 $ A = \begin{bmatrix} a_{ij} \end{bmatrix}_{m \times n} $ 이라 할 수 있고 아래와 같이 행렬을 그릴 수 있다.

$$ A = \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{bmatrix} $$

 

---

행렬의 연산

 

• 행렬 덧셈 (MatrixAddition)

행렬끼리 더하거나 빼는 연산이다. 행렬끼리의 덧셈과 뺄셈을 할 때는 두 행렬의 크기가 동일해야 한다. 크기가 동일하다면 각 성분별로 더하거나 뺀다. 즉 행렬 $ A = \begin{bmatrix} a_{ij} \end{bmatrix}_{m \times n} $ 와 행렬 $ B = \begin{bmatrix} b_{ij} \end{bmatrix}_{m \times n} $ 를 더해서 행렬 $ C = \begin{bmatrix} c_{ij} \end{bmatrix}_{m \times n} $  가 만들어졌다면, $ c_{ij} = a_{ij} + b_{ij} $ 이다.

예를 들어 아래와 같이 행렬 덧셈을 할 수 있다.

$$ \begin{bmatrix} 1 & 2 \\ 3 & 4 \end{bmatrix} + \begin{bmatrix} 5 & 6 \\ 7 & 8 \end{bmatrix} = \begin{bmatrix} 1 + 5 & 2 + 6 \\ 3 + 7 & 4 + 8 \end{bmatrix} = \begin{bmatrix} 6 & 8 \\ 10 & 12 \end{bmatrix} $$

 

• 스칼라 곱 (Scalar Multiplication)

행렬에 특정 수를 곱하는 연산이다. 행렬의 각 성분에 특정 수를 곱한다. 즉 행렬 $ A = \begin{bmatrix} a_{ij} \end{bmatrix}_{m \times n} $ 에 $ k $ 를 곱해서 행렬 $ C = \begin{bmatrix} c_{ij} \end{bmatrix}_{m \times n} $ 가 만들어졌다면, $ c_{ij} = k \times a_{ij} $ 이다.

예를 들어 아래와 같이 행렬의 스칼라 곱을 할 수 있다.

$$ 3 \begin{bmatrix} 1 & 2 \\ 3 & 4 \end{bmatrix} = \begin{bmatrix} 3 \times 1 & 3 \times 2 \\ 3 \times 3 & 3 \times 4 \end{bmatrix} = \begin{bmatrix} 3 & 6 \\ 9 & 12 \end{bmatrix} $$

 

• 행렬곱 (Matrix Multiplication)

행렬끼리 곱하는 연산이다. 행렬끼리 곱하려면 앞 행렬의 열과 뒷 행렬의 행의 크기가 같아야 한다. 행렬 $ A = \begin{bmatrix} a_{ij} \end{bmatrix}_{m \times p} $ 와 행렬 $ B = \begin{bmatrix} b_{ij} \end{bmatrix}_{p \times n} $ 를 곱해서 행렬 $ C = \begin{bmatrix} c_{ij} \end{bmatrix}_{m \times n} $ 가 만들어졌다면 $ c_{ij} =  \sum_{k=1}^p{a_{ik}b_{kj}} $ 이다. 이때 앞 행렬의 열이 $ p $ 이고, 뒷 행렬의 행이 $ p $ 이므로 연산이 가능했다.

곱할 때는 앞 행렬은 행으로, 뒷 행렬은 열로 나누고 차근차근 성분들을 곱하고 더해가면 된다. 예를 들어 아래와 같이 행렬의 곱셈을 계산할 수 있다. 보면 앞 행렬의 첫 번째 행과 뒷 행렬의 첫 번째 열을 차근차근 곱하고 더해서 결과 행렬의 첫번째 열 첫번째 행의 성분이 계산되었다. 

$$ \begin{bmatrix} 1 & 2 \\ 3 & 4 \end{bmatrix} \times \begin{bmatrix} 5 & 6 \\ 7 & 8 \end{bmatrix} = \begin{bmatrix} 1 \times 5 + 2 \times 7 & 1 \times 6 + 2 \times 8 \\ 3 \times 5 + 4 \times 7 & 3 \times 6 + 4 \times 8 \end{bmatrix} = \begin{bmatrix} 19 & 22 \\ 43 & 50 \end{bmatrix} $$

 

• 전치 (Transpose)

행렬의 행과 열을 바꾸는 연산이다. 행렬 $ A = \begin{bmatrix} a_{ij} \end{bmatrix}_{m \times n} $ 의 전치는 $ A = \begin{bmatrix} a_{ji} \end{bmatrix}_{n \times m} $ 가 되는 것이다. 행렬 $ A $ 의 전치행렬을 $ A^T $ 라고 나타낸다.

예를 들어 아래와 같이 전치행렬을 나타낼 수 있다.

$$ A = \begin{bmatrix} 1 & 2 & 3 \\ 4 & 5 & 6 \end{bmatrix} \quad \rightarrow \quad A^T = \begin{bmatrix} 1 & 4 \\ 2 & 5 \\ 3 & 6 \end{bmatrix} $$

 

• 거듭제곱 (Exponentiation)

일반적인 거듭제곱과 같이 행렬을 거듭 곱하는 것이다. 단, 행렬의 행과 열의 크기가 같아야 가능한 연산이다.

 

---

행렬의 성질

 

행렬 $ A $, $ B $, $ C $ 가 각 연산이 정의될 수 있는 크기의 행렬이고, $ \alpha $, $ \beta $ 가 실수라 가정한다.

• 상등 혹은 동치

$$ A = B $$

위 식이 성립하려면 행렬 $ A $ 와 행렬 $ B $ 의 크기가 같아야하고, 행렬의 성분이 모두 같아야 한다.

• 합의 교환법칙

$$ A + B = B + A $$

• 합의 결합법칙

$$ A + (B + C) = (A + B) + C $$

• 곱의 결합법칙

$$ A(BC) = (AB)C $$

• 분배법칙

$$ A(B+C) = AB + BC $$

$$ (A+B)C = AC + BC $$

• 스칼라 곱 분배법칙

$$ \alpha (A + B) = \alpha A + \alpha B $$

$$ (\alpha + \beta) A = \alpha A + \beta A $$

• 스칼라 곱 결합법칙

$$ (\alpha \beta) A = \alpha (\beta A) $$

$$ \alpha (A B) = (\alpha A) B = A (\alpha B) $$

• 전치 분배법칙 일부

$$ (\alpha A)^T = \alpha A^T $$

$$ (A + B)^T = A^T + B^T $$

$$ (AB)^T = B^T \times A^T $$

 

주의해야 할 것은 다음은 성립하지 않는다는 것이다.

• 곱의 교환법칙

$$ AB \neq BA $$

• 전치 분배법칙 일부

$$ (AB)^T \neq A^T \times B^T $$

 

---

여러가지 행렬

 

• 정사각행렬 혹은 정방행렬 (Square Matrix)

행렬의 크기가 $ n \times n $ 으로 행과 열의 크기가 같으면 정사각행렬이라 한다.

$$ \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{n1} & a_{n2} & \cdots & a_{nn} \end{bmatrix} $$

행렬이 정사각행렬일 때 우하향하는 대각선의 성분들, 즉 $ A = \begin{bmatrix} a_{ij} \end{bmatrix}_{n \times n} $ 인 행렬에서 $ a_{11}, a_{22}, \ldots, a_{nn} $ 을 주대각선 성분이라 한다.

• 삼각행렬 (Triangular Matrix)

주대각선 성분을 기준으로 위나 아래의 값이 모두 0 이면 삼각행렬이라 한다. 아래가 모두 0 인 행렬을 상삼각행렬(upper triangular matrix), 위가 모두 0 인 행렬을 하삼각행렬(lower triangular matrix)이라 한다.

$$ \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ 0 & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & a_{nn} \end{bmatrix} $$

\begin{bmatrix} a_{11} & 0 & \cdots & 0 \\ a_{21} & a_{22} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ a_{n1} & a_{n2} & \cdots & a_{nn} \end{bmatrix}

• $ O $ | 영행렬 (Zero Matrix)

모든 성분이 0 인 행렬을 영행렬이라 한다. 행렬 덧셈의 항등원이다.

$$ \begin{bmatrix} 0 & 0 & \cdots & 0 \\ 0 & 0 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 0 \end{bmatrix} $$

• $ \text{diag} $ | 대각행렬 (Diagonal Matrix)

주대각선 성분들 외 모든 성분들이 0 인 행렬을 대각행렬이라 한다. 보통 행렬 앞에 $ \text{diag} $ 를 붙여 표시한다. 주대각선 성분이 존재한다는 것은 이 행렬이 정사각행렬이라는 뜻이다.

$$ \begin{bmatrix} a_{11} & 0 & \cdots & 0 \\ 0 & a_{22} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & a_{nn} \end{bmatrix} $$

• 스칼라 행렬 (Scalar Matrix)

주대각선 성분이 모두 같은 대각행렬을 스칼라 행렬이라 한다.

$$ \begin{bmatrix} c & 0 & \cdots & 0 \\ 0 & c & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & c \end{bmatrix} $$

• $ I $ | 단위행렬 (Identity Matrix)

대각행렬 중 주대각선 성분이 모두 1 인 행렬을 단위행렬이라 한다. 행렬곱의 항등원이다.

$$ \begin{bmatrix} 1 & 0 & \cdots & 0 \\ 0 & 1 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1 \end{bmatrix} $$

• 대칭행렬 (Symmetric Matrix)

전치행렬이 원래 자기 자신과 같은 행렬을 대칭행렬이라 한다. 즉 $ A^T = A $ 인 행렬을 대칭행렬이라 한다. 이때 대칭행렬은 반드시 정사각행렬이어야 하고, 성분들은 $ a_{ij} = a_{ji} $ 를 만족해야 한다.

$$ \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{12} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{1n} & a_{2n} & \cdots & a_{nn} \end{bmatrix} $$

• 반대칭행렬 (Skew Symmetric Matrix)

전치행렬이 원래 자기 자신의 음수가 되는 행렬을 반대칭행렬이라 한다. 즉 $ A^T = -A $ 인 행렬을 반대칭행렬이라 한다. 이때 반대칭행렬은 반드시 정사각행렬이어야 하고, 성분들은 $ a_{ij} = -a_{ji} $ 를 만족해야 한다. 따라서 반대칭행렬의 주대각선 성분은 모두 0 이다. 추가로 대칭행렬이면서 반대칭행렬인 행렬은 영행렬이다.

$$ \begin{bmatrix} 0 & a_{12} & a_{13} & \cdots & a_{1n} \\ -a_{12} & 0 & a_{23} & \cdots & a_{2n} \\ -a_{13} & -a_{23} & 0 & \cdots & a_{3n} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ -a_{1n} & -a_{2n} & -a_{3n} & \cdots & 0 \end{bmatrix} $$

 

---

여러가지 행렬 활용

 

• 영행렬 활용

영행렬은 행렬 덧셈의 항등원이기 때문에 다음이 성립한다.

$$ A + O = O + A = A $$

$$ A - A = O $$

$$ O - A = -A $$

$$ AO = OA = O $$

단 다음은 성립하지 않으니 주의해야 한다.

$$ A \neq O, AB = AC \rightarrow B = C $$

$$  AB = O \rightarrow A = O \text{ or } B = O $$

두 성질 모두 나눗셈이 가능하다는 것을 전제로 하기 때문이다.

• 단위행렬 활용

단위행렬은 행렬 곱의 항등원이기 때문에 다음이 성립한다.

$$ A_{m \times n} \times I_{n \times n} = A_{m \times n} $$

$$ I_{m \times m} \times A_{m \times n} = A_{m \times n} $$

• 대칭행렬 활용

$$ (A A^T)^T = (A^T)^T A^T = A A^T \quad \quad \therefore A A^T \text{ is Symmetric Matrix} $$

$$ (A+A^T)^T = A^T + A = A + A^T \quad \quad \therefore A+A^T \text{ is Symmetric Matrix} $$

$$ (A-A^T)^T = A^T - A = - (A - A^T) \quad \quad \therefore A-A^T \text{ is Skew Symmetric Matrix} $$

$$ A = \dfrac{1}{2} (A+A^T) + \dfrac{1}{2} (A-A^T) \quad ; \quad (A \text{ is Square Matrix}) $$

 

---

대각합 (Trace)

 

정사각행렬의 주대각선 성분들의 합을 말한다. 예를 들어 아래와 같은 정사각행렬이 있다고 가정하자.

$$ A = \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{n1} & a_{n2} & \cdots & a_{nn} \end{bmatrix} $$

이때 정사각행렬 $ A $ 의 대각합은 $ \text{tr}(A) $ 라 쓰며 아래와 같다.

$$ \text{tr}(A) = a_{11} + a_{22} + \cdots + a_{nn} $$

 

대각합은 아래와 같은 성질을 가진다. 이때 행렬 $ A $, $ B $ 가 각 연산이 정의될 수 있는 크기의 행렬이고, $ \alpha $ 가 실수라 가정한다.

$$ \text{tr}(A^T) = \text{tr}(A) $$

$$ \text{tr}(\alpha A) = \alpha \text{ tr}(A) $$

$$ \text{tr}(A + B) = \text{tr}(A) + \text{tr}(B) $$

$$ \text{tr}(AB) = \text{tr}(BA) $$