[선형대수] 독립과 span

요즘 심층학습이란 책으로 스터디를 진행 중인데, 그 때마다 배운 지식을 정리하려고한다..

 

그 중 첫번째로 선형대수에 대해 공부하였고, 이전에 배웠던 지식과 새로 배운 내용등을 천천히 정리해나갈 것이다.

Linear Dependence는 선형대수를 한 번이라도 배운 사람이라면 무조건 들어보았을 단어이다. 

Linear Dependence를 보기 전에 먼저 Linear Combination이 무엇인지부터 살펴보자.

 

어떠한 matrix A에 대해서 $Ax=b$라는 방정식을 살펴보자. 만약 A가 역함수가 존재한다면 해 $x$는 무조건 하나만 존재하겠지만, 그렇지 않은 경우도 분명 존재한다. 해가 아예 없을 수도 있고, 또는 2개 이상이 존재할 수 있다.

 

이러한 관계 속에서 Linear Combination(선형 조합)이란, 쉽게 말하면 $A$와 $x$의 조합이다. 즉, $x$라는 벡터를 $A$라는 행렬과 잘 조합하여서 b라는 결과를 만들어 내는 것이다.

$$Ax = \sum_i x_i A_{:,i}$$

또 span이란 용어가 나오는데, 선형 조합들로 가질 수 있는 모든 점들의 집합을 뜻한다. b가 이 span에 존재하지 않는 점이라면 해가 존재할 수 없는 것이고, span의 차원이 b의 차원보다 크다면 해가 여러 개가 나올 수도 있는 것이다. 즉, A matrix가 square형태를 가지지 않는다면 해가 없거나, 많을 가능성이 높다.

 

물론 square형태이면서 중복된 column이나 row를 갖는다면 이도 마찬가지로 문제가 생길 것이다.

이러한 matrix를 singular matrix라고 하며, 중복된 component를 갖는 것을 linear dependence라고 한다. 

 

A를 3x3 matrix라고 하고, 이를 3개의 column으로 나타내보자.

$$\{a_1, a_2, a_3\}$$ 

이 행렬이 중복된 열을 갖는다는 것은 즉, 2개의 column들의 linear combination을 통해서 다른 하나의 column을 만들어낼 수 있다는 이야기이다. 그러므로 그 만들어진 하나는 2개의 column에 dependent하기에 추가적인 정보가 되지 못하고, 이는 해를 하나만 갖지 못하게 만든다.

 

즉, 해를 하나만 갖기 위해서는 $x$가 n차원이라고 할 때, n개의 linearly independent한 columns을 가져야만 한다. 이 의미는 "matrix가 square여야만 한다"와 동치이다.

 

마지막으로 이러한 선형독립을 영행렬에서 정의할 수도 있는데,

$$\sum_{i=1}^n a_i x_i = a_1x_1+a_2x_2+\dots+a_nx_n = 0$$

이라고 할 때, 나올 수 있는 해가 모든 x가 0인 경우 밖에 없을 때 linearly independent라 하고,

모든 x가 0이 아닌데도 선형조합으로 0을 만들 수 있는 경우, linearly dependent라 한다.

 

왜 그러하냐는 매우 간단히 보일 수 있다.

0이 아닌 해 x1, x2, x3에 대해서 A와 선형 조합 했을 때 0이 나온다 해보자.

$$a_1x_1 + a_2x_2 + a_3x_3 = 0 $$

이 경우에, 한 값을 우변으로 넘기면

$$a_1x_1 + a_2x_2 = -a_3x_3$$

가 된다. 즉 x_1과 x_2의 선형 조합으로 x_3를 만들어낼 수 있으므로 linearly dependent라 할 수 있는 것이다.