[머신러닝] 머신러닝을 위한 선형대수(3) Determinant & Decomposition & Quardratic Forms

Determinant

|A| or det A

A가 n by n 행렬일 때 det A라는 것은 벡터들이 만드는 볼륨을 이야기 합니다.

예를 들면 

 

det A의 특징은 

det A = det A^T

detAB = detA detB

det A = 0 <=> A singular => 역행렬 존재하지 않음

det A^-1 = 1/detA

 

Eigenvector & Eigenvalue

고유벡터와 고유값에 대해서 알아보겠습니다.

 

A라는 square 벡터가 주어졌을 때 어떤 x라는 벡터와 곱을 했을 때 x 벡터의 스칼라배 벡터가 만들어진다고 하자. 

이것을 식으로 나타내면 Ax = λx , x not 0 이 때 λ가 고유값이고  Ax를 했을 때 스칼라배 된 벡터를 고유 벡터라고 합니다.

고유벡터를 구하는 법은 | A - λI | = 0 을 해주면 λ값들이 나옵니다.

보시면 고유벡터는 x=-y 즉, 고유벡터들은 하나만 있는 것이 아니라 많은 고유 벡터들이 나오게 됩니다. 하지만 구할 때는 제일 간단한거 하나를 써주어서 나타내도 됩니다.

 

 

 

Eigendecomposition

 

 

고유값들의 특징을 알아보겠습니다.

각 고유값의 합은 A행렬의 대각 성분의 합과 같습니다. trA = ∑λ

각 고유값의 곱은 A행렬의 det와 같다는 특성을 가집니다.

또한 A의 inverser의 고유값은 A의 고유값의 역수이고 고유벡터는 같습니다.

 

 

Quadratic Forms

최적화 할 때 많이 사용됩니다.