선형 대수학 - 벡터와 행렬

스칼라(Scalars), 벡터(vectors), 행렬(Matrix)

선형대수에서는 벡터, 행렬이 많이 사용됩니다.

 

- 벡터 변수(vector variable) : 수학의 벡터를 나타내는 변수입니다. 특별한 언급이 없으면, 기본적으로 열벡터(column vector)입니다. 소문자 볼드체로 표현하거나, 소문자 볼드 이텔릭체로 표현합니다.

- 행렬 변수(matrix variable) : 수학의 행렬을 나타내는 변수입니다. 대문자 이탤릭으로 표현합니다.

 

다변수 함수의 미분

변수가 여러 개인 함수를 미분하기 위해서 편미분을 사용합니다. 편미분하는 변수를 제외하고 나머지 변수를 상수 취급합니다. 여러 변수 중 특정 변수를 기준으로 미분을 계산하는 것입니다. 편미분의 의미를 찾아보자면, 나머지 축을 고정하고 특정 축에서의 접선의 기울기를 계산하는 것을 의미합니다. 

 

기울기(gradient)의 기하학적 의미

함수의 입력이 벡터일 때, 다변수 공간상에서 함수의 증가방향

- 1차원의 경우 : 곡선이 증가하는 방향과 기울기입니다.

- 2차원의 경우 : 곡면이 증가하는 방향과 기울기입니다.

 

행렬의 분해(Matrix Decomposition)

행렬을 다른 행렬들의 곱으로 표현하는 수학적인 루틴입니다. 수학 문제를 풀기 위해 필요한 형식으로 분리할 수도 있습니다. 특정 공간을 머신 러닝에 유리한 특징 공간으로 변환하는데 사용할 수도 있습니다. 목적에 따라 다양한 분해 방법이 있습니다. 선형 방정식을 풀기 위한 LU, QR 분해와 머신러닝에서 많이 쓰이는 특잇값 분해와 고윳값 분해 등이 있죠.

 

고윳값 분해(Eigen Decomposition)

정방 행렬을 고윳값과 고유벡터들로 나누는 분해 방법입니다. 행렬의 특성을 나타내는 분해방법이라고도 할 수 있습니다. 행렬의 고윳값과 고유벡터를 구한 후, 대각화(Diagonalization)하여 행렬을 분해합니다.

 

특잇값 분해(Singular Value Decomposition ; SVD)

정방 행렬이 아닌 행렬을 분해하는 방법입니다. 특잇값 분해는 모든 행렬에 대해서 가능하며, 모든 특이벡터는 크기가 1이고, 특이 벡터들은 서로 직교합니다.