지도학습 모델 - 서포트 벡터 머신(Support Vector Machine ; SVM)

서포트 벡터 머신(Support Vector Machine ; SVM)

초평면을 이용하여 마진(margin)을 최대로 하는 분류 기법입니다. 로지스틱 회귀처럼 초평면으로 분리하나, 학습 방법이 다릅니다. 학습 데이터가 선형적으로 분리가능(linearly separable)할 때, 마진을 최대화 하는 알고리즘을 사용합니다. 마진은 서포트 벡터간의 거리를 의미합니다. 서포트 벡터는 결정 경계와 가장 가까운 학습 샘플을 의미합니다.

 

마진을 최대화하려는 이유는, 마진이 클수록 모델의 일반화가 잘 되어 과대적합이 되지 않는 경향이 있기 때문입니다.

 

소프트 마진 분류(Soft Margin Classification)

선형적으로 분리되지 않는 문제를 해결하기 위한 방법입니다. 슬랙 변수(slack variables)를 이용해 제약 조건을 완화하게 됩니다. 선형적으로 구분이 불가한 상황을 허용하되, 이것이 심할수록 더 많은 페널티를 부여합니다.