SVM(Support Vector Machine)

 

 

Linear SVM

: 두 클래스를 분리하기 위한 선형 결정 함수를 찾는 것 

 

결정 함수

: d(x) = wTx + b = 0

 

목적 함수( optimization function )

: SVM에서 풀고자 하는 문제는 마진(margin)을 가장 크게 하는 결정 초평면(decision hyperplane)의 방향, 즉 w를 찾는 것이다. 

 

support vector(x)에 대한 margin 

margin = 2|d(x)| / ||w||

 

조건부 최적화 문제(constrained optimization problem) 

: 조건 하에 최대 마진을 갖는 결정 초평면(decision hyperplane)을 찾는 것 

(= 최대 마진을 갖는 서포트 벡터 두 개를 찾아서 결정 초평면을 찾는 것)

 

아래 조건식에서 등호가성립하는 데이터 포인트가 바로 서포트 벡터이다. 

max 2/||w|| --> min 1/2 * ||w||^2 = min 1/2 * wTw

 

라그랑주 함수로 변환 

SVM 문제의 조건식에서 각 조건식마다 라그랑주 승수 alpha i 를 부여한다. 

 

KKT 조건 

위에서 살펴본 

 

 

 

 

 

 

https://excelsior-cjh.tistory.com/165

서포트 벡터머신, SVM - (2)