Logistic regression #2

이제 linear classifier를 시각화해보자. 우선 아래와 같이 feature가 3개인 경우 (즉 1차인 경우)

 

위와 같이 dicision boundary가 결정된다. 위와 같은 상황에서는 dicision boundary가 데이터를 적절히 나누지는 못했다. 이제 차수를 높여 2차인 경우에는 아래와 같다.

 

 

feature수가 증가하니 dicision boundary가 데이터를 적절히 나누기 시작했다. 이제 차수를 더 높이면

 

 

이렇게 데이터를 과도하게 나누는 dicision boundary가 발생하며 이를 overfitting이라 한다. 위와 같이 coefficient들이 커지기 시작하면 overfitting을 의심해 봐야한다.