선형 분류 & 퍼셉트론

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.

---

 

위와 같은 신경망이 있다.

 

키(x), 몸무게(y)를 input으로 받아 unit step function을 거쳐 비만인지(1) 저체중인지(0) 이진 분류를 하는 task를 한다.

 

$bias=-1$이라고 한다면 위 신경망을 수식으로 나타내면 아래와 같다.

• $-x+y-1>0$
• 즉, $y>x+1$

unit step fuction을 거치기 때문에 위 수식이 양수면 1(비만)을 출력하고 음수면 0(저체중)을 출력하게 된다.

 

이 때, $y>x+1$과 같이 경계가 선형으로 나오면 "선형 분류" 라고 한다.

 

위 신경망처럼 hidden layer 없이 unit step fuction을 activation function으로 사용하면 이를 "퍼셉트론" 이라고 한다.

 

퍼셉트론은 미분이 불가능하다는 단점과 모 아니면 도로 너무 극단적으로 분류한다는 단점이 있다.

 

---

 

그래서 나온 것이 "sigmoid" 함수이다. 아래 사진처럼 생겼다.

https://en.wikipedia.org/wiki/Sigmoid_function

 

수식으로는 아래와 같이 나타내며 최대 기울기는 $\frac{1}{4}$이다.

• $f(x)=\frac{1}{1+e^{-x}}$

해당 함수를 activation function으로 사용하면 출력을 확률, 정도 로 표현할 수 있다.

 

따라서 경계에 있는 사람을 비만도, 저체중도 아닌 정상으로 분류할 수 있게 된다.