728x90
해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.

위와 같은 신경망이 있다.
키(x), 몸무게(y)를 input으로 받아 unit step function을 거쳐 비만인지(1) 저체중인지(0) 이진 분류를 하는 task를 한다.
이라고 한다면 위 신경망을 수식으로 나타내면 아래와 같다.
- 즉,
unit step fuction을 거치기 때문에 위 수식이 양수면 1(비만)을 출력하고 음수면 0(저체중)을 출력하게 된다.
이 때, 과 같이 경계가 선형으로 나오면 "선형 분류" 라고 한다.
위 신경망처럼 hidden layer 없이 unit step fuction을 activation function으로 사용하면 이를 "퍼셉트론" 이라고 한다.
퍼셉트론은 미분이 불가능하다는 단점과 모 아니면 도로 너무 극단적으로 분류한다는 단점이 있다.
그래서 나온 것이 "sigmoid" 함수이다. 아래 사진처럼 생겼다.

수식으로는 아래와 같이 나타내며 최대 기울기는 이다.
해당 함수를 activation function으로 사용하면 출력을 확률, 정도 로 표현할 수 있다.
따라서 경계에 있는 사람을 비만도, 저체중도 아닌 정상으로 분류할 수 있게 된다.
728x90
'AI' 카테고리의 다른 글
MSE vs Likelihood (convex한 함수가 loss function으로 사용되는 이유) (0) | 2024.09.05 |
---|---|
Sigmoid를 이용한 이진 분류, Logistic Regression (0) | 2024.09.04 |
Backpropagation (0) | 2024.09.03 |
MLP를 행렬과 벡터로 나타내기, Non-linear activation의 중요성 (2) | 2024.09.02 |
Adam (Adaptive Moment Estimation) (0) | 2024.09.02 |