Sigmoid

Sigmoid를 이용한 이진 분류, Logistic Regression

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.강아지 사진을 y=1, 고양이 사진을 y=0이라고 하고 강아지 사진이 나올 확률을 q=1 고양이 사진이 나올 확률을 q=0이라고 정의하자. 그렇다면 강아지 사진이 나올 확률을 구하는 수식은 아래와 같다.$q^{y}(1-q)^{(1-y)}$만약 사진을 100장 준다면 수식은 아래와 같다. 사진을 주는 행위는 독립시행이기때문에 곱한다.$q_1^{y_1}(1-q_1)^{(1-y_1)}q_2^{y_2}(1-q_2)^{(1-y_2)} \cdots q_{100}^{y_{100}}(1-q_{100})^{(1-y_{100})}$ 하지만 이렇게 계속 0과 1사이의 값을 계속 곱하면 숫자가 너무 작아져 대소구별을 할 수 없는 underflow 문..

선형 분류 & 퍼셉트론

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다. 위와 같은 신경망이 있다. 키(x), 몸무게(y)를 input으로 받아 unit step function을 거쳐 비만인지(1) 저체중인지(0) 이진 분류를 하는 task를 한다. $bias=-1$이라고 한다면 위 신경망을 수식으로 나타내면 아래와 같다.$-x+y-1>0$즉, $y>x+1$unit step fuction을 거치기 때문에 위 수식이 양수면 1(비만)을 출력하고 음수면 0(저체중)을 출력하게 된다. 이 때, $y>x+1$과 같이 경계가 선형으로 나오면 "선형 분류" 라고 한다. 위 신경망처럼 hidden layer 없이 unit step fuction을 activation function으로 사용하면 이를 "퍼셉트론..