pullwall
Well done! 코딩
pullwall
전체 방문자
오늘
어제
  • 분류 전체보기 (151)
    • 개발환경 (2)
    • java study (21)
    • 백준 단계별 (51)
    • 알고리즘 (3)
    • AI (43)
    • 클라우드 (3)
      • Kubernetes in Google (3)
    • 논문 (5)
    • 리눅스 (1)
    • AWS (4)
    • 수학 (15)
    • 기타 (1)

블로그 메뉴

  • 홈
  • 태그
  • 방명록

공지사항

인기 글

태그

  • 백준
  • 수학
  • 백준 단계별
  • Google
  • 정렬알고리즘
  • Java
  • LLM
  • 자바
  • 단계별
  • dataset
  • Kubernetes
  • 정렬
  • 쿠버네티스
  • 알고리즘
  • 선택정렬
  • Ai
  • 자바독학
  • AWS
  • 논문리뷰
  • pytorch

최근 댓글

최근 글

티스토리

hELLO · Designed By 정상우.
pullwall

Well done! 코딩

선형 분류 & 퍼셉트론
AI

선형 분류 & 퍼셉트론

2024. 9. 4. 17:47
728x90
해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.

 

위와 같은 신경망이 있다.

 

키(x), 몸무게(y)를 input으로 받아 unit step function을 거쳐 비만인지(1) 저체중인지(0) 이진 분류를 하는 task를 한다.

 

$bias=-1$이라고 한다면 위 신경망을 수식으로 나타내면 아래와 같다.

  • $-x+y-1>0$
  • 즉, $y>x+1$

unit step fuction을 거치기 때문에 위 수식이 양수면 1(비만)을 출력하고 음수면 0(저체중)을 출력하게 된다.

 

이 때, $y>x+1$과 같이 경계가 선형으로 나오면 "선형 분류" 라고 한다.

 

위 신경망처럼 hidden layer 없이 unit step fuction을 activation function으로 사용하면 이를 "퍼셉트론" 이라고 한다.

 

퍼셉트론은 미분이 불가능하다는 단점과 모 아니면 도로 너무 극단적으로 분류한다는 단점이 있다.

 


 

그래서 나온 것이 "sigmoid" 함수이다. 아래 사진처럼 생겼다.

https://en.wikipedia.org/wiki/Sigmoid_function

 

수식으로는 아래와 같이 나타내며 최대 기울기는 $\frac{1}{4}$이다.

  • $f(x)=\frac{1}{1+e^{-x}}$

해당 함수를 activation function으로 사용하면 출력을 확률, 정도 로 표현할 수 있다.

 

따라서 경계에 있는 사람을 비만도, 저체중도 아닌 정상으로 분류할 수 있게 된다.

 

 

728x90

'AI' 카테고리의 다른 글

MSE vs Likelihood (convex한 함수가 loss function으로 사용되는 이유)  (0) 2024.09.05
Sigmoid를 이용한 이진 분류, Logistic Regression  (0) 2024.09.04
Backpropagation  (0) 2024.09.03
MLP를 행렬과 벡터로 나타내기, Non-linear activation의 중요성  (2) 2024.09.02
Adam (Adaptive Moment Estimation)  (0) 2024.09.02
    'AI' 카테고리의 다른 글
    • MSE vs Likelihood (convex한 함수가 loss function으로 사용되는 이유)
    • Sigmoid를 이용한 이진 분류, Logistic Regression
    • Backpropagation
    • MLP를 행렬과 벡터로 나타내기, Non-linear activation의 중요성
    pullwall
    pullwall

    티스토리툴바