ReLU

ReLU (Rectified Linear Unit)

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.https://welldonecode.tistory.com/139 기울기 소실 (Vanishing Gradient)해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.  깊은 층의 layer를 갖는 인공신경망은 입력층으로 갈수록 미분이 작아지는 (기울기가 소실되는, 0으로 가는) 문제가 발생한welldonecode.tistory.com 이전 게시물에서 기울기 소실의 문제는 activation의 미분 때문이다. 라고 했다. 이를 해결하기 위해 ReLU가 등장하였다.  ReLU함수는 위 사진과 같이 0보다 작은 입력에 대해서는 0으로 출력하고, 0보다 큰 입력에 대해서는 입력과 같은 값을 출력한다. 그럼 양..