skip connection

Loss Landscape, Skip connection

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.   아무리 vanishing gradient 문제를 해결한다고 해도 layer를 깊게 쌓으면 loss함수의 모양이 꼬불꼬불 해지는 Loss landscape 현상때문에 underfitting이 발생한다.  따라서 이를 skip connection으로 해결한다.  skip connection은 layer를 건너뛰고 이전 레이어의 출력과 더하는 방식이다. 이를 사용하면 Loss landscape 현상으로부터 벗어날 수 있다. 아래 사진이 skip connection을 이용했을 때의 loss function 모양이다.   그런데 위와 같은 그림을 어떻게 그릴까..? weight 벡터인 $ w=\begin{bmatrix} \vdots..