Loss Landscape, Skip connection

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.

---

 

https://ar5iv.labs.arxiv.org/html/1712.09913

 

아무리 vanishing gradient 문제를 해결한다고 해도 layer를 깊게 쌓으면 loss함수의 모양이 꼬불꼬불 해지는 Loss landscape 현상때문에 underfitting이 발생한다.

 

따라서 이를 skip connection으로 해결한다.

 

https://tikz.net/skip-connection/

 

skip connection은 layer를 건너뛰고 이전 레이어의 출력과 더하는 방식이다.

 

이를 사용하면 Loss landscape 현상으로부터 벗어날 수 있다. 아래 사진이 skip connection을 이용했을 때의 loss function 모양이다.

 

https://ar5iv.labs.arxiv.org/html/1712.09913

 

 

그런데 위와 같은 그림을 어떻게 그릴까..?

 

weight 벡터인 $ w=\begin{bmatrix}
\vdots  \\
\end{bmatrix}$에 크기가 같고 가우시안 분포를 따르는 랜덤한 벡터인 $d_1$과 $d_2$를 생성한다.

 

이후 $w+ad_1+bd_2$를 통해 $b_1$축, $b_2$축으로 이루어진 공간에 weight별로 점을 찍는다. $a, b$가 좌표 역할을 한다.