SGD (Stochastic Gradient Descent)

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.

---

 

https://stats.stackexchange.com/questions/599698/what-does-the-ellipse-in-gradient-descent-describes

 

2차식인 loss fuction의 Gradient Descent 과정을 contour plot(등고선 그래프)으로 그려보면 위 그림과 같다.

 

---

 

SGD는 데이터 중 임의로 하나만 뽑아서 loss fucntion을 만드는 과정을 데이터의 개수가 소진될 때 까지 반복한다. (비복원추출)

데이터를 다 뽑았다면, 다시 주머니에 전부 넣고 처음부터 이 과정을 반복한다.

 

데이터 하나만 보고 방향을 빠르게 결정하는 방법이다 (연산 cost가 적다).

 

해당 방법은 local minimum을 찾는 문제를 해결할 수 있는 가능성이 있다.