mini batch sgd

mini-batch SGD

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.https://welldonecode.tistory.com/126 SGD (Stochastic Gradient Descent)해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.  2차식인 loss fuction의 Gradient Descent 과정을 contour plot(등고선 그래프)으로 그려보면 위 그림과 같다.  SGD는 데이터 중 임의로welldonecode.tistory.com GD(Gradient Descent)는 방향을 너무 신중하게 (모든 데이터를 전부 고려해서) 결정해서 문제이고, SGD는 데이터를 하나씩만 보기 때문에 너무 성급하게 방향을 결정한다는 문제점이 있다. 이 둘의 절충안이..