momentum

Momentum vs RMSProp

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.  1.Momentum Momentum은 Gradient를 누적함으로써 관성을 부여하는 것이다. (관성을 부여하기 위해 Gradient 값들을 저장하고 있어야 한다) 위 사진에서 Graident를 누적하면 위, 아래로 가는 방향은 점점 상쇄되지만, 앞으로 나아가는 방향은 점점 누적된다.   2. RMSprop (Root Mean Square Propagation) 많이 훑은 축으로는 적게, 적게 훑은 축으로는 많이 탐색한다. 경사가 급한 곳은 조심스럽게, 경사가 완만한 곳은 과감하게 간다.