pullwall
Well done! 코딩
pullwall
전체 방문자
오늘
어제
  • 분류 전체보기 (151)
    • 개발환경 (2)
    • java study (21)
    • 백준 단계별 (51)
    • 알고리즘 (3)
    • AI (43)
    • 클라우드 (3)
      • Kubernetes in Google (3)
    • 논문 (5)
    • 리눅스 (1)
    • AWS (4)
    • 수학 (15)
    • 기타 (1)

블로그 메뉴

  • 홈
  • 태그
  • 방명록

공지사항

인기 글

태그

  • LLM
  • Google
  • 논문리뷰
  • 단계별
  • 정렬알고리즘
  • Kubernetes
  • pytorch
  • 자바독학
  • 백준
  • dataset
  • 선택정렬
  • 알고리즘
  • 정렬
  • 수학
  • 백준 단계별
  • 자바
  • Ai
  • 쿠버네티스
  • AWS
  • Java

최근 댓글

최근 글

티스토리

hELLO · Designed By 정상우.
pullwall
AI

Momentum vs RMSProp

Momentum vs RMSProp
AI

Momentum vs RMSProp

2024. 9. 1. 17:01
728x90
해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.


https://paperswithcode.com/method/sgd-with-momentum

 

 

1.Momentum

 

Momentum은 Gradient를 누적함으로써 관성을 부여하는 것이다. (관성을 부여하기 위해 Gradient 값들을 저장하고 있어야 한다)

 

위 사진에서 Graident를 누적하면 위, 아래로 가는 방향은 점점 상쇄되지만, 앞으로 나아가는 방향은 점점 누적된다.

 

 


 

https://wiki.cloudfactory.com/docs/mp-wiki/solvers-optimizers/rmsprop

2. RMSprop (Root Mean Square Propagation)

 

많이 훑은 축으로는 적게, 적게 훑은 축으로는 많이 탐색한다.

 

경사가 급한 곳은 조심스럽게, 경사가 완만한 곳은 과감하게 간다.

 

 

 

 

 

728x90

'AI' 카테고리의 다른 글

MLP를 행렬과 벡터로 나타내기, Non-linear activation의 중요성  (2) 2024.09.02
Adam (Adaptive Moment Estimation)  (0) 2024.09.02
파라미터 (parameter) vs 하이퍼파라미터 (hyperparameter)  (0) 2024.09.01
mini-batch SGD  (0) 2024.09.01
SGD (Stochastic Gradient Descent)  (0) 2024.09.01
  • 1.Momentum
  • 2. RMSprop (Root Mean Square Propagation)
'AI' 카테고리의 다른 글
  • MLP를 행렬과 벡터로 나타내기, Non-linear activation의 중요성
  • Adam (Adaptive Moment Estimation)
  • 파라미터 (parameter) vs 하이퍼파라미터 (hyperparameter)
  • mini-batch SGD
pullwall
pullwall

티스토리툴바

단축키

내 블로그

내 블로그 - 관리자 홈 전환
Q
Q
새 글 쓰기
W
W

블로그 게시글

글 수정 (권한 있는 경우)
E
E
댓글 영역으로 이동
C
C

모든 영역

이 페이지의 URL 복사
S
S
맨 위로 이동
T
T
티스토리 홈 이동
H
H
단축키 안내
Shift + /
⇧ + /

* 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.