728x90
해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.
딥러닝에서의 그래디언트(Gradient : 기울기) 까지 도달하기 위해 극한부터 정리한다.
극한 $\lim_{x \to a}f(x)$는 $x$가 $a$에 초 근접할 때 $f(x)$는 어디에 초 근접하게 되냐는 의미이다.
극한값이 존재하기 위해서는 좌극한과 우극한이 같아야 함을 기억하자.
극한의 엄밀한 정의는 입실론-델타 논법에 의해서 정의할 수 있다.
엡실론-델타 논법의 핵심은 $\lim_{x \to a}f(x)=L$이면, 적당한 양수 $\epsilon$이 얼마나 작든, 함숫값 $f(x)$가 회색 영역 내부에 존재하게 하는 $x$가 적색 영역 안에 존재하게 하는 양수 $\delta$가 항상 존재한다는 것이다.
좌극한과 우극한이 달라서 극한값이 정의되지 않는 경우를 살펴보자.
해당 경우는 $f(x)$가 회색 영역 내부에 존재하지 않게 하는 $x$가 적색 영역 안에 존재하게 하는 양수 $\delta$가 존재하므로 극한값이 정의되지 않는다.
728x90
'수학' 카테고리의 다른 글
편미분과 그라디언트에 대하여 (1) | 2024.08.28 |
---|---|
미분과 도함수에 대하여 (2) | 2024.08.28 |
transpose와 dot product에 대하여 (4) | 2024.08.28 |
백터와 행렬에 대하여 (1) | 2024.08.28 |
로그함수에 대하여 (1) | 2024.08.28 |