극한과 입실론-델타 논법에 대하여

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.

---

딥러닝에서의 그래디언트(Gradient : 기울기) 까지 도달하기 위해 극한부터 정리한다.

 

극한 $\lim_{x \to a}f(x)$는 $x$가 $a$에 초 근접할 때 $f(x)$는 어디에 초 근접하게 되냐는 의미이다.

 

극한값이 존재하기 위해서는 좌극한과 우극한이 같아야 함을 기억하자.

 

---

 

 

극한의 엄밀한 정의는 입실론-델타 논법에 의해서 정의할 수 있다.

https://namu.wiki/w/엡실론-델타%20논법

엡실론-델타 논법의 핵심은 $\lim_{x \to a}f(x)=L$이면, 적당한 양수 $\epsilon$이 얼마나 작든, 함숫값 $f(x)$가 회색 영역 내부에 존재하게 하는 $x$가 적색 영역 안에 존재하게 하는 양수 $\delta$가 항상 존재한다는 것이다.

 

https://namu.wiki/w/엡실론-델타%20논법

좌극한과 우극한이 달라서 극한값이 정의되지 않는 경우를 살펴보자.

해당 경우는 $f(x)$가 회색 영역 내부에 존재하지 않게 하는 $x$가 적색 영역 안에 존재하게 하는 양수 $\delta$가 존재하므로 극한값이 정의되지 않는다.