수학

극한과 입실론-델타 논법에 대하여

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.딥러닝에서의 그래디언트(Gradient : 기울기) 까지 도달하기 위해 극한부터 정리한다. 극한 $\lim_{x \to a}f(x)$는 $x$가 $a$에 초 근접할 때 $f(x)$는 어디에 초 근접하게 되냐는 의미이다. 극한값이 존재하기 위해서는 좌극한과 우극한이 같아야 함을 기억하자.   극한의 엄밀한 정의는 입실론-델타 논법에 의해서 정의할 수 있다.엡실론-델타 논법의 핵심은 $\lim_{x \to a}f(x)=L$이면, 적당한 양수 $\epsilon$이 얼마나 작든, 함숫값 $f(x)$가 회색 영역 내부에 존재하게 하는 $x$가 적색 영역 안에 존재하게 하는 양수 $\delta$가 항상 존재한다는 것이다. 좌극한과 우극한이..

transpose와 dot product에 대하여

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.행렬의 전치(Transpose)란, $\begin{bmatrix}a_{11} & a_{12} \\a_{21} & a_{22} \\\end{bmatrix}$ 와 같은 행렬이 주어졌을 때, 행과 열을 바꾸는 것 즉,  $\begin{bmatrix}a_{11} & a_{21} \\a_{12} & a_{22} \\\end{bmatrix}$ 로 바꾸는 것이다. 기호로는 $ {\begin{bmatrix}a_{11} & a_{12} \\a_{21} & a_{22} \\\end{bmatrix}}^T$와 같이 나타낸다. 행렬 전치의 중요한 성질 중 하나는 ${(ax)^T}=x^Ta^T$와 같이 다항식에 전치를 취하면 순서가 바뀐다. 딥러닝에서는..

백터와 행렬에 대하여

우리는 왜 굳이 행렬을 사용할까?그것은 연립방정식을 간단하게 나타내고, 그것을 풀기 위해서이다. 위 내용과 같이 연립방정식은 행렬로 간단하게 나타낼 수 있다. 행렬의 곱셉에 있어서는 곱해지는 행렬의 열의 개수와 곱하는 행렬의 행의 개수가 같아야 한다.이 때문에 교환법칙은 무조건적으로 만족하지 않는다는 것을 기억하자.  벡터의 경우 놈(norm)에 대해 살펴보면, 딥러닝에서는 주로 l1-norm과 l2-norm을 사용한다.$\begin{bmatrix} 2 & 3 \\ \end{bmatrix}$ 이라는 벡터가 존재할 때 : l1-norm : $|2|+|3|$$\begin{bmatrix}2 & 3 \\\end{bmatrix}$ 이라는 벡터가 존재할 때 : l2-norm : $\sqrt{2^2+3^2}$왜 이름..

로그함수에 대하여

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성하였습니다.딥러닝에서 Cross Entropy, Softmax, KL-Divergence 등.. 로그함수가 정말 많이 사용된다.그렇다면 로그 함수는 무엇인가에 대해 알아보자. 로그함수의 본질적 접근로그함수는 $log_ab$ 와 같이 나타내는데, 그 근본적인 의미는 $a$(밑)를 몇 승 해야 $b$(진수)가 나오냐는 것이다. 이를 그래프로 나타내면 아래와 같다. 로그함수의 성질로그함수의 대표적인 성질을 리마인드 해보자.$log_axy=log_ax + log_ay$$log_ax^n = nlog_ax$$log_{a^m}x=\frac{1}{m}log_ax$$log_ab=\frac{log_cb}{log_ca}$$log_ab=\frac{1}{log_..

함수에 대하여

해당 게시물은 "혁펜하임의 AI DEEP DIVE" 를 수강하고 작성하였습니다.함수는 여러 가지 경우의 CASE로 분류하여 나타낼 수 있다.한 개의 입력이 들어왔을 때, 한 개의 출력을 내보내는 경우두 개의 입력이 들어왔을 때, 한 개의 출력을 내보내는 경우한 개의 입력이 들어왔을 때, 한 묶음(벡터)이 출력되는 경우두 개의 입력이 들어왔을 때, 두 묶음(벡터)이 출력되는 경우혹은 그 이상.. (4차원 이상이기 때문에 그래프로는 나타낼 수 없음)1,2,3,4는 모두 그래프로 나타낼 수 있다.3번 CASE의 경우 예를 들어,  $y=f(x)=\begin{bmatrix} x^2 \\ 2x \end{bmatrix}$ 라고 한다면.. $x^2$를 $y_{1}$이라고 생각하고 $2x$ 를 $y_{2}$라고 생각하..