분류 전체보기

테일러 급수

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.테일러 급수란 임의의 함수, 예를 들어 $\cos x$를 다항함수로 나타내고자 사용하는 것이다. Maclarin 급수는 $x=0$에서 임의의 함수를 가장 잘 표현할 수 있는 반면,테일러 급수는 가장 잘 표현하고 싶은 부분을 설정할 수 있다. 테일러 급수는 $f(x)=C_0+C_1(x-a)+C_2(x-a)^2+C_3(x-a)^3+\cdots$ 와 같이 표현되며,  이때 다항식의 계수는 다음과 같다. $C_n=\frac{f^n(a)}{n!}$ 테일러 급수가 적용되지 않는 케이스가 있는데, 대표적으로 $\ln x$가 그렇다.$\ln x=0+(x-1)-\frac{1}{2}(x-1)^2+\frac{1}{3}(x-1)^3+\cdots$로 ..

편미분과 그라디언트에 대하여

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.편미분이란, $f(x,y)=x^2+xy+y^2$과 같이 여러 개의 변수로 이루어진 함수를 한 변수에 대해서만 미분하는 것이다.편미분하기로 선택한 변수 이외에는 상수 취급하고 미분하면 된다. 기호로는 $\frac{\partial f}{\partial x}$, $\frac{\partial f}{\partial y}$로 나타낼 수 있다.  그렇다면 그라디언트는? 이를 $\begin{bmatrix}\frac{\partial f}{\partial x} \\ \frac{\partial f}{\partial y}\end{bmatrix}$ 형태로 벡터로 묶은 것이다.

미분과 도함수에 대하여

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다. 미분은 "순간 변화율" 이며 그래프에서는 "순간 기울기"이다. $x=1$에서의 "순간 기울기" 라는 의미는 $x=1$에서 $x=0.999$ 사이의 기울기도,  $x=1$에서 $x=0.99999999$ 사이의 기울기도 아닌 $x$의 변화율을 $0$에 초 근접 시킬 때 즉, 극한의 의미로 접근해야 한다. $x=1$에서 $x=\Delta x$ 까지의 기울기를 구하는데, $\Delta x$를 0에 초 근접(극한) 시키겠다는 것이다. 이를 수식으로 나타내면 $\lim_{\Delta x \to 0}\frac{f(1+\Delta x)-f(1)}{\Delta x}$로 나타낼 수 있고, 이것이 $x=1$에서의 "순간 기울기", "순간 변화율"..

극한과 입실론-델타 논법에 대하여

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.딥러닝에서의 그래디언트(Gradient : 기울기) 까지 도달하기 위해 극한부터 정리한다. 극한 $\lim_{x \to a}f(x)$는 $x$가 $a$에 초 근접할 때 $f(x)$는 어디에 초 근접하게 되냐는 의미이다. 극한값이 존재하기 위해서는 좌극한과 우극한이 같아야 함을 기억하자.   극한의 엄밀한 정의는 입실론-델타 논법에 의해서 정의할 수 있다.엡실론-델타 논법의 핵심은 $\lim_{x \to a}f(x)=L$이면, 적당한 양수 $\epsilon$이 얼마나 작든, 함숫값 $f(x)$가 회색 영역 내부에 존재하게 하는 $x$가 적색 영역 안에 존재하게 하는 양수 $\delta$가 항상 존재한다는 것이다. 좌극한과 우극한이..

transpose와 dot product에 대하여

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.행렬의 전치(Transpose)란, $\begin{bmatrix}a_{11} & a_{12} \\a_{21} & a_{22} \\\end{bmatrix}$ 와 같은 행렬이 주어졌을 때, 행과 열을 바꾸는 것 즉,  $\begin{bmatrix}a_{11} & a_{21} \\a_{12} & a_{22} \\\end{bmatrix}$ 로 바꾸는 것이다. 기호로는 ${\begin{bmatrix}a_{11} & a_{12} \\a_{21} & a_{22} \\\end{bmatrix}}^T$와 같이 나타낸다. 행렬 전치의 중요한 성질 중 하나는 ${(ax)^T}=x^Ta^T$와 같이 다항식에 전치를 취하면 순서가 바뀐다. 딥러닝에서는..

백터와 행렬에 대하여

우리는 왜 굳이 행렬을 사용할까?그것은 연립방정식을 간단하게 나타내고, 그것을 풀기 위해서이다. 위 내용과 같이 연립방정식은 행렬로 간단하게 나타낼 수 있다. 행렬의 곱셉에 있어서는 곱해지는 행렬의 열의 개수와 곱하는 행렬의 행의 개수가 같아야 한다.이 때문에 교환법칙은 무조건적으로 만족하지 않는다는 것을 기억하자.  벡터의 경우 놈(norm)에 대해 살펴보면, 딥러닝에서는 주로 l1-norm과 l2-norm을 사용한다.$\begin{bmatrix} 2 & 3 \\ \end{bmatrix}$ 이라는 벡터가 존재할 때 : l1-norm : $|2|+|3|$$\begin{bmatrix}2 & 3 \\\end{bmatrix}$ 이라는 벡터가 존재할 때 : l2-norm : $\sqrt{2^2+3^2}$왜 이름..

로그함수에 대하여

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성하였습니다.딥러닝에서 Cross Entropy, Softmax, KL-Divergence 등.. 로그함수가 정말 많이 사용된다.그렇다면 로그 함수는 무엇인가에 대해 알아보자. 로그함수의 본질적 접근로그함수는 $log_ab$ 와 같이 나타내는데, 그 근본적인 의미는 $a$(밑)를 몇 승 해야 $b$(진수)가 나오냐는 것이다. 이를 그래프로 나타내면 아래와 같다. 로그함수의 성질로그함수의 대표적인 성질을 리마인드 해보자.$log_axy=log_ax + log_ay$$log_ax^n = nlog_ax$$log_{a^m}x=\frac{1}{m}log_ax$$log_ab=\frac{log_cb}{log_ca}$$log_ab=\frac{1}{log_..

함수에 대하여

해당 게시물은 "혁펜하임의 AI DEEP DIVE" 를 수강하고 작성하였습니다.함수는 여러 가지 경우의 CASE로 분류하여 나타낼 수 있다.한 개의 입력이 들어왔을 때, 한 개의 출력을 내보내는 경우두 개의 입력이 들어왔을 때, 한 개의 출력을 내보내는 경우한 개의 입력이 들어왔을 때, 한 묶음(벡터)이 출력되는 경우두 개의 입력이 들어왔을 때, 두 묶음(벡터)이 출력되는 경우혹은 그 이상.. (4차원 이상이기 때문에 그래프로는 나타낼 수 없음)1,2,3,4는 모두 그래프로 나타낼 수 있다.3번 CASE의 경우 예를 들어,  $y=f(x)=\begin{bmatrix} x^2 \\ 2x \end{bmatrix}$ 라고 한다면.. $x^2$를 $y_{1}$이라고 생각하고 $2x$ 를 $y_{2}$라고 생각하..

[논문리뷰] Personalized LoRA for Human-Centered Text Understanding

https://arxiv.org/abs/2403.06208 Personalized LoRA for Human-Centered Text UnderstandingEffectively and efficiently adapting a pre-trained language model (PLM) for human-centered text understanding (HCTU) is challenging since user tokens are million-level in most personalized applications and do not have concrete explicit semantics. A standararxiv.org Personalized LoRA에 대한 연구를 진행하고자 관련 연구를 찾아보던 ..

[AWS] geeseFS로 S3와 EC2 마운트

GeeseFS | Yandex Cloud - Documentation Yandex Finds everything yandex.cloud Yandex에서 진행한 벤치마크에서 s3fs-fuse보다 geeseFS가 속도가 훨씬 잘 나와서 설치를 진행해 보고자 한다. Install AWS EC2 Ubuntu에 설치를 진행하였다. sudo apt-get install fuse wget https://github.com/yandex-cloud/geesefs/releases/latest/download/geesefs-linux-amd64 chmod a+x geesefs-linux-amd64 sudo cp geesefs-linux-amd64 /usr/bin/geesefs AWS CLI 설치 후 진행할 것! ~/.aws..