티스토리

Well done! 코딩

검색하기

블로그 홈

Well done! 코딩

welldonecode.tistory.com/m

pullwall 님의 블로그입니다.

구독자: 1

방명록 방문하기

주요 글 목록

BLEU (Bilingual Evaluation Understudy) Score - LLM Evaluation LLM이 생성한 (예측한) 결과를 평가하기 위해 PPL (Perplexity) 도 쓰이지만, 그보다 BLEU Score를 더 많이 사용한다. PPL은 쉽게 말해 모델이 정답을 예측할 때 헷갈려하는 정도이다. 따라서 작으면 작을수록 좋다. 5개의 선택지 중 고민하는 것 보다, 2개의 선택지 중 고민하는게 모델이 그만큼 똑똑하다는 것이니까. 하지만, 번역 작업을 예로 들면, 우리는 문장의 맥락을 고려해서 번역이 잘 되었는지를 평가하고 싶어 한다. 해당 평가에 BLEU Score를 사용한다. BLEU란?$BLEU = BP\cdot \prod_{n=1}^{N}p_{n}^{w_{n}}$로 계산되는 Evaluation Score이다. $p_{n}$ : n-gram precision$w_{n}$ : weight,.. 공감수 0 댓글수 0 2024. 12. 5.
SVM (Support Vector Machine) 이란? SVM은 전통적인 ML 기법 중 하나로 분류되며 이진 분류를 위해 사용된다. 간단히 말하면, SVM은 서로 다른 클래스를 분리하기 위한 "국경 긋기 방법"이다. 그럼 국경 (Decision boundary) 을 어떻게 그어야 할까? 자기 집 앞이 DMZ가 되지 않도록 모두가 만족하게 그어야 할 것이다. 이렇게 하기 위해서는 파란색 데이터에서 국경까지의 거리와 빨간색 데이터에서 국경까지의 거리가 동일해야 한다. 국경 (Decision boundary) 까지의 거리를 우리는 "Margin" 이라고 명칭하고, 데이터마다 Margin이 같도록, global한 관점에서 봤을 때는 Margin이 크도록 국경을 긋게 된다. 이 국경을 좌표평면에서 수식으로 표현하면, $ax+by=c$ 이고 이를 행렬로 나타내면.. 공감수 0 댓글수 0 2024. 11. 27.
랜덤 포레스트 (Random Forest) https://welldonecode.tistory.com/157 의사결정트리 (Decision Tree)Random Forest의 기초가 되는 의사결정트리 (Decision Tree)에 대해서 알아본다. 의사결정트리는 지도학습 방법 중, "분류" 문제를 푸는데 사용된다. 데이터가 존재할 때, 스무고개를 통해 그 데이터가welldonecode.tistory.com이전 게시물에서 의사결정트리에 대해 다뤘고, 의사결정트리의 overfitting 문제를 해결하기 위해 random forest가 등장하였다고 언급하였다. 이번엔 이 random forest에 대해 알아본다. 의사결정트리에서 "나무"를 만들었다면, 랜덤 포레스트에서는 나무들로 이루어진 "숲"을 만든다. 하나의 나무가 문제를 잘 해결하지 못하니, .. 공감수 0 댓글수 0 2024. 11. 27.
의사결정트리 (Decision Tree) Random Forest의 기초가 되는 의사결정트리 (Decision Tree)에 대해서 알아본다. 의사결정트리는 지도학습 방법 중, "분류" 문제를 푸는데 사용된다. 데이터가 존재할 때, 스무고개를 통해 그 데이터가 어떤 class에 속하는지 맞추는 예시와 상당히 유사하다. 그렇다면, 의사결정트리의 구성요소에 대해 설명한다. 위와 같은 그림에서 각 노드의 명칭은 아래와 같다.맨 처음 분류 기준을 Root Node중간 분류 기준을 Intermediate Node맨 마지막 노드를 Terminal Node 혹은 Leaf Node 이제, 완성된 의사결정트리를 보고 역으로 그 원리에 대해 설명하겠다. 위 그림은 depth=2 상태로 완성된 의사결정트리이다. 여기서 Root Node와 Intermediate N.. 공감수 1 댓글수 1 2024. 11. 27.
[pytorch] 순환신경망 (Recurrent Neural Network) 예제 코드 import torchimport torch.nn as nnimport torch.optim as optimimport numpy as npn_hidden = 35lr = 0.01epochs = 1000string = "hello pytorch. how long can a rnn cell remember? show me your limit!"chars = "abcdefghijklmnopqrstuvwxyz ?!.,:;01"char_list = [i for i in chars]n_letters = len(char_list)# one-hot encodingdef string_to_onehot(string): start = np.zeros(shape=n_letters, dtype=int) end = np... 공감수 0 댓글수 0 2024. 11. 21.
[pytorch] 합성곱 신경망 (Convolution Neural Network) 예제 코드 import torchimport torch.nn as nnimport torch.optim as optimimport torch.nn.init as initimport torchvision.datasets as dsetimport torchvision.transforms as transformsfrom torch.utils.data import DataLoaderbatch_size = 256learning_rate = 0.0002num_epoch = 10mnist_train = dset.MNIST("./", train=True, transform=transforms.ToTensor(), target_transform=None, download=True)mnist_test = dset.MNIST("./".. 공감수 1 댓글수 0 2024. 11. 20.
[pytorch] 심층신경망 (Deep Neural Network) 예제 코드 import torchimport torch.nn as nnimport torch.nn.init as initimport torch.optim as optimnum_data = 1000num_epoch = 10000noise = init.normal_(torch.FloatTensor(num_data, 1), std=1)x = init.uniform_(torch.Tensor(num_data, 1), -15, 15)y = (x**2) +3y_noise = y + noise# Sequential 함수 안에 작성된 순서대로 데이터 연산 진행# 은닉층은 4개, activation은 ReLU 사용model = nn.Sequential( nn.Linear(1,6), nn.ReLU(), nn.Linea.. 공감수 0 댓글수 0 2024. 11. 19.
[pytorch] 선형 회귀 (Linear Regression) 예제 코드 import torchimport torch.nn as nnimport torch.optim as optimimport torch.nn.init as initnum_data = 1000num_epoch = 500x = init.uniform(torch.Tensor(num_data, 1), -10, 10)noise = init.normal(torch.Tensor(num_data, 1), std=1)y = 2*x+3y_noise = 2*(x+noise)+3model = nn.Linear(1,1)# Loss함수로 L1 Lossloss_func = nn.L1Loss()# Optimizer로 Stochastic Gradient Descentoptimizer = optim.SGD(model.parameters(),.. 공감수 0 댓글수 0 2024. 11. 19.
seq2seq (시퀀스 to 시퀀스) 해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다. seq2seq 의 구조는 위 그림과 같다. 각 셀은 LSTM이나 GRU를 주로 사용한다. (장기 의존성 문제를 최대한 해결하고자.. 하지만 100% 해결하지는 못함.) 또한 encoder의 마지막 context vector를 decoder의 처음 context vector으로 사용한다. 위 그림에서 볼 수 있듯 학습 시에는 정답을 decoder의 입력에 넣는다. (teacher forcing이라고 부른다.) 테스트 시에는 sos토큰이 decoder에 들어가서 나오는 출력인 $y_0$을 그 다음 입력으로 사용하고 $y_0$으로부터 나오는 출력인 $y_1$을 그 다음 입력으로 사용하고.. 하는 형태이다. 이를 eos토큰이 나올 때.. 공감수 0 댓글수 0 2024. 9. 12.
RNN (Recurrent Neural Network) 해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.RNN은 연속적인 데이터를 처리하는데 효과적이다. 위 사진과 같이 우선 처음 입력 데이터를 가지고 노드의 값을 만든다. 두번째 입력 데이터로 노드를 만들 때 이전에 만들어진 노드의 값도 입력으로 넣는다.세번째 입력 데이터로 노드를 만들 때 이전에 만들어진 노드의 값도 입력으로 넣는다.반복...즉 이렇게 만들어진 노드들은 해당 time step에 해당하는 입력 데이터와, 그 전 입력 데이터와, 그 입력 데이터로 만들어진 노드가 들어있다. 하지만 마지막 출력값에 대해 처음 입력값이 미치는 영향은 어떨까? RNN은 activation으로 tanh를 사용하며 이를 미분했을때 최대값은 1이다. 그럼 backpropagation시 ta.. 공감수 0 댓글수 0 2024. 9. 12.
VGGnet 해당 강의는 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다. VGG net의 골자인 첫번째 구조를 table로 나타낸 것이 위 표의 D 부분이다. 해당 부분에 대해 순서대로 이해해 보겠다.Input data : input으로는 3x224x224 size의 image를 받는다.conv3-64 통과 : conv3-64는 64x3x3x3을 의미하는데 이는 64개의 3x3x3 필터로 이미지를 컨볼루션 하겠다는 의미이다. (zero padding은 1로 설정한다고 논문에 나와있다.출력 shape : conv3-64를 거치면 64x224x224conv3-64 통과 : 위의 출력 shape에 대하여 conv3-64의 필터는 64x64x3x3출력 shape : conv3-64를 거치면 64x224x2.. 공감수 0 댓글수 0 2024. 9. 12.
Padding, Stride, Pooling 해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.1. Padding Padding이란, 입력 데이터가 filter를 거치면 size가 달라지는 문제를 해결하고자위 사진과 같이 입력 데이터 주변에 데이터를 감싸는 것이다. 이를 통해 출력의 사이즈를 입력의 사이즈와 일치시킬 수 있다. 2. Stride Stride란 기존에 filter가 한 칸씩 스캔하며 동작했던 것과 달리 몇 칸씩 움직일지를 옵션으로 부여한다. 한 칸 뿐만 아니라 n칸씩 이동시킬 수 있다. 3. Pooling Pooling이란 넓은 범위를 대표하는 값으로 대체하여 데이터의 사이즈를 줄일 수 있게끔 한다. (학습 파라미터는 전혀 필요하지 않다.) 위 사진의 예시는 max pooling의 예제이며, 해당 범위 .. 공감수 1 댓글수 0 2024. 9. 11.
CNN (Convolution Neural Network) 해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.이미지가 입력으로 들어왔을 때 Fully Connected한 신경망은 모든 노드를 활성화 시켜서 이미지를 보려고 한다. 하지만 CNN은 위치별 특징(패턴) 을 Convolution을 통해 찾는다. 즉, 패턴을 통해 이미지가 무엇인지 알아내는 것이다. (인간처럼..) CNN은 스캔하듯이 같은 weight와 bias를 가지는 kernel (filter)이라는 스캔기로 입력 데이터를 쭉 스캔한다. 위 과정은 가까이 있는 데이터들만 connection하여 하나의 노드를 구성하는 과정을 반복하게 되는데, 이를 통해 위치 정보를 유지할 수 있게 된다. (새롭게 태어난 노드는 그 구역의 담당 일진 느낌..) 그렇다면 convolut.. 공감수 3 댓글수 1 2024. 9. 10.
Regularization (Overfitting 방지 방법) 해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.Regularization은 overfitting을 줄일 수 있는 방법 중 하나이다. Regularization에 대해 알아보기 전에 $l_2 norm$과 $l_1 norm$에 대하여 정리한다. 벡터 $w$가 다음과 같이 정의되어 있다면, $\underline{w}=\begin{bmatrix} w_1 \\ w_2 \\ w_3 \end{bmatrix}$$l_2 norm= \begin{Vmatrix} w\end{Vmatrix}_2=(|w_1|^2+|w_2|^2+|w_3|^2)^{\frac{1}{2}}$$l_1 norm= \begin{Vmatrix}w\end{Vmatrix}_1=(|w_1|^1+|w_2|^1+|w_3|^1)^{\fr.. 공감수 0 댓글수 0 2024. 9. 10.
Overfitting 방지를 위한 Dropout 해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다. Overfitting 방지를 위한 방법중 하나는 Dropout이다. 이는 일부 노드를 가리면서 학습시키는 방법이다. 학습 시 노드들을 랜덤하게 가려서 학습시키고, 테스트 할 때는 이 결과를 평균내서 사용한다. 이러한 개념은 layer 별로 적용되고, 매 iteration마다 적용된다. 위 사진처럼, 학습 시에는 $p$의 확률로 노드를 살린다. 이는 각 데이터가 dropout을 적용시킨 레이어에 들어갈 때마다 다시 정해진다. (데이터마다 dropout시킬 노드를 다시 고른다.) 테스트 시에는 모든 노드를 다 살린 후 weight에 $p$를 곱한다. (즉, 평균을 내는 느낌)이는 학습 단계에서 dropout 확률만큼 노드가 비.. 공감수 2 댓글수 1 2024. 9. 9.
Overfitting, Data augmentation 해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다. 층을 깊게 쌓아 loss 함수를 꼬불꼬불하게 만들면 training data에 대해서는 성능이 좋지만, 보지 못한 데이터가 들어왔을 때 (Test data)는 잘 맞추지 못하게 된다. 이를 어떻게 해결할까? 모델이 다시 입력, 출력관의 관계를 단순하게 생각하도록 한다. (Dropout)Data AugmentationData Augmentation은 학습 데이터가 너무 적어서 생기는 overfitting 문제를 해결해준다. Data Augmentation은 데이터를 변조, 변형시켜서 데이터 우려먹기가 가능하다! 공감수 0 댓글수 0 2024. 9. 9.
Loss Landscape, Skip connection 해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다. 아무리 vanishing gradient 문제를 해결한다고 해도 layer를 깊게 쌓으면 loss함수의 모양이 꼬불꼬불 해지는 Loss landscape 현상때문에 underfitting이 발생한다. 따라서 이를 skip connection으로 해결한다. skip connection은 layer를 건너뛰고 이전 레이어의 출력과 더하는 방식이다. 이를 사용하면 Loss landscape 현상으로부터 벗어날 수 있다. 아래 사진이 skip connection을 이용했을 때의 loss function 모양이다. 그런데 위와 같은 그림을 어떻게 그릴까..? weight 벡터인 $ w=\begin{bmatrix} \vdots.. 공감수 1 댓글수 0 2024. 9. 9.
Batch Normalization, Layer Normalization, Vanishing Gradient 해결 방안 정리 해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다. batch size=5 일 때 해당 데이터들이 ReLU 함수를 통과하는 상황이다. 데이터들이 모두 양수일 때는 linear function을 쓰는 것과 다름이 없으며, 데이터들이 모두 음수일 때는 gradient=0이 되므로 gradient descent 문제가 발생한다. 따라서 위 그림과 같이 Activation function의 non-linear한 성질을 잘 살리고자 입력 데이터를 재조정 하는 것이 batch normalization의 첫번째 목적이다. 하지만 이 데이터들을 어디로 옮길지 어떻게 알아야 할까? 어디로 옮길지(non-linear한 성질을 잘 살리면서 vanishing gradient를 얼마나 해결하는지).. 공감수 0 댓글수 0 2024. 9. 9.
ReLU (Rectified Linear Unit) 해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.https://welldonecode.tistory.com/139 기울기 소실 (Vanishing Gradient)해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다. 깊은 층의 layer를 갖는 인공신경망은 입력층으로 갈수록 미분이 작아지는 (기울기가 소실되는, 0으로 가는) 문제가 발생한welldonecode.tistory.com 이전 게시물에서 기울기 소실의 문제는 activation의 미분 때문이다. 라고 했다. 이를 해결하기 위해 ReLU가 등장하였다. ReLU함수는 위 사진과 같이 0보다 작은 입력에 대해서는 0으로 출력하고, 0보다 큰 입력에 대해서는 입력과 같은 값을 출력한다. 그럼 양.. 공감수 1 댓글수 0 2024. 9. 6.
기울기 소실 (Vanishing Gradient) 해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다. 깊은 층의 layer를 갖는 인공신경망은 입력층으로 갈수록 미분이 작아지는 (기울기가 소실되는, 0으로 가는) 문제가 발생한다. $w_{k+1}=w_k-\alpha g$즉, 위와 같은 가중치 업데이트 수식에서 $g$가 0으로 수렴하면 가중치가 업데이트되지 않는 문제가 발생한다. 왜 이런 문제가 발생할까? 문제는 activation의 미분에 있다. $\frac{\partial L}{\partial w_1}=2(\hat{y_1}-y_1)f_{2}^{'}(d_2)w_2f_{1}^{'}(d_1)n_1$backpropagation을 할 때 첫번째 weight에 대한 미분을 구하려면 위와 같은 수식처럼 activation'-weight.. 공감수 0 댓글수 0 2024. 9. 6.
Softmax를 이용한 다중 분류 해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.3x100x100 이미지의 삼중 분류룰 해보자. (강아지, 고양이, 소) 정답 label은 강아지 : [1, 0, 0] 고양이 : [0, 1, 0] 소 : [0, 0, 1] 과 같이 정할 수 있다. (one-hot encoding) 이때 activation function은 확률 분포를 표현해 주기 위해 softmax를 사용한다. softmax는 위와 같이 여러개를 입력으로 받아 확률 분포를 출력한다. (수식에 의해 당연하게 총합은 1이 된다.) 그냥 sigmoid를 거쳐 나오게 할 수도 있지만, 합이 1이 되지 않는다는 문제가 있다.(그래서 sigmoid는 multi-label classification에 사용된다. 강아지하.. 공감수 0 댓글수 0 2024. 9. 5.
딥러닝 학습의 본질 (MLE) 해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.https://welldonecode.tistory.com/114 최대 우도 추정 (MLE : Maximum Likelihood Estimation)해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다. 1. 조건부 확률 (Conditional Probability)조건부 확률은 어떤 사건 A가 발생했을 때, 다른 사건 B가 발생할 확률을 나타낸다. 일반적welldonecode.tistory.com이전 게시물에서 MLE에 대해 다룬 바 있다. 여러 개의 입력이 들어왔을 때 likelihood를 $ q_1^{y_1}(1-q)^{1-y_1} q_2^{y_2}(1-q)^{1-y_2}\cdots $ 라고 하자... 공감수 0 댓글수 0 2024. 9. 5.
MSE vs Likelihood (convex한 함수가 loss function으로 사용되는 이유) 해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.MSE를 loss함수로 쓸 수는 없을까? 강아지 사진일 때 출력 $q$가 1이 나온다면 $(q-1)^2$즉 MSE를 loss함수로 사용해서 이걸 minimize하면 되지 않을까? 그럴듯한 생각이다. 그렇다면 $(q-1)^2$를 minimize 하는 것과 $-\log{q}$를 minimize 하는 것을 비교해 보자. 위 그래프에서 파란색이 $(q-1)^2$이며 빨간색이 $-\log{q}$이다. 여기서 알 수 있는 것은, 만약 강아지 사진을 고양이 사진이라고 했을 때 즉, $q=0$일때 loss값을 비교해 보면 $-\log{q}$가 훨씬 크다는 것이다. $-\log{q}$가 아닌걸 아니라고 강력하게 (민감하게) 주장할 수 있는 .. 공감수 0 댓글수 0 2024. 9. 5.
Sigmoid를 이용한 이진 분류, Logistic Regression 해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.강아지 사진을 y=1, 고양이 사진을 y=0이라고 하고 강아지 사진이 나올 확률을 q=1 고양이 사진이 나올 확률을 q=0이라고 정의하자. 그렇다면 강아지 사진이 나올 확률을 구하는 수식은 아래와 같다.$q^{y}(1-q)^{(1-y)}$만약 사진을 100장 준다면 수식은 아래와 같다. 사진을 주는 행위는 독립시행이기때문에 곱한다.$q_1^{y_1}(1-q_1)^{(1-y_1)}q_2^{y_2}(1-q_2)^{(1-y_2)} \cdots q_{100}^{y_{100}}(1-q_{100})^{(1-y_{100})}$ 하지만 이렇게 계속 0과 1사이의 값을 계속 곱하면 숫자가 너무 작아져 대소구별을 할 수 없는 underflow 문.. 공감수 0 댓글수 0 2024. 9. 4.
선형 분류 & 퍼셉트론 해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다. 위와 같은 신경망이 있다. 키(x), 몸무게(y)를 input으로 받아 unit step function을 거쳐 비만인지(1) 저체중인지(0) 이진 분류를 하는 task를 한다. $bias=-1$이라고 한다면 위 신경망을 수식으로 나타내면 아래와 같다.$-x+y-1>0$즉, $y>x+1$unit step fuction을 거치기 때문에 위 수식이 양수면 1(비만)을 출력하고 음수면 0(저체중)을 출력하게 된다. 이 때, $y>x+1$과 같이 경계가 선형으로 나오면 "선형 분류" 라고 한다. 위 신경망처럼 hidden layer 없이 unit step fuction을 activation function으로 사용하면 이를 "퍼셉트론.. 공감수 0 댓글수 2 2024. 9. 4.
Backpropagation 해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.역전파(Backpropagation)는 미분이 뒤로 전달되기 때문에 "Back"propagation이라고 부른다. 역전파를 이해하기 위해 chain rule을 먼저 알아야 하는데 이에 대해서 잠시 설명한다. $(x^2+1)^2$라는 식은 $x \to x^2 \to x^2+1 \to (x^2+1)^2$의 과정으로 만들어진다. $(x^2+1)^2$을 chain rule을 따라 미분해 보면 아래와 같이 미분할 수 있다.$\frac{d(x^2+1)^2}{dx}=\frac{(x^2+1)^2}{d(x^2+1)} \frac{(x^2+1)}{d(x^2)} \frac{(x^2)}{d(x)}$감이 오는지? 식 전개 과정에서 자기 자신을 그 전 단.. 공감수 0 댓글수 0 2024. 9. 3.
MLP를 행렬과 벡터로 나타내기, Non-linear activation의 중요성 해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다. 입력이 두개고 은닉층의 노드가 3개인 MLP의 부분을 행렬과 벡터로 나타내면 아래 수식과 같다. $ f_1\begin{pmatrix} \begin{bmatrix} x_1 & x_2 \\ \end{bmatrix} \begin{bmatrix} w_1 & w_3 & w_5 \\ w_2 & w_4 & w_6 \\ \end{bmatrix}+\begin{bmatrix} b_1& b_2 & b_3 \\ \end{bmatrix}\end{pmatrix}= f_1(\underline{x}W_1b_1) $이 때 $f$는 activation function이다. MLP가 더 deep 해진다면 아래와 같이 표현할 수 있다.$ f_3(f_2(f_1(.. 공감수 0 댓글수 2 2024. 9. 2.
Adam (Adaptive Moment Estimation) 해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다. 위 사진과 같은 Adam의 알고리즘에서 마지막 줄만 보자. 기존의 update 방식은 아래와 같은 수식으로 이루어졌다.$ \begin{bmatrix} a_{k+1} \\ b_{k+1} \end{bmatrix} = \begin{bmatrix} a_k \\ b_k \end{bmatrix} - \alpha g$위 수식의 형태는 Adam 알고리즘의 마지막 부분과 동일하다. $m_t$는 모멘트의 개념을 반영한 것이며 $v_t$는 RMS norm의 개념을 반영한 것이다. $m_t=\beta_1 m_{t-1}+(1-\beta_1)g_t$ 에서 $beta=\frac{1}{2}$라고 한다면 첫 번째 step에서 $m_1=\frac{1}{2}m.. 공감수 0 댓글수 0 2024. 9. 2.
Momentum vs RMSProp 해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다. 1.Momentum Momentum은 Gradient를 누적함으로써 관성을 부여하는 것이다. (관성을 부여하기 위해 Gradient 값들을 저장하고 있어야 한다) 위 사진에서 Graident를 누적하면 위, 아래로 가는 방향은 점점 상쇄되지만, 앞으로 나아가는 방향은 점점 누적된다. 2. RMSprop (Root Mean Square Propagation) 많이 훑은 축으로는 적게, 적게 훑은 축으로는 많이 탐색한다. 경사가 급한 곳은 조심스럽게, 경사가 완만한 곳은 과감하게 간다. 공감수 0 댓글수 0 2024. 9. 1.
파라미터 (parameter) vs 하이퍼파라미터 (hyperparameter) 해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다. 파라미터머신이 스스로 알아내는 변수weight ,bias 등.. 하이퍼파라미터직접 정해줘야 하는 변수Initial weightEpoch, batch sizelearning ratemodel architecture (레이어 수, 노드 수, activation 함수 등..) 공감수 0 댓글수 0 2024. 9. 1.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.