전체 글

Momentum vs RMSProp

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.  1.Momentum Momentum은 Gradient를 누적함으로써 관성을 부여하는 것이다. (관성을 부여하기 위해 Gradient 값들을 저장하고 있어야 한다) 위 사진에서 Graident를 누적하면 위, 아래로 가는 방향은 점점 상쇄되지만, 앞으로 나아가는 방향은 점점 누적된다.   2. RMSprop (Root Mean Square Propagation) 많이 훑은 축으로는 적게, 적게 훑은 축으로는 많이 탐색한다. 경사가 급한 곳은 조심스럽게, 경사가 완만한 곳은 과감하게 간다.

파라미터 (parameter) vs 하이퍼파라미터 (hyperparameter)

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.  파라미터머신이 스스로 알아내는 변수weight ,bias 등.. 하이퍼파라미터직접 정해줘야 하는 변수Initial weightEpoch, batch sizelearning ratemodel architecture (레이어 수, 노드 수, activation 함수 등..)

mini-batch SGD

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.https://welldonecode.tistory.com/126 SGD (Stochastic Gradient Descent)해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.  2차식인 loss fuction의 Gradient Descent 과정을 contour plot(등고선 그래프)으로 그려보면 위 그림과 같다.  SGD는 데이터 중 임의로welldonecode.tistory.com GD(Gradient Descent)는 방향을 너무 신중하게 (모든 데이터를 전부 고려해서) 결정해서 문제이고, SGD는 데이터를 하나씩만 보기 때문에 너무 성급하게 방향을 결정한다는 문제점이 있다. 이 둘의 절충안이..

SGD (Stochastic Gradient Descent)

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.  2차식인 loss fuction의 Gradient Descent 과정을 contour plot(등고선 그래프)으로 그려보면 위 그림과 같다.  SGD는 데이터 중 임의로 하나만 뽑아서 loss fucntion을 만드는 과정을 데이터의 개수가 소진될 때 까지 반복한다. (비복원추출)데이터를 다 뽑았다면, 다시 주머니에 전부 넣고 처음부터 이 과정을 반복한다. 데이터 하나만 보고 방향을 빠르게 결정하는 방법이다 (연산 cost가 적다). 해당 방법은 local minimum을 찾는 문제를 해결할 수 있는 가능성이 있다.

가중치 초기화 기법 (Weight Initialization)

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.https://welldonecode.tistory.com/124 경사하강법 (Gradient descent)해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.https://welldonecode.tistory.com/123 선형 회귀 (Linear Regression)해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.딥러welldonecode.tistory.com  이전 게시물에서 언급했듯이, 경사하강법에서 처음에 a와 b, (weight와 bias)를 임의로 잡고 시작하는데, 이를 초기화 하는 기법에 대해서 설명한다. 1. Lecun 초기화Lecun Uniform Init..

경사하강법 (Gradient descent)

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.https://welldonecode.tistory.com/123 선형 회귀 (Linear Regression)해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.딥러닝을 하다 보면 "회귀"라는 말이 굉장히 많이 사용된다. 회귀란,  "입력과 출력 간의 관계를 추정하는 것" 이다. 선형 회welldonecode.tistory.com 지난 게시물에서 loss function을 최소화 하는 weight, bias 즉, a와 b를 경사하강법을 이용하여 찾는다고 했다.  경사 하강법은, 처음 a와 b는 아무렇게나 잡은 뒤, 조금씩 loss를 줄이는 방향으로 나아간다. Gradient는 항상 가장 가파른 방향으로..

선형 회귀 (Linear Regression)

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.딥러닝을 하다 보면 "회귀"라는 말이 굉장히 많이 사용된다. 회귀란,  "입력과 출력 간의 관계를 추정하는 것" 이다. 선형 회귀는 "입력과 출력 간의 관계를 선형으로 놓고 추정하는 것" 이다.    대표적인 선형 방정식인 $ax+b$에서 $a$는 weight(곱해지는 것, 중요도)이며 $b$는 bias(더해지는 것, 민감도)이다. 이때 weight와 bias 즉, a와 b를 잘 추정한다면 내가 모르는, 새롭게 들어오는 입력 x에 대해서도 적절한 출력을 낼 수 있지 않을까? 하는 것이다. 선형 회귀는 ML에 속하는 지도학습 방법이다. 인공지능과 ML의 경계를 구분하는 것은 데이터 기반인가? 이므로 선형 회귀는 데이터를 기반으로 ..

인공신경망, weight, bias

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.  인공 신경망은, 입력 신호에 대해서 weight(중요도)를 곱하고 bias(민감도)를 더한 후 Activation function을 통과해는 것을 반복하는 신경망이다.  이때, DNN (Deep Neural Network)이란, Hidden Layer가 여러 층으로 이루어진 Network이다. 위 사진 처럼 노드끼리 전부 연결되어 있는 층은 Fully-Connected Layer이라고 한다. 마찬가지로 위 사진처럼 모든 layer가 Fully-Connected Layer인 신경망을 multilayer perceptron (MLP)라고 부른다.

강화 학습

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.강아지가 배변패드에 용변을 보면 간식을 주고, 배변패드에 용변을 보지 않으면 간식을 주지 않으면, 배변패드에 용변을 보는 행위가 강화되는, 이러한 원리가 강화학습의 원리이다. 대표적인 예로 알파고가 강화학습을 사용한다. 용어를 몇 가지 정리한다. Agent : 강아지Reward : 간식Enviroment :  견주Action : 배변패드에 용변보기State : 현재 강아지가 놓여있는 상황Q-Fuction : $Q(State_t, Action_t)$ -> t시점의 State에서 Action은 몇 점인지?Episode : 시도$\epsilon - Greedy$ : 이 값을 0.1로 준다면, 0.1의 확률로 Q를 믿지 말라는 것.Di..

자기지도 학습

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.정답을 알고 있는 데이터가 너무 적을 때 사용할 수 있는 학습 방법이 "자기지도 학습"이다. 자기지도 학습은 원래 풀려고 했던 문제 말고 다른 문제(어느정도 도움을 주는 문제)를 먼저 풀게끔 하는 방식이다. 데이터 안에서 자기 스스로 정답(lable)을 만들기 때문에 자기지도 학습 이라고 명칭한다. 먼저 풀게끔 하는 문제 (pretext task)학습으로 pre training을 시킨다.downstream task를 풀기 위해 pre training 시킨 모델의 출력층을 downstream task에 맞는 출력층으로 바꾸어, 적은 량의 정답을 알고 있는 데이터로 다시 training을 시키면... 내가 원했던 classifica..