dropout

Overfitting 방지를 위한 Dropout

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다. Overfitting 방지를 위한 방법중 하나는 Dropout이다. 이는 일부 노드를 가리면서 학습시키는 방법이다. 학습 시 노드들을 랜덤하게 가려서 학습시키고,  테스트 할 때는 이 결과를 평균내서 사용한다. 이러한 개념은 layer 별로 적용되고, 매 iteration마다 적용된다.  위 사진처럼, 학습 시에는 $p$의 확률로 노드를 살린다. 이는 각 데이터가 dropout을 적용시킨 레이어에 들어갈 때마다 다시 정해진다. (데이터마다 dropout시킬 노드를 다시 고른다.) 테스트 시에는 모든 노드를 다 살린 후 weight에 $p$를 곱한다. (즉, 평균을 내는 느낌)이는 학습 단계에서 dropout 확률만큼 노드가 비..