역전파

Backpropagation

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.역전파(Backpropagation)는 미분이 뒤로 전달되기 때문에 "Back"propagation이라고 부른다. 역전파를 이해하기 위해 chain rule을 먼저 알아야 하는데 이에 대해서 잠시 설명한다. $(x^2+1)^2$라는 식은 $x \to x^2 \to x^2+1 \to (x^2+1)^2$의 과정으로 만들어진다. $(x^2+1)^2$을 chain rule을 따라 미분해 보면 아래와 같이 미분할 수 있다.$\frac{d(x^2+1)^2}{dx}=\frac{(x^2+1)^2}{d(x^2+1)} \frac{(x^2+1)}{d(x^2)} \frac{(x^2)}{d(x)}$감이 오는지? 식 전개 과정에서 자기 자신을 그 전 단..