regularization

Regularization (Overfitting 방지 방법)

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.Regularization은 overfitting을 줄일 수 있는 방법 중 하나이다. Regularization에 대해 알아보기 전에 $l_2 norm$과 $l_1 norm$에 대하여 정리한다. 벡터 $w$가 다음과 같이 정의되어 있다면, $\underline{w}=\begin{bmatrix} w_1 \\ w_2  \\ w_3 \end{bmatrix}$$l_2 norm= \begin{Vmatrix} w\end{Vmatrix}_2=(|w_1|^2+|w_2|^2+|w_3|^2)^{\frac{1}{2}}$$l_1 norm= $$\begin{Vmatrix}w\end{Vmatrix}$$ _1=(|w_1|^1+|w_2|^1+|w_3|^1)^{\fr..