likelihood

MSE vs Likelihood (convex한 함수가 loss function으로 사용되는 이유)

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.MSE를 loss함수로 쓸 수는 없을까? 강아지 사진일 때 출력 $q$가 1이 나온다면 $(q-1)^2$즉 MSE를 loss함수로 사용해서 이걸 minimize하면 되지 않을까? 그럴듯한 생각이다. 그렇다면 $(q-1)^2$를 minimize 하는 것과 $-\log{q}$를 minimize 하는 것을 비교해 보자.   위 그래프에서 파란색이 $(q-1)^2$이며 빨간색이 $-\log{q}$이다. 여기서 알 수 있는 것은, 만약 강아지 사진을 고양이 사진이라고 했을 때 즉, $q=0$일때 loss값을 비교해 보면 $-\log{q}$가 훨씬 크다는 것이다. $-\log{q}$가 아닌걸 아니라고 강력하게 (민감하게) 주장할 수 있는 ..