최대 우도 추정 (MLE : Maximum Likelihood Estimation)

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.

---

 

1. 조건부 확률 (Conditional Probability)

조건부 확률은 어떤 사건 A가 발생했을 때, 다른 사건 B가 발생할 확률을 나타낸다.

일반적으로 $P(B|A)$로 표기한다. 이 확률은 사건 A가 이미 발생했음을 전제로, 사건 B가 일어날 가능성을 계산하는 것이다.

 

다음과 같은 상황을 가정해보자.

• 전체 학생의 40%가 수학 시험에 합격했고, 30%가 과학 시험에 합격했다.
• 이 중에서, 수학 시험에 합격한 학생들 중 70%가 과학 시험에도 합격했다.

이 경우, 수학 시험에 합격한 학생들 중 과학 시험에 합격할 확률 $P(과학|수학)$을 조건부 확률이라고 한다.

조건부 확률 또한 합이 1이다.

 

 

---

 

2. 우도 (Likelihood)

우도는 관측된 데이터가 주어졌을 때, 어떤 특정한 매개변수 값을 가지는 모델이 이 데이터를 생성했을 가능성을 측정하는 값이다.

즉, 주어진 데이터에 대한 모델의 매개변수에 따른 가능성을 나타내는 함수입니다. 보통 $L(\theta)$로 나타내며 $\theta$는 모델의 매개변수이다.

 

likelihood는 확률 분포가 아니다. x의 함수를 보기 때문에 조건부 확률 또한 아니다.

 

최대 우도 추정이란, 썸녀랑 카톡을 할때 그녀의 마음을 알고 싶다. 그녀의 마음을 숨겨져 있지만, 카톡에서 무슨 말을 하는지, 어느정도 빈도인지를 바탕으로 그녀의 마음을 맞추는 것.. 이라고 비유해서 설명할 수 있다.

위의 경우에서 우도 함수는 다음과 같이 표현될 수 있다:

• $P(카톡 빈도|그녀의 마음)$
• 카톡 빈도를 measurement라고 부르며 $z$로 표기한다.
• 그녀의 마음은 $x$로 표기한다.
• 카톡 빈도가 5시간이라고 가정해 보자. 이때 최대 우도 추정(MLE)를 적용하면 확률론적 관점에서 카톡 빈도가 5시간 일때 그녀의 마음과 카톡 빈도가 5분일때 그녀의 마음 확률을 비교해 보면 그녀의 마음은 없다. 가 나온다.
• $n \sim N(0,\sigma^2)$일 때, $z_1=x+n_1$, $z_2=x+n_2$라고 한다면, 우리는 $P(z_1z_2|x)$를 찾고 싶은 것이며, 두 사건이 독립이면 이는 $P(z_1|x)P(z_2|x)$로 나타낼 수 있다. 우리는 이것을 최대화 하는 $x$를 찾고자 하는 것이다.
• $P(z_1|x)P(z_2|x)$을 최대로 만드는 $x$값을 $\widehat{x}=argmax_x$라고 표현한다.
• 만약 위의 상황처럼 노이즈 $n$이 가우시안이라면, $\widehat{x}=\frac{z_1+z_2}{2}$로 나타낼 수 있다. 이게 바로 likelihood를 최대화 하는 x를 찾은 것, MLE이다.