kl-divergence

Entropy, Cross-Engropy, KL-divergence, Mutual information

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.1.EntropyEntropy는 "평균 코드 길이의 최소"이다.여기서 코드란, 빈도 수가 높은 (자주 사용되는) 정보의 길이를 압축하는 것이다. "나"라는 단어는 자주 사용되기 때문에 0이라는 정보로 압축하고, "뷁"이라는 단어는 자주 사용되지 않기 때문에 11011의 정보로 표현하여, "나"=11111, "뷁"=11011 일때 보다 정보량을 압축시키는 것이다. Entropy는 "불확실성" 으로도 해석할 수 있다.앞면만 나오는 동전이 있다면, 그 동전을 던지는 시행의 Entropy는 0이다. 이는 수식으로 아래와 같이 표현할 수 있다. $\sum_{i}^{}-p_ilog_2p_i$ 해당 수식은 Lower bound의 역할을 한다..