Bleu

BLEU (Bilingual Evaluation Understudy) Score - LLM Evaluation

LLM이 생성한 (예측한) 결과를 평가하기 위해 PPL (Perplexity) 도 쓰이지만, 그보다 BLEU Score를 더 많이 사용한다.  PPL은 쉽게 말해 모델이 정답을 예측할 때 헷갈려하는 정도이다. 따라서 작으면 작을수록 좋다. 5개의 선택지 중 고민하는 것 보다, 2개의 선택지 중 고민하는게 모델이 그만큼 똑똑하다는 것이니까. 하지만, 번역 작업을 예로 들면, 우리는 문장의 맥락을 고려해서 번역이 잘 되었는지를 평가하고 싶어 한다. 해당 평가에 BLEU Score를 사용한다.  BLEU란?$BLEU = BP\cdot \prod_{n=1}^{N}p_{n}^{w_{n}}$로 계산되는 Evaluation Score이다. $p_{n}$ : n-gram precision$w_{n}$ : weight,..