BLEU (Bilingual Evaluation Understudy) Score - LLM Evaluation
LLM이 생성한 (예측한) 결과를 평가하기 위해 PPL (Perplexity) 도 쓰이지만, 그보다 BLEU Score를 더 많이 사용한다.
PPL은 쉽게 말해 모델이 정답을 예측할 때 헷갈려하는 정도이다. 따라서 작으면 작을수록 좋다.
5개의 선택지 중 고민하는 것 보다, 2개의 선택지 중 고민하는게 모델이 그만큼 똑똑하다는 것이니까.
하지만, 번역 작업을 예로 들면, 우리는 문장의 맥락을 고려해서 번역이 잘 되었는지를 평가하고 싶어 한다.
해당 평가에 BLEU Score를 사용한다.
BLEU란?
$BLEU = BP\cdot \prod_{n=1}^{N}p_{n}^{w_{n}}$
로 계산되는 Evaluation Score이다.
- $p_{n}$ : n-gram precision
- $w_{n}$ : weight, 합=1
- $BP$ : Brevity (짧음) penalty
n-gram 이란 무엇인가?
정답 : "나는 정말로 훌륭한 학생 일까요"
예측 : "나는 정말 훌륭한 학생 입니다"
라는 문장을 예로 들어 보자.
1-gram : 나는 / 정말 / 훌륭한 / 학생 / 입니다
2-gram : 나는 정말 / 정말 훌륭한 / 훌륭한 학생 / 학생 입니다
3-gram : 나는 정말 훌륭한 / 정말 훌륭한 학생 / 훌륭한 학생 입니다
4-gram : 나는 정말 훌륭한 학생 / 정말 훌륭한 학생 입니다
이런 식으로 문장 안에서 n개의 연속된 단어 쌍을 의미한다.
n-gram precision은 아래와 같은 수식으로 나타낼 수 있다.
$\frac{정답 문장에 존재하는지 여부의 합계}{예측 문장의 n-gram 개수}$
위 문장에서 1-gram precision은 $\frac{3}{5}$ 이 된다.
하지만,
정답 : "훌륭한 나는 정말로 훌륭한 학생 일까요"
예측 : "훌륭한 나는 정말로 훌륭하게 훌륭한 학생 입니다"
위와 같은 경우 분명 이상한 문장인데, 점수가 높게 나올 수 있다.
Clipping
이를 예방하기 위해 Clipping이 필요하다. Clipping은 "훌륭한" 이라는 단어가 정답에 두번만 나오니, 1-gram precision을 할 때 해당 단어는 두번 까지만 count하여 점수를 보정한다.
BP
마지막으로 BP (Brevity penalty) 즉, 짧음 패널티를 곱해줘야 한다.
정답 : "훌륭한 나는 정말로 훌륭한 학생 입니다"
예측 : "학생 입니다"
위와 같은 경우 BP를 제외하고 계산하면 점수는 1이 나온다. 분명 예측은 잘못되었지만 말이다.
BP는 아래와 같이 계산한다.
- r : 정답 문장 길이
- c : 예측 문장 길이
여러 문장에 대해 BLEU Score를 계산할 때는 아래와 같이 계산하면 된다.
$p_{n}=\frac{\sum_{sentence}^{}정답 문장에 존재하는지 여부의 합계}{\sum_{sentence}^{}예측 문장의 n-gram 개수}$