BLEU、ROUGE评价指标
bleu,Rouge一般在翻译里用
bleu
bltk工具箱中就有bleu的评估指标实现
bleu通过比较预测语句和参考语句里的n-gram(从1-gram到4-gram)的重合程度。显然,重合程度越高,译文的质量就高。1-gram主要是用于比较单个单词的准确率,而2~4-gram则用于衡量句子的流畅性。
这个评价指标,关心的是预测语句的准确率,而没有考虑到预测语句的缺失率。
即计算的时候,用预测语句的n-gram个数做分母
分子是相同gram的个数
ROUGE
rouge就只计算了预测语句的召回率。
在实际的神经网络机器翻译出的语句通常是比较流畅的,但有时会瞎翻译,
即计算的时候,用参考译文的n-gram个数做分母。
分子是相同gram的个数
参考: