- LEARNING-TO-RANK WITH BERT IN TF-RANKING
rank 任务 将query和doc一起送进bert得到cls的表征，以此为特征用TF-RANKING 框架进行rank - TF-Ranking: Scalable TensorFlow Library for Learning-to-Rank
讲TF-Ranking这个learning to rank的框架，对rank进行了综述，这个框架主要用在计算量大的场景，是在tf架构上编写的，并且提供了Item Weighting功能用来解决“bias in learning-to rank” - ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS
看到有同事在训练这个模型，于是看了下这篇paper。这个模型跟bert差不多是一个预训练的语言模型，bert的mlm任务中有这么一步是按照一定的概率将一个词随机地换成另一个词。bert的这个替换是随机的，所以对后面的识别任务来说不算难。electra做的是让这个任务变得更难，作者训练了另一个小模型作为语言模型，用语言模型的输出概率采样进行单词的替换，然后后面的大模型再判断这个词是不是替换过。整个过程的gan的生成判别过程很像。由于有一个小的语言模型，所以被替换的词不至于错得很离谱，对于后面的判别模型来说任务难度较之前bert的更大，并且electra对每个单词都要做判断，综合这些因素electra的训练效率更高。同时我也在思考是否更难的任务一定意味着更好的结果？或许这种更“难”的任务可能等效于某种正则化，或等效于某种先验。 - MRR vs MAP vs NDCG: Rank-Aware Evaluation Metrics And When To Use Them
这篇博客非常有价值，讲了搜索和推荐中常用的排序指标。不仅讲了MRR、MAP 、NDCG的原理和实现，还讲了各个指标的优劣和使用场景。应该说指标是机器学习中的一个重要一环，深刻地理解这些指标非常重要