CMU博士后刘鹏飞:文本生成任务十大发展趋势(2020-2021)
趋势一:挑战总结。数据集的收集、指标的设计、模型结构的设计
趋势二:多语言、低资源场景
趋势三:非典型文本生成任务
趋势四:基于seq2seq的预训练模型,成为生成任务的标配
趋势五:非端到端系统(多步生成)成绩优异
趋势六:显示引入提示信息,实现可控文本生成
趋势七:最大似然loss和对比学习loss联合,但在不同阶段使用
趋势八:评估指标的评估研究
趋势九:系统的全方面可靠性评估。事实准确性、鲁棒性、公平性
趋势十:评价的平台化、一体化、可理解化