-
一周论文阅读20200614
- Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks
这篇文章研究nlp 的pretrain模型用任务相关的数据进一步预训练效果会更好。结论比较符合直觉,甚至感觉不用研究都能得出这个结论。方法上作者用robert做实验,研究了计算机、医疗等4个领域的文本分布,并用一些文本分类任务作为评价指标 。然后作者还提出了一个向量化召回去扩充数据的方法。整体感觉并不是很创新
- Language Models as Knowledge Bases?
bert等预训练模型不仅可以语言的表征,还能学习进行知识性的记忆
- Practitioner’s Guide to Statistical Tests
采用蒙特卡洛的方法对CTR预估中的AB测试进行了分析,学习了蒙特卡洛方法的又一个应该。
- Perturbed Masking: Parameter-free Probing for Analyzing and Interpreting BERT
参考科学空间的文章:https://spaces.ac.cn/archives/7476 。用训练好的BERT模型将句子的某些词替换成mask符号,可以得到词与词的相关关系,利用这种相关关系能进行分词、句法分析等工作,这表明bert对语言的语法层面进行了有效的建模。
- Zero-Shot Learning in Modern NLP
对nlp中的零次学习进行了简单的介绍
- Revisiting Few-sample BERT Fine-tuning
研究了finetune数据较少是怎么fine-tuning bert。提出了三个方法 1.无偏的bert adam优化算法 2.随机初始化bert的最后几层权重 3 更多的训练epoch
- Language Models as Fact Checkers?
用bert的语言模型作为fact checker 代替之前的ir模块和证据提取模块,其效果好于之前的baseline。看来语言模型不仅可以encode语法层面的东西,还能够encode知识层面的东西
-
相关阅读:
docker2核 elasticsearch卡死
spring cloud config
App网关Zuul
spring Ribon
spring Feign声明式服务消费(Ribbon Hystrix )
spring Hystrix
spring cloud 整体介绍
springbean 生命周期
xml六种解析方式
jdk8中的forEach使用return执行下一次遍历
-
原文地址:https://www.cnblogs.com/kangheng/p/13022164.html
Copyright © 2020-2023
润新知