《REALM: Retrieval-Augmented Language Model Pre-Training》论文
1、前言 2019年可以说是语言模型快速发展的一年,BERT、XLNET、Albert等等模型不断刷新各个NLP榜单。在NLP榜单中比较引人注目的应该属于阅读理解型的任务,例如SQuAD等等。以SQuAD为例,模型需要阅读一段给定的文本,然后回答几个问题,问题如果存在答案,答案一 »
1、前言 2019年可以说是语言模型快速发展的一年,BERT、XLNET、Albert等等模型不断刷新各个NLP榜单。在NLP榜单中比较引人注目的应该属于阅读理解型的任务,例如SQuAD等等。以SQuAD为例,模型需要阅读一段给定的文本,然后回答几个问题,问题如果存在答案,答案一 »
本文章主要解决在CommonsensenQA中语义消歧问题,通过本文的方法,能够更好理解文本中指代词的意义。 举个小例子 ,size_10,color_FFFFFF,t_30" alt="在这里插入图片描述" title="" /> 本论文主要做了一下几件事: 将常识知识加入预训 »