DPR向量检索在QA中的应用

1、摘要   开放域问题回答依赖于高效的文本检索来选择候选段落，传统的稀疏向量空间模型用的较多的有TF-IDF 或 BM25算法，但这些算法仅仅是在词的匹配上进行检索，并未考虑语义的相关性，有很大的局限性。因此，论文提出了一种新的算法来检索候选段落，称之为：D »

MAE模型：H-1 比 H heads好

1、摘要   多头注意神经结构已经在各种自然语言处理任务上取得了最先进的结果。 事实证明，它们是过度参数化的，注意力头可以被修剪而不会造成显著的性能损失。 论文提出：根据输入的不同，选择不同的header，提出了专注其中几个header的专家混合模型(MAE) »

ERNIE-GEN: 多流填充式噪声感知模型

1 摘要    ERNIE-GEN是采用多流序列的预训练和微调框架，通过生成机制和噪声感知生成方法来弥补训练和推理之间的差异。为了使代更接近人类的书写模式，该框架引入了一个跨越代流，训练模型连续预测语义完整跨度，而不是逐字预测。结果表明，ERNIE-GEN 在 »

语义相似度、句向量生成超强模型之SBERT

1 前言 随着2018年底Bert的面世，NLP进入了预训练模型的时代。各大预训练模型如GPT-2，Robert，XLNet，Transformer-XL，Albert，T5等等层数不穷。但是几乎大部分的这些模型均不适合语义相似度搜索，也不适合非监督任务，比如聚类。而解决聚类和语 »

《REALM: Retrieval-Augmented Language Model Pre-Training》论文

1、前言 2019年可以说是语言模型快速发展的一年，BERT、XLNET、Albert等等模型不断刷新各个NLP榜单。在NLP榜单中比较引人注目的应该属于阅读理解型的任务，例如SQuAD等等。以SQuAD为例，模型需要阅读一段给定的文本，然后回答几个问题，问题如果存在答案，答案一 »