Segment-Aware Transformer

1、摘要   Transformer对于序列建模是非常强大的。几乎所有最先进的语言模型和预先训练的语言模型都基于 Transformer 体系结构。然而，它仅仅使用标记位置索引区分顺序标记。论文中作者提出一个假设：更好的上下文表示是不是可以从Transform »

ERNIE-DOC: 超长文本Transformer

1、摘要   Transformer不适合处理长文件输入，因为，随着文本长度的增加，消耗的内存和时间是N2的指数级增加。也有很多学者，通过截断一个长文档或应用稀疏注意机制，在一定程度上可以解决上下文碎片问题，但起到的作用有限。在这篇文章中，作者提出了一个预训练 »

使用frp配置内网穿透

1 Frp介绍 frp 是一个开源、简洁易用、高性能的内网穿透和反向代理软件，支持 tcp, udp, http, https等协议。frp 项目官网是 https://github.com/fatedier/frp， frp工作原理 服务端运行，监听一个主端口，等待客户端的 »

小数据集如何利用Bert进行Finetune

1、摘要   这篇论文主要研究了数据集上如何有效地使用 BERT finetune问题，首先，论文提到在BERTADAM 优化器中遗漏了梯度偏差校正，不利于模型的finetune，尤其是在小数据集上，训练初期，模型会持续震荡，进而会降低整个训练过程的效率，减慢 »

ATTATTR：transformer自注意力特征归因算法

1、摘要   基于 transformer 的模型的巨大成功得益于强大的多头自我注意机制，该机制从输入中学习token依赖并编码语境信息。先前的工作主要致力于针对具有不同显著性度量的单个输入特性的贡献模型决策，但是他们没有解释这些输入特性如何相互作用以达到预测 »

DPR向量检索在QA中的应用

1、摘要   开放域问题回答依赖于高效的文本检索来选择候选段落，传统的稀疏向量空间模型用的较多的有TF-IDF 或 BM25算法，但这些算法仅仅是在词的匹配上进行检索，并未考虑语义的相关性，有很大的局限性。因此，论文提出了一种新的算法来检索候选段落，称之为：D »

MAE模型：H-1 比 H heads好

1、摘要   多头注意神经结构已经在各种自然语言处理任务上取得了最先进的结果。 事实证明，它们是过度参数化的，注意力头可以被修剪而不会造成显著的性能损失。 论文提出：根据输入的不同，选择不同的header，提出了专注其中几个header的专家混合模型(MAE) »

ERNIE-GEN: 多流填充式噪声感知模型

1 摘要    ERNIE-GEN是采用多流序列的预训练和微调框架，通过生成机制和噪声感知生成方法来弥补训练和推理之间的差异。为了使代更接近人类的书写模式，该框架引入了一个跨越代流，训练模型连续预测语义完整跨度，而不是逐字预测。结果表明，ERNIE-GEN 在 »

语义相似度、句向量生成超强模型之SBERT

1 前言 随着2018年底Bert的面世，NLP进入了预训练模型的时代。各大预训练模型如GPT-2，Robert，XLNet，Transformer-XL，Albert，T5等等层数不穷。但是几乎大部分的这些模型均不适合语义相似度搜索，也不适合非监督任务，比如聚类。而解决聚类和语 »