Image GPT 解析
Blog：https://openai.com/blog/image-gpt/ Paper：https://cdn.openai.com/papers/GenerativePretrainingfromPixelsV2.pdf 前言 此篇文章是OpenAI GPT方案用于图像领域 »
用于视觉跟踪的时空变换器学习
Learning Spatio-Temporal Transformer for Visual Tracking 论文地址：https://arxiv.org/abs/2103.17154 1、参考初衷 近来由于Transformer在NLP领域实现的强大功能和持续进展，在CV »
Segment-Aware Transformer
1、摘要 Transformer对于序列建模是非常强大的。几乎所有最先进的语言模型和预先训练的语言模型都基于 Transformer 体系结构。然而，它仅仅使用标记位置索引区分顺序标记。论文中作者提出一个假设：更好的上下文表示是不是可以从Transform »
ERNIE-DOC: 超长文本Transformer
1、摘要 Transformer不适合处理长文件输入，因为，随着文本长度的增加，消耗的内存和时间是N2的指数级增加。也有很多学者，通过截断一个长文档或应用稀疏注意机制，在一定程度上可以解决上下文碎片问题，但起到的作用有限。在这篇文章中，作者提出了一个预训练 »
Jukebox 音乐生成模型解读
Jukebox Jukebox是OpenAI发布的一个自动点唱机，这是一种生成音乐的神经网络，它能生成包括基本唱法在内的、包含各种流派和艺术家风格的原始音频音乐。 Paper Blog Code 本作品不仅能完成乐曲生成，还能完成完成歌声合成的任务，并且可以指定生成条件（流派、歌 »