跳到正文
OpenAI News·· 2019-04-23AI 评分6

OpenAI 提出 Sparse Transformer:用稀疏注意力建模超长序列

Generative modeling with sparse transformers

AI 导读

OpenAI 开发出 Sparse Transformer,一种在预测文本、图像或声音序列下一项任务上刷新纪录的深度神经网络。它通过改进注意力机制的算法,可从比以往长 30 倍的序列中提取模式。

打开原文 openai.com