OpenAI News·2019-04-23 15:00· 2019-04-23AI 评分6OpenAI 提出 Sparse Transformer:用稀疏注意力建模超长序列Generative modeling with sparse transformersAI 导读OpenAI 开发出 Sparse Transformer,一种在预测文本、图像或声音序列下一项任务上刷新纪录的深度神经网络。它通过改进注意力机制的算法,可从比以往长 30 倍的序列中提取模式。打开原文 openai.comOpenAI / Sora#论文/研究#OpenAI