跳到正文
Hugging Face Daily Papers·· 7 天前AI 评分35

UniSpark:探索多模态理解与生成的混合注意力

UniSpark: Exploring Hybrid Attention for Multimodal Understanding and Generation

AI 导读

UniSpark-9B提出,这是一个约9B参数的多模态模型,结合全注意力与GatedDeltaNet线性注意力,支持视觉问答、文生图、指令编辑和交错图文预测。在MME-S上得2470.3分,GenEval上得0.83分。训练数据含159.7M生成样本、213.4M理解样本和624.8K交错序列。

打开原文 arxiv.org