跳到正文
Hugging Face Daily Papers·· 28 天前AI 评分31

FAPL:让 MLLM 潜变量真正驱动电影级视频生成

Making MLLM Latents Matter: Factor-Aware Predictive Learning for Cinematic Video Generation

AI 导读

研究者提出 Factor-Aware Predictive Learning(FAPL),通过冻结 MLLM 与连接器的潜变量生成器接地训练,让 Video DiT 真正利用 MLLM 潜变量,而非绕过原生条件通路。该方法结合因子跨度替换实现角色、场景、动作与相机的因子感知控制,并在稀疏输入到视频、因子感知编辑、多镜头生成三项电影级视频生成任务上均优于基线。

打开原文 arxiv.org