Hugging Face Daily Papers·· 28 天前AI 评分31
FAPL:让 MLLM 潜变量真正驱动电影级视频生成
Making MLLM Latents Matter: Factor-Aware Predictive Learning for Cinematic Video Generation
AI 导读
研究者提出 Factor-Aware Predictive Learning(FAPL),通过冻结 MLLM 与连接器的潜变量生成器接地训练,让 Video DiT 真正利用 MLLM 潜变量,而非绕过原生条件通路。该方法结合因子跨度替换实现角色、场景、动作与相机的因子感知控制,并在稀疏输入到视频、因子感知编辑、多镜头生成三项电影级视频生成任务上均优于基线。
打开原文 arxiv.org