Hugging Face Blog·· 2023-05-08AI 评分30
深入解析文本到视频模型:从 GAN 到扩散模型的发展与挑战
A Dive into Text-to-Video Models
AI 导读
Hugging Face 博客梳理了文本到视频模型的发展脉络:早期基于 GAN 和 VAE 的方法受限于低分辨率与短时长,随后 Phenaki、Make-A-Video、NUWA、VideoGPT、CogVideo 等转向 transformer 架构,当前主流则采用扩散模型。文本到视频需保证帧间时空一致性,面临算力成本高、高质量数据集稀缺、视频描述模糊三大挑战,模型通常只能生成极短片段。
打开原文 huggingface.co