微软提出 Code Video Model:用可执行代码控制视频生成
微软团队提出 Code Video Model,由 Coding Agent 将 Prompt 转化为 Three.js 程序,把几何布局、物体运动、相机轨迹和事件时序统一为可执行场景表示,程序渲染的预演视频为视频模型提供时空参考。
微软团队提出 Code Video Model,由 Coding Agent 将 Prompt 转化为 Three.js 程序,把几何布局、物体运动、相机轨迹和事件时序统一为可执行场景表示,程序渲染的预演视频为视频模型提供时空参考。
阿里巴巴开源 SparkDiffusion,一个面向 DiT 视频生成模型的加速框架,结合稀疏低秩注意力 RoLa、少步蒸馏 CrossDistill 与自研高性能算子,相比稠密多步基线实现 200 倍以上端到端推理加速。
OpenAI 探索在视频数据上大规模训练生成模型,将文本条件扩散模型联合训练于不同时长、分辨率和宽高比的视频与图像,并采用在视频和图像 latent code 的时空 patch 上运行的 transformer 架构。其最大模型 Sora 能生成一分钟高保真视频,结果表明扩展视频生成模型是构建通用物理世界模拟器的一条有前景的路径。
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作为 Stable Diffusion XL 提供 T2I-Adapter 支持,并发布 sketch、canny、lineart、depth、openpose 等条件的 checkpoint。
苹果与 Hugging Face 将 Stable Diffusion XL 基础模型移植到 Core ML,可在运行 macOS 14 公测版的 Apple Silicon Mac 上使用,目前采用 ORIGINAL attention 实现,refiner 阶段尚未移植。