Sora 2 发布:支持同步对话与音效的视频生成模型
OpenAI 发布视频生成模型 Sora 2,可生成与画面同步的对话和音效。该模型所属的 Sora 产品目前已不再可用。
OpenAI 发布视频生成模型 Sora 2,可生成与画面同步的对话和音效。该模型所属的 Sora 产品目前已不再可用。
OpenAI 发布 Sora 2 与 Sora 应用,称其为最先进的视频模型与新的社交创作平台,并针对由此带来的新型安全挑战,将安全作为构建基础,采取具体防护措施。
推荐理由:OpenAI 在发布 Sora 2 与 Sora 应用时同步说明其安全设计思路,可了解官方对视频模型安全挑战的应对框架。
Hugging Face 上开源了长视频理解基准 TimeScope,通过向 1 分钟至 8 小时的视频中插入 5-10 秒的"针"片段,评测模型的局部检索、信息综合与细粒度时序感知三项能力。结果显示,包括 Gemini 2.5-Pro 在内的领先视觉语言模型在真正的长视频时序理解上仍明显吃力,且视频越长性能下降越明显。
Invideo AI 借助 OpenAI 的 GPT-4.1、gpt-image-1 和文本转语音模型,把创意想法在几分钟内转化为专业视频,视频制作速度提升 10 倍。
语言技术实验室发布 Visual Salamandra,将 Salamandra 大模型能力扩展至图像和视频,基于 70 亿参数基础模型,集成 Google SigLIP-So400m 编码器与 2 层 MLP 投影器,采用四阶段训练和 late-fusion 架构。
Diffusers 团队实验性推出 Remote VAE,将扩散模型的 VAE 解码过程交给远程 Inference Endpoints 处理,以降低高分辨率图像和视频合成对消费级 GPU 的显存压力。
Hugging Face 发布 SmolVLM2 系列视频语言模型,含 2.2B、500M 和 256M 三种参数规模,其中 500M 与 256M 号称迄今最小的视频语言模型。
Hugging Face 发布一套开源视频数据集构建工具,采用三阶段流水线:用 yt-dlp 下载视频并切分为短片段,再用 LAION-5B-WatermarkDetection。
Hugging Face 博客推出 AI 艺术工具月报第一期,回顾 2024 年创意 AI 领域的关键发布。图像生成方面,扩散模型从 U-Net 架构转向 DiT 与流匹配,Flux.1 在多项基准上超越 Midjourney v6.0 和 DALL·E 3 (HD),SDXL 仍是个人化与可控生成的主流基座。
Hugging Face Diffusers 团队发布文章,梳理开源视频生成模型现状,并介绍 Diffusers 对这类模型的支持方式。文中列出 CogVideoX、Mochi-1、HunyuanVideo、Allegro、LTX-Video 等开源模型,指出高资源需求、泛化能力和延迟是主要限制。
推荐理由:Diffusers 团队系统梳理开源视频模型现状,并给出把 HunyuanVideo 显存压到约 6.5GB 的优化组合。
OpenAI 的视频生成模型 Sora 现已可在 sora.com 使用。用户可生成最高 1080p 分辨率、最长 20 秒的视频,支持宽屏、竖屏和方形画幅。用户可导入自有素材进行延展、重混与融合,也可完全由文本生成新内容。
推荐理由:Sora 正式开放使用,创作者可据此了解其分辨率、时长与画幅等基础生成规格。
跨学科艺术家 Minne Atairu 讲述 Sora 如何帮助她实现自己的创作构想。
电影创作双人组 Vallée Duhamel 讲述了 Sora 如何帮助他们构建新的世界。
电影制作人 Lyndon Barrois 讲述如何将 Sora 用作叙事工具。
OpenAI 公布视频生成模型 Sora 的系统卡。Sora 可接收文本、图像和视频输入并生成新视频,其设计借鉴了 DALL-E 与 GPT 模型的经验,旨在为叙事和创意表达提供更丰富的工具。
CinePile 2.0 发布,这是长视频问答数据集 CinePile 的升级版,采用新提出的对抗式精炼方法改进数据质量。初版 CinePile 于 2024 年 5 月推出,含约 30 万训练样本和 5000 测试样本,人类在该基准上比最好的商业视觉模型高 25%、比开源模型高 65%。团队同时开源了对抗式精炼方法的实现,可用于强化现有数据集。
为缓解开源视频数据集稀缺问题,团队构建了 FineVideo,包含 43k 个视频、共 3.4k 小时,并标注了丰富描述、叙事细节、场景切分和 QA 对。该数据集从 YouTube-Commons 的 1.9M 条英文视频出发,经词密度与视觉动态性过滤,并用 Gemini 1.5 Pro 和 GPT-4o 完成内容标注与结构化输出。
OpenAI 提出 Consistency Models,可在不依赖迭代采样的情况下实现图像、音频和视频生成。扩散模型虽推动了这些领域的发展,但其迭代采样过程导致生成速度缓慢。
OpenAI 上月发布 Sora 后,与艺术家合作探索其在创作流程中的应用。
OpenAI 探索在视频数据上大规模训练生成模型,将文本条件扩散模型联合训练于不同时长、分辨率和宽高比的视频与图像,并采用在视频和图像 latent code 的时空 patch 上运行的 transformer 架构。其最大模型 Sora 能生成一分钟高保真视频,结果表明扩展视频生成模型是构建通用物理世界模拟器的一条有前景的路径。
推荐理由:OpenAI 首次公开 Sora 的技术路线,说明视频生成模型可扩展为物理世界模拟器。
Hugging Face 的 Diffusers 库迎来一周年,已从文本生成图像扩展至视频、3D 与图像编辑。该库新增 DeepFloyd IF、SDXL、VideoFusion、Text2Video-Zero 及 OpenAI Shap-E 等模型支持,并集成 LoRA、Torch 2.0 优化与安全检测组件。
Hugging Face 发布 AI WebTV 实验演示,用开源文生视频模型 Zeroscope 与音乐生成模型 MusicGen 自动生成并串流播放短视频。
推荐理由:拆解了用 Zeroscope、MusicGen 与 FILM 搭建自动生成视频流的完整管线,并附失败案例与提示词建议。
Hugging Face 博客梳理了文本到视频模型的发展脉络:早期基于 GAN 和 VAE 的方法受限于低分辨率与短时长,随后 Phenaki、Make-A-Video、NUWA、VideoGPT、CogVideo 等转向 transformer 架构,当前主流则采用扩散模型。文本到视频需保证帧间时空一致性,面临算力成本高、高质量数据集稀缺、视频描述模糊三大挑战,模型通常只能生成极短片段。
OpenAI 对 GPT-3 进行微调,用于驱动并规模化"代客制作"的视频创作。原文未披露具体版本号、参数规模或可用性信息。
Hugging Face 与 Jonathan Whitaker 的扩散模型课程将于 11 月 28 日发布,免费讲解扩散模型理论与应用。配合课程上线,11 月 30 日将举办社区直播活动,Stable Diffusion 创作者及 Stability AI、Meta 等机构的研究者将带来演讲,聚焦扩散模型的高层介绍与构建应用的工具。