OpenAI等多家AI最新进展盘点
过去几天AI圈太疯狂了 来自OpenAI、Apple、Anthropic、OpenClaw、Kimi等的11项最惊人进展 1. SeeDance 2.0 热度持续攀升。人们仅用一天就能生成好莱坞级别的AI电影
过去几天AI圈太疯狂了 来自OpenAI、Apple、Anthropic、OpenClaw、Kimi等的11项最惊人进展 1. SeeDance 2.0 热度持续攀升。人们仅用一天就能生成好莱坞级别的AI电影
OpenAI 阐述 Sora 信息流的设计理念:通过个性化推荐激发创作、促进连接,并以家长控制和严格防护机制保障体验安全。
中国开源模型已近乎一致转向 MoE 架构,Kimi K2、MiniMax M2、Qwen3 均采用该路线,目标是在成本可控下实现可持续部署。开源活动从 2025 年 2 月起扩展至多模态与智能体,StepFun 的 Step-Audio-R1.1 语音模型性能超越闭源模型,腾讯开源 Hunyuan Video 与 Hunyuan 3D。
Higgsfield 借助 OpenAI 的 GPT-4.1、GPT-5 和 Sora 2,让创作者用简单输入即可产出电影感、适配社交平台的视频。
Overworld 发布实时交互式视频扩散模型 Waypoint-1,可通过文本、鼠标和键盘控制,权重已上线 Hugging Face Hub,包含 Waypoint-1-Small,Waypoint-1-Medium 即将推出。
推荐理由:实时交互式视频扩散模型开源,可评估其在消费级硬件上做可交互世界生成的实际表现。
Google DeepMind 更新 Veo 3.1 Ingredients to Video,让基于参考图生成的视频更具表现力,并首次支持原生 9:16 竖屏输出,面向 YouTube Shorts 等移动端短内容。
推荐理由:Veo 3.1 的 Ingredients to Video 更新带来原生竖屏与 1080p/4K 超分,创作者可据此评估短剧出片流程。
NVIDIA 发布开源推理视觉语言模型 Cosmos Reason 2,在 Physical AI Bench 与 Physical Reasoning 榜单上成为排名第一的开源视觉理解模型。
Google DeepMind 与 Google Research 回顾 2025 年 8 大研究突破,模型侧从 3 月 Gemini 2.5 走到 11 月 Gemini 3、12 月 Gemini 3 Flash,Gemini 3 Pro 登顶 LMArena 并在 MathArena Apex 取得 23.4% 新 SOTA。
OpenAI 借助 Codex 在 28 天内完成 Sora Android 版交付,AI 辅助的规划、翻译与并行编码工作流帮助一支精简团队实现了快速可靠的开发。
迪士尼与 OpenAI 达成协议,将把迪士尼、漫威、皮克斯和星球大战的 200 多个角色引入 Sora,用于粉丝创作的短视频。协议强调娱乐领域的负责任 AI,并包含迪士尼在全公司范围使用 ChatGPT Enterprise 和 OpenAI API。
推荐理由:迪士尼与 OpenAI 达成角色授权协议,可观察主流影视 IP 与视频生成平台在版权合作上的落地方式。
OpenAI 发布新一代视频与音频生成模型 Sora 2,并公开其系统卡。相比 Sora,新模型在物理准确性、真实感、同步音频、可控性和风格范围上有所提升,官方称这些能力此前的视频模型较难实现。
推荐理由:OpenAI 公布 Sora 2 的系统卡,列出物理准确性、同步音频等能力变化,可对照前代评估升级幅度。
OpenAI 发布视频生成模型 Sora 2,可生成与画面同步的对话和音效。该模型所属的 Sora 产品目前已不再可用。
OpenAI 发布 Sora 2 与 Sora 应用,称其为最先进的视频模型与新的社交创作平台,并针对由此带来的新型安全挑战,将安全作为构建基础,采取具体防护措施。
推荐理由:OpenAI 在发布 Sora 2 与 Sora 应用时同步说明其安全设计思路,可了解官方对视频模型安全挑战的应对框架。
Hugging Face 上开源了长视频理解基准 TimeScope,通过向 1 分钟至 8 小时的视频中插入 5-10 秒的"针"片段,评测模型的局部检索、信息综合与细粒度时序感知三项能力。结果显示,包括 Gemini 2.5-Pro 在内的领先视觉语言模型在真正的长视频时序理解上仍明显吃力,且视频越长性能下降越明显。
Invideo AI 借助 OpenAI 的 GPT-4.1、gpt-image-1 和文本转语音模型,把创意想法在几分钟内转化为专业视频,视频制作速度提升 10 倍。
语言技术实验室发布 Visual Salamandra,将 Salamandra 大模型能力扩展至图像和视频,基于 70 亿参数基础模型,集成 Google SigLIP-So400m 编码器与 2 层 MLP 投影器,采用四阶段训练和 late-fusion 架构。
Diffusers 团队实验性推出 Remote VAE,将扩散模型的 VAE 解码过程交给远程 Inference Endpoints 处理,以降低高分辨率图像和视频合成对消费级 GPU 的显存压力。
Hugging Face 发布 SmolVLM2 系列视频语言模型,含 2.2B、500M 和 256M 三种参数规模,其中 500M 与 256M 号称迄今最小的视频语言模型。
Hugging Face 发布一套开源视频数据集构建工具,采用三阶段流水线:用 yt-dlp 下载视频并切分为短片段,再用 LAION-5B-WatermarkDetection。
Hugging Face 博客推出 AI 艺术工具月报第一期,回顾 2024 年创意 AI 领域的关键发布。图像生成方面,扩散模型从 U-Net 架构转向 DiT 与流匹配,Flux.1 在多项基准上超越 Midjourney v6.0 和 DALL·E 3 (HD),SDXL 仍是个人化与可控生成的主流基座。
Hugging Face Diffusers 团队发布文章,梳理开源视频生成模型现状,并介绍 Diffusers 对这类模型的支持方式。文中列出 CogVideoX、Mochi-1、HunyuanVideo、Allegro、LTX-Video 等开源模型,指出高资源需求、泛化能力和延迟是主要限制。
推荐理由:Diffusers 团队系统梳理开源视频模型现状,并给出把 HunyuanVideo 显存压到约 6.5GB 的优化组合。
OpenAI 的视频生成模型 Sora 现已可在 sora.com 使用。用户可生成最高 1080p 分辨率、最长 20 秒的视频,支持宽屏、竖屏和方形画幅。用户可导入自有素材进行延展、重混与融合,也可完全由文本生成新内容。
推荐理由:Sora 正式开放使用,创作者可据此了解其分辨率、时长与画幅等基础生成规格。
跨学科艺术家 Minne Atairu 讲述 Sora 如何帮助她实现自己的创作构想。
电影创作双人组 Vallée Duhamel 讲述了 Sora 如何帮助他们构建新的世界。
电影制作人 Lyndon Barrois 讲述如何将 Sora 用作叙事工具。
OpenAI 公布视频生成模型 Sora 的系统卡。Sora 可接收文本、图像和视频输入并生成新视频,其设计借鉴了 DALL-E 与 GPT 模型的经验,旨在为叙事和创意表达提供更丰富的工具。
CinePile 2.0 发布,这是长视频问答数据集 CinePile 的升级版,采用新提出的对抗式精炼方法改进数据质量。初版 CinePile 于 2024 年 5 月推出,含约 30 万训练样本和 5000 测试样本,人类在该基准上比最好的商业视觉模型高 25%、比开源模型高 65%。团队同时开源了对抗式精炼方法的实现,可用于强化现有数据集。
为缓解开源视频数据集稀缺问题,团队构建了 FineVideo,包含 43k 个视频、共 3.4k 小时,并标注了丰富描述、叙事细节、场景切分和 QA 对。该数据集从 YouTube-Commons 的 1.9M 条英文视频出发,经词密度与视觉动态性过滤,并用 Gemini 1.5 Pro 和 GPT-4o 完成内容标注与结构化输出。
OpenAI 提出 Consistency Models,可在不依赖迭代采样的情况下实现图像、音频和视频生成。扩散模型虽推动了这些领域的发展,但其迭代采样过程导致生成速度缓慢。
OpenAI 上月发布 Sora 后,与艺术家合作探索其在创作流程中的应用。
OpenAI 探索在视频数据上大规模训练生成模型,将文本条件扩散模型联合训练于不同时长、分辨率和宽高比的视频与图像,并采用在视频和图像 latent code 的时空 patch 上运行的 transformer 架构。其最大模型 Sora 能生成一分钟高保真视频,结果表明扩展视频生成模型是构建通用物理世界模拟器的一条有前景的路径。
推荐理由:OpenAI 首次公开 Sora 的技术路线,说明视频生成模型可扩展为物理世界模拟器。
Hugging Face 的 Diffusers 库迎来一周年,已从文本生成图像扩展至视频、3D 与图像编辑。该库新增 DeepFloyd IF、SDXL、VideoFusion、Text2Video-Zero 及 OpenAI Shap-E 等模型支持,并集成 LoRA、Torch 2.0 优化与安全检测组件。
Hugging Face 发布 AI WebTV 实验演示,用开源文生视频模型 Zeroscope 与音乐生成模型 MusicGen 自动生成并串流播放短视频。
推荐理由:拆解了用 Zeroscope、MusicGen 与 FILM 搭建自动生成视频流的完整管线,并附失败案例与提示词建议。
Hugging Face 博客梳理了文本到视频模型的发展脉络:早期基于 GAN 和 VAE 的方法受限于低分辨率与短时长,随后 Phenaki、Make-A-Video、NUWA、VideoGPT、CogVideo 等转向 transformer 架构,当前主流则采用扩散模型。文本到视频需保证帧间时空一致性,面临算力成本高、高质量数据集稀缺、视频描述模糊三大挑战,模型通常只能生成极短片段。
OpenAI 对 GPT-3 进行微调,用于驱动并规模化"代客制作"的视频创作。原文未披露具体版本号、参数规模或可用性信息。
Hugging Face 与 Jonathan Whitaker 的扩散模型课程将于 11 月 28 日发布,免费讲解扩散模型理论与应用。配合课程上线,11 月 30 日将举办社区直播活动,Stable Diffusion 创作者及 Stability AI、Meta 等机构的研究者将带来演讲,聚焦扩散模型的高层介绍与构建应用的工具。