Google DeepMind 推出 Project Genie 交互世界原型
Google DeepMind 面向美国 Google AI Ultra 订阅用户(18 岁以上)开放 Project Genie,这是一个由 Genie 3、Nano Banana Pro 和 Gemini 驱动的实验性研究原型,可创建、探索和 remix 交互世界。
推荐理由:Google 把 Genie 3 世界模型做成可交互原型,创作者可据此判断实时生成世界在动画与影视预演中的可用边界。
Google DeepMind 面向美国 Google AI Ultra 订阅用户(18 岁以上)开放 Project Genie,这是一个由 Genie 3、Nano Banana Pro 和 Gemini 驱动的实验性研究原型,可创建、探索和 remix 交互世界。
推荐理由:Google 把 Genie 3 世界模型做成可交互原型,创作者可据此判断实时生成世界在动画与影视预演中的可用边界。
Overworld 发布实时交互式视频扩散模型 Waypoint-1,可通过文本、鼠标和键盘控制,权重已上线 Hugging Face Hub,包含 Waypoint-1-Small,Waypoint-1-Medium 即将推出。
推荐理由:实时交互式视频扩散模型开源,可评估其在消费级硬件上做可交互世界生成的实际表现。
Google DeepMind 推出 D4RT(Dynamic 4D Reconstruction and Tracking),一个统一 4D 场景重建与追踪的 AI 模型,采用编码器-解码器 Transformer 架构和查询机制,可同时完成点追踪、点云重建与相机位姿估计。
Google DeepMind 更新 Veo 3.1 Ingredients to Video,让基于参考图生成的视频更具表现力,并首次支持原生 9:16 竖屏输出,面向 YouTube Shorts 等移动端短内容。
推荐理由:Veo 3.1 的 Ingredients to Video 更新带来原生竖屏与 1080p/4K 超分,创作者可据此评估短剧出片流程。
NVIDIA 发布开源推理视觉语言模型 Cosmos Reason 2,在 Physical AI Bench 与 Physical Reasoning 榜单上成为排名第一的开源视觉理解模型。
OpenAI 推出 ChatGPT Images 与 GPT-Image-1.5,前者提供更快的图像生成体验,后者通过 API 开放使用。
Google 发布升级版 Gemini 2.5 Flash Native Audio,面向实时语音智能体,提升了复杂工作流处理、指令遵循和多轮对话能力,在 ComplexFuncBench Audio 上以 71.5% 领先,开发者指令遵循率从 84% 升至 90%。
推荐理由:Gemini 2.5 Flash Native Audio 更新了函数调用、指令遵循与多轮对话能力,并新增实时语音翻译,可据此评估语音智能体与翻译场景的可用性。
Hugging Face Diffusers 宣布支持 FLUX.2,提供 Flux2Pipeline 与 Flux2Transformer2DModel 的调用代码,示例使用 diffusers/FLUX.2-dev-bnb-4bit 仓库与 Mistral3 文本编码器,并启用 enable_model_cpu_offload。
推荐理由:Diffusers 接入 FLUX.2 并给出 4bit 量化加载示例,创作者可据此评估本地部署门槛。
Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),这是基于 Gemini 3 Pro 构建的高保真图像生成与编辑模型,已在 Google AI Studio 和 Vertex AI 以付费预览形式向开发者开放。
推荐理由:Gemini 3 Pro Image 面向开发者开放付费预览,支持 2K/4K 输出与多图合成,可用于评估现有出图流程。
Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),基于 Gemini 3 Pro 构建,主打更准确的图像内文字渲染、多语言生成与实时信息可视化。
推荐理由:基于 Gemini 3 Pro 的图像模型在文字渲染与多图一致性上给出新能力,可据此评估出图流程。
OpenAI 发布新一代视频与音频生成模型 Sora 2,并公开其系统卡。相比 Sora,新模型在物理准确性、真实感、同步音频、可控性和风格范围上有所提升,官方称这些能力此前的视频模型较难实现。
推荐理由:OpenAI 公布 Sora 2 的系统卡,列出物理准确性、同步音频等能力变化,可对照前代评估升级幅度。
OpenAI 发布视频生成模型 Sora 2,可生成与画面同步的对话和音效。该模型所属的 Sora 产品目前已不再可用。
OpenAI 发布 Sora 2 与 Sora 应用,称其为最先进的视频模型与新的社交创作平台,并针对由此带来的新型安全挑战,将安全作为构建基础,采取具体防护措施。
推荐理由:OpenAI 在发布 Sora 2 与 Sora 应用时同步说明其安全设计思路,可了解官方对视频模型安全挑战的应对框架。
OpenAI 宣布最新图像生成模型以 gpt-image-1 的形式在 API 中开放,开发者和企业可将专业级、可定制的视觉内容直接集成进自有工具和平台。
推荐理由:OpenAI 把最新图像生成模型以 gpt-image-1 接入 API,开发者可据此评估自有工具的图像生成集成。
语言技术实验室发布 Visual Salamandra,将 Salamandra 大模型能力扩展至图像和视频,基于 70 亿参数基础模型,集成 Google SigLIP-So400m 编码器与 2 层 MLP 投影器,采用四阶段训练和 late-fusion 架构。
OpenAI 发布 GPT-4o 的原生图像生成能力,官方称其在文字渲染和指令跟随方面更强,并指向 ChatGPT Images 2.5。
推荐理由:OpenAI 在 GPT-4o 中原生加入图像生成,文字渲染与指令跟随是这次更新的两个关键变化。
OpenAI 发布 GPT-4o 系统卡增补,介绍 4o 图像生成。该能力比此前的 DALL·E 3 系列模型更强,可生成写实画面,也能接收图像输入并进行变换。
推荐理由:OpenAI 在系统卡增补中说明 4o 图像生成相较 DALL·E 3 的能力变化,可据此了解其图像输入与写实输出定位。
OpenAI 在 API 中推出新一代音频模型,开发者首次可以指示文本转语音模型以特定方式说话,例如“像一位有同理心的客服人员那样说话”,为语音智能体带来新的定制能力。
Hugging Face 发布 SmolVLM2 系列视频语言模型,含 2.2B、500M 和 256M 三种参数规模,其中 500M 与 256M 号称迄今最小的视频语言模型。
OpenAI 的视频生成模型 Sora 现已可在 sora.com 使用。用户可生成最高 1080p 分辨率、最长 20 秒的视频,支持宽屏、竖屏和方形画幅。用户可导入自有素材进行延展、重混与融合,也可完全由文本生成新内容。
推荐理由:Sora 正式开放使用,创作者可据此了解其分辨率、时长与画幅等基础生成规格。
电影制作人 Lyndon Barrois 讲述如何将 Sora 用作叙事工具。
OpenAI 公布视频生成模型 Sora 的系统卡。Sora 可接收文本、图像和视频输入并生成新视频,其设计借鉴了 DALL-E 与 GPT 模型的经验,旨在为叙事和创意表达提供更丰富的工具。
Stability AI 发布 Stable Diffusion 3.5,包含 8B 的 Large 模型和 8B 的 timestep-distilled 模型,后者支持 4-8 步少步推理,模型已上线 Hugging Face Hub 并可在 Diffusers 中使用。
推荐理由:SD3.5 Large 与 timestep-distilled 版本同步上线 Diffusers,并给出量化推理与 LoRA 训练路径。
Stability AI 的 Stable Diffusion 3 Medium(2B 参数)已在 Hugging Face Hub 发布并接入 Diffusers,同时提供 Dreambooth 与 LoRA 训练脚本。
推荐理由:SD3 Medium 在 Diffusers 上线,附带显存优化与 LoRA 微调脚本,可据此评估本地出图成本。
OpenAI 发布新旗舰模型 GPT-4o,可跨音频、视觉和文本进行实时推理。
OpenAI 分享了自定义语音模型 Voice Engine 小规模预览的经验教训。该模型可根据文本创建定制声音,目前仅处于小范围测试阶段。
OpenAI 上月发布 Sora 后,与艺术家合作探索其在创作流程中的应用。
OpenAI 探索在视频数据上大规模训练生成模型,将文本条件扩散模型联合训练于不同时长、分辨率和宽高比的视频与图像,并采用在视频和图像 latent code 的时空 patch 上运行的 transformer 架构。其最大模型 Sora 能生成一分钟高保真视频,结果表明扩展视频生成模型是构建通用物理世界模拟器的一条有前景的路径。
推荐理由:OpenAI 首次公开 Sora 的技术路线,说明视频生成模型可扩展为物理世界模拟器。
Hugging Face 发布 aMUSEd,一个约 800M 参数的非扩散文本到图像模型,是 Google MUSE 的开源复现,采用掩码图像建模(MIM)方法,推理步数更少且可解释性更强。
OpenAI 宣布 DALL·E 3 现已在 ChatGPT Plus 和 Enterprise 中可用。为准备更大范围发布,OpenAI 开发了一套安全缓解措施,并同步分享了其在内容溯源研究方面的进展。
推荐理由:DALL·E 3 面向 ChatGPT Plus 与 Enterprise 开放,官方同时说明为扩大发布所做的安全缓解措施。
Hugging Face 发布 Würstchen 图像生成扩散模型,其文本条件部分在高度压缩的潜空间中工作,通过 Stage A 的 VQGAN 与 Stage B 的 Diffusion Autoencoder 实现 42x 空间压缩,Stage C 作为 Prior 在该潜空间中训练。
推荐理由:Würstchen 用 42x 空间压缩把训练成本降到 SD1.4 的约六分之一,可据此评估低显存出图方案。
中国科学技术大学与微软提出 VQ-Diffusion,一种在量化潜在空间上进行加噪与去噪的条件扩散模型,其潜在空间由离散向量集合构成。
rinna 基于 Stable Diffusion 微调出日语专用文生图模型 Japanese Stable Diffusion,可理解日语固有词、拟声词与专有名词,生成日式风格图像。
OpenAI 宣布 DALL·E 取消等待名单,新用户可直接开始创作。官方表示,部署中积累的经验以及安全系统的改进,使更广泛的开放成为可能。
OpenAI 为 DALL·E 推出 outpainting 功能,可将图像扩展到任意尺寸,讲述更大的故事。该功能让用户在原有画面之外继续生成内容,延伸创作空间。
OpenAI 宣布 DALL·E 进入 Beta,将在未来几周从候补名单中邀请 100 万人使用。用户可用每月重置的免费额度生成图像,也可按 115 次生成 15 美元的价格购买额外额度。
推荐理由:DALL·E 从候补名单走向百万级开放,并给出免费额度与付费增量,可据此判断早期图像生成工具的可用门槛。
OpenAI 为 DALL·E 2 部署了一项新技术,使其生成的人物图像能更准确地反映世界人口的多样性,以减少偏见并提升安全性。
OpenAI 的 DALL·E 2 研究预览已吸引来自 118 个以上国家的 3000 多名艺术家将其纳入创作流程。早期访问组的艺术家帮助发现了 DALL·E 的新用法,并在功能决策中提供了关键意见。
OpenAI 为向大众开放 DALL·E 2,在预训练阶段采取缓解措施以降低强大图像生成模型带来的风险。为此,团队设置了多种防护机制,防止生成图像违反其内容政策。
OpenAI 更新 DALL·E 2 研究预览进展,早期用户迄今已生成超过 300 万张图像,并帮助改进了安全流程。OpenAI 表示将开始每周从等待名单中新增最多 1000 名用户。
推荐理由:DALL·E 2 研究预览阶段的用户规模与安全流程进展,可了解其早期开放节奏。