Overworld 发布 Waypoint-1.5 实时视频世界模型
Overworld 发布实时视频世界模型 Waypoint-1.5,在 RTX 3090 至 5090 等桌面硬件上可生成最高 720p、60 FPS 的实时环境,并新增面向更广消费级硬件的 360p 档,后续将支持 Apple Silicon Mac。
推荐理由:Waypoint-1.5 把实时世界模型压到消费级显卡,720p 与 360p 双档让创作者可评估本地交互式生成的可行性。
内容形态
视频/图像/音频生成模型的发布、开源与迭代:旗舰更新、开放 API、性能与价格变化的第一时间记录。
123 条精选近 30 天 45 条共收录 367 条
Overworld 发布实时视频世界模型 Waypoint-1.5,在 RTX 3090 至 5090 等桌面硬件上可生成最高 720p、60 FPS 的实时环境,并新增面向更广消费级硬件的 360p 档,后续将支持 Apple Silicon Mac。
推荐理由:Waypoint-1.5 把实时世界模型压到消费级显卡,720p 与 360p 双档让创作者可评估本地交互式生成的可行性。
Google 发布 Gemini 3.1 Flash Live,称其为目前质量最高的音频与语音模型,具备更高精度和更低延迟。
推荐理由:Gemini 3.1 Flash Live 在语音交互的延迟、长程推理与多语言上给出可对比的基准数据,开发者可据此评估语音智能体的落地。
Google DeepMind 发布 Lyria 3 Pro,可生成最长 3 分钟的曲目,并能按前奏、主歌、副歌、桥段等结构元素进行提示。该版本已上线 Vertex AI 公共预览、Google AI Studio 与 Gemini API,并接入 Google Vids、Gemini 应用和 ProducerAI;Lyria 3 与 Lyria 3 Pro 的输出均嵌入 SynthID 水印。
推荐理由:Lyria 3 Pro 把单曲时长拉到 3 分钟并支持段落级提示,创作者可据此判断能否用于成片配乐。
Google DeepMind 发布最新图像生成模型 Nano Banana 2(Gemini 3.1 Flash Image),将 Nano Banana Pro 的先进世界知识、质量与推理能力带到 Flash 速度。
推荐理由:Nano Banana 2 把 Pro 级世界知识与文字渲染下放到 Flash 速度,并给出多平台上线与定价入口,可据此评估图像工作流是否切换。
Google DeepMind 在 Gemini 应用内以 beta 形式上线最新音乐生成模型 Lyria 3,用户用文本或图片即可生成 30 秒歌曲,歌词由模型自动生成,并可控制风格、人声与节奏。
推荐理由:Lyria 3 在 Gemini 应用内开放文本与图片生成 30 秒歌曲,并加入音频 SynthID 验证,可观察音乐生成的产品化路径。
Overworld 发布实时交互式视频扩散模型 Waypoint-1,可通过文本、鼠标和键盘控制,权重已上线 Hugging Face Hub,包含 Waypoint-1-Small,Waypoint-1-Medium 即将推出。
推荐理由:实时交互式视频扩散模型开源,可评估其在消费级硬件上做可交互世界生成的实际表现。
Google DeepMind 更新 Veo 3.1 Ingredients to Video,让基于参考图生成的视频更具表现力,并首次支持原生 9:16 竖屏输出,面向 YouTube Shorts 等移动端短内容。
推荐理由:Veo 3.1 的 Ingredients to Video 更新带来原生竖屏与 1080p/4K 超分,创作者可据此评估短剧出片流程。
Google 发布升级版 Gemini 2.5 Flash Native Audio,面向实时语音智能体,提升了复杂工作流处理、指令遵循和多轮对话能力,在 ComplexFuncBench Audio 上以 71.5% 领先,开发者指令遵循率从 84% 升至 90%。
推荐理由:Gemini 2.5 Flash Native Audio 更新了函数调用、指令遵循与多轮对话能力,并新增实时语音翻译,可据此评估语音智能体与翻译场景的可用性。
Hugging Face Diffusers 宣布支持 FLUX.2,提供 Flux2Pipeline 与 Flux2Transformer2DModel 的调用代码,示例使用 diffusers/FLUX.2-dev-bnb-4bit 仓库与 Mistral3 文本编码器,并启用 enable_model_cpu_offload。
推荐理由:Diffusers 接入 FLUX.2 并给出 4bit 量化加载示例,创作者可据此评估本地部署门槛。
Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),这是基于 Gemini 3 Pro 构建的高保真图像生成与编辑模型,已在 Google AI Studio 和 Vertex AI 以付费预览形式向开发者开放。
推荐理由:Gemini 3 Pro Image 面向开发者开放付费预览,支持 2K/4K 输出与多图合成,可用于评估现有出图流程。
Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),基于 Gemini 3 Pro 构建,主打更准确的图像内文字渲染、多语言生成与实时信息可视化。
推荐理由:基于 Gemini 3 Pro 的图像模型在文字渲染与多图一致性上给出新能力,可据此评估出图流程。
OpenAI 发布新一代视频与音频生成模型 Sora 2,并公开其系统卡。相比 Sora,新模型在物理准确性、真实感、同步音频、可控性和风格范围上有所提升,官方称这些能力此前的视频模型较难实现。
推荐理由:OpenAI 公布 Sora 2 的系统卡,列出物理准确性、同步音频等能力变化,可对照前代评估升级幅度。
OpenAI 发布 Sora 2 与 Sora 应用,称其为最先进的视频模型与新的社交创作平台,并针对由此带来的新型安全挑战,将安全作为构建基础,采取具体防护措施。
推荐理由:OpenAI 在发布 Sora 2 与 Sora 应用时同步说明其安全设计思路,可了解官方对视频模型安全挑战的应对框架。
OpenAI 宣布最新图像生成模型以 gpt-image-1 的形式在 API 中开放,开发者和企业可将专业级、可定制的视觉内容直接集成进自有工具和平台。
推荐理由:OpenAI 把最新图像生成模型以 gpt-image-1 接入 API,开发者可据此评估自有工具的图像生成集成。
OpenAI 发布 GPT-4o 的原生图像生成能力,官方称其在文字渲染和指令跟随方面更强,并指向 ChatGPT Images 2.5。
推荐理由:OpenAI 在 GPT-4o 中原生加入图像生成,文字渲染与指令跟随是这次更新的两个关键变化。
OpenAI 发布 GPT-4o 系统卡增补,介绍 4o 图像生成。该能力比此前的 DALL·E 3 系列模型更强,可生成写实画面,也能接收图像输入并进行变换。
推荐理由:OpenAI 在系统卡增补中说明 4o 图像生成相较 DALL·E 3 的能力变化,可据此了解其图像输入与写实输出定位。
OpenAI 的视频生成模型 Sora 现已可在 sora.com 使用。用户可生成最高 1080p 分辨率、最长 20 秒的视频,支持宽屏、竖屏和方形画幅。用户可导入自有素材进行延展、重混与融合,也可完全由文本生成新内容。
推荐理由:Sora 正式开放使用,创作者可据此了解其分辨率、时长与画幅等基础生成规格。
Stability AI 发布 Stable Diffusion 3.5,包含 8B 的 Large 模型和 8B 的 timestep-distilled 模型,后者支持 4-8 步少步推理,模型已上线 Hugging Face Hub 并可在 Diffusers 中使用。
推荐理由:SD3.5 Large 与 timestep-distilled 版本同步上线 Diffusers,并给出量化推理与 LoRA 训练路径。
Stability AI 的 Stable Diffusion 3 Medium(2B 参数)已在 Hugging Face Hub 发布并接入 Diffusers,同时提供 Dreambooth 与 LoRA 训练脚本。
推荐理由:SD3 Medium 在 Diffusers 上线,附带显存优化与 LoRA 微调脚本,可据此评估本地出图成本。
Segmind 发布 SegMoE 框架,可从零创建混合专家(MoE)扩散模型,并已集成进 Hugging Face diffusers。此次发布包括 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型版本,以及用于自建 MoE 模型的 segmoe 代码包,模型采用 Apache 2.0 许可。
推荐理由:发布方给出从零构建 MoE 扩散模型的代码与三个合并版本,创作者可据此把多个预训练模型组合成新模型。