OpenAI 发布 Sora 2 视频与音频生成模型系统卡
OpenAI 发布新一代视频与音频生成模型 Sora 2,并公开其系统卡。相比 Sora,新模型在物理准确性、真实感、同步音频、可控性和风格范围上有所提升,官方称这些能力此前的视频模型较难实现。
推荐理由:OpenAI 公布 Sora 2 的系统卡,列出物理准确性、同步音频等能力变化,可对照前代评估升级幅度。
OpenAI 发布新一代视频与音频生成模型 Sora 2,并公开其系统卡。相比 Sora,新模型在物理准确性、真实感、同步音频、可控性和风格范围上有所提升,官方称这些能力此前的视频模型较难实现。
推荐理由:OpenAI 公布 Sora 2 的系统卡,列出物理准确性、同步音频等能力变化,可对照前代评估升级幅度。
OpenAI 发布视频生成模型 Sora 2,可生成与画面同步的对话和音效。该模型所属的 Sora 产品目前已不再可用。
OpenAI 发布 Sora 2 与 Sora 应用,称其为最先进的视频模型与新的社交创作平台,并针对由此带来的新型安全挑战,将安全作为构建基础,采取具体防护措施。
推荐理由:OpenAI 在发布 Sora 2 与 Sora 应用时同步说明其安全设计思路,可了解官方对视频模型安全挑战的应对框架。
OpenAI 宣布最新图像生成模型以 gpt-image-1 的形式在 API 中开放,开发者和企业可将专业级、可定制的视觉内容直接集成进自有工具和平台。
推荐理由:OpenAI 把最新图像生成模型以 gpt-image-1 接入 API,开发者可据此评估自有工具的图像生成集成。
语言技术实验室发布 Visual Salamandra,将 Salamandra 大模型能力扩展至图像和视频,基于 70 亿参数基础模型,集成 Google SigLIP-So400m 编码器与 2 层 MLP 投影器,采用四阶段训练和 late-fusion 架构。
OpenAI 发布 GPT-4o 的原生图像生成能力,官方称其在文字渲染和指令跟随方面更强,并指向 ChatGPT Images 2.5。
推荐理由:OpenAI 在 GPT-4o 中原生加入图像生成,文字渲染与指令跟随是这次更新的两个关键变化。
OpenAI 发布 GPT-4o 系统卡增补,介绍 4o 图像生成。该能力比此前的 DALL·E 3 系列模型更强,可生成写实画面,也能接收图像输入并进行变换。
推荐理由:OpenAI 在系统卡增补中说明 4o 图像生成相较 DALL·E 3 的能力变化,可据此了解其图像输入与写实输出定位。
OpenAI 在 API 中推出新一代音频模型,开发者首次可以指示文本转语音模型以特定方式说话,例如“像一位有同理心的客服人员那样说话”,为语音智能体带来新的定制能力。
Hugging Face 发布 SmolVLM2 系列视频语言模型,含 2.2B、500M 和 256M 三种参数规模,其中 500M 与 256M 号称迄今最小的视频语言模型。
OpenAI 的视频生成模型 Sora 现已可在 sora.com 使用。用户可生成最高 1080p 分辨率、最长 20 秒的视频,支持宽屏、竖屏和方形画幅。用户可导入自有素材进行延展、重混与融合,也可完全由文本生成新内容。
推荐理由:Sora 正式开放使用,创作者可据此了解其分辨率、时长与画幅等基础生成规格。
电影制作人 Lyndon Barrois 讲述如何将 Sora 用作叙事工具。
OpenAI 公布视频生成模型 Sora 的系统卡。Sora 可接收文本、图像和视频输入并生成新视频,其设计借鉴了 DALL-E 与 GPT 模型的经验,旨在为叙事和创意表达提供更丰富的工具。
Stability AI 发布 Stable Diffusion 3.5,包含 8B 的 Large 模型和 8B 的 timestep-distilled 模型,后者支持 4-8 步少步推理,模型已上线 Hugging Face Hub 并可在 Diffusers 中使用。
推荐理由:SD3.5 Large 与 timestep-distilled 版本同步上线 Diffusers,并给出量化推理与 LoRA 训练路径。
Stability AI 的 Stable Diffusion 3 Medium(2B 参数)已在 Hugging Face Hub 发布并接入 Diffusers,同时提供 Dreambooth 与 LoRA 训练脚本。
推荐理由:SD3 Medium 在 Diffusers 上线,附带显存优化与 LoRA 微调脚本,可据此评估本地出图成本。
OpenAI 发布新旗舰模型 GPT-4o,可跨音频、视觉和文本进行实时推理。
OpenAI 分享了自定义语音模型 Voice Engine 小规模预览的经验教训。该模型可根据文本创建定制声音,目前仅处于小范围测试阶段。
OpenAI 上月发布 Sora 后,与艺术家合作探索其在创作流程中的应用。
Segmind 发布 SegMoE 框架,可从零创建混合专家(MoE)扩散模型,并已集成进 Hugging Face diffusers。此次发布包括 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型版本,以及用于自建 MoE 模型的 segmoe 代码包,模型采用 Apache 2.0 许可。
推荐理由:发布方给出从零构建 MoE 扩散模型的代码与三个合并版本,创作者可据此把多个预训练模型组合成新模型。
Hugging Face 发布 aMUSEd,一个约 800M 参数的非扩散文本到图像模型,是 Google MUSE 的开源复现,采用掩码图像建模(MIM)方法,推理步数更少且可解释性更强。
OpenAI 在 DevDay 上发布 GPT-4 Turbo,支持 128K 上下文且价格更低,并新增视觉能力。同时推出 Assistants API、DALL·E 3 API 等开发者产品。
OpenAI 宣布 DALL·E 3 现已在 ChatGPT Plus 和 Enterprise 中可用。为准备更大范围发布,OpenAI 开发了一套安全缓解措施,并同步分享了其在内容溯源研究方面的进展。
推荐理由:DALL·E 3 面向 ChatGPT Plus 与 Enterprise 开放,官方同时说明为扩大发布所做的安全缓解措施。
Hugging Face 发布 Würstchen 图像生成扩散模型,其文本条件部分在高度压缩的潜空间中工作,通过 Stage A 的 VQGAN 与 Stage B 的 Diffusion Autoencoder 实现 42x 空间压缩,Stage C 作为 Prior 在该潜空间中训练。
推荐理由:Würstchen 用 42x 空间压缩把训练成本降到 SD1.4 的约六分之一,可据此评估低显存出图方案。
Segmind 开源了压缩模型 SD-Small 和 SD-Tiny 的权重与知识蒸馏训练代码,两者参数量分别比基础模型减少 35% 和 55%,推理速度最高提升 100%,图像保真度与基础模型相当。
中国科学技术大学与微软提出 VQ-Diffusion,一种在量化潜在空间上进行加噪与去噪的条件扩散模型,其潜在空间由离散向量集合构成。
rinna 基于 Stable Diffusion 微调出日语专用文生图模型 Japanese Stable Diffusion,可理解日语固有词、拟声词与专有名词,生成日式风格图像。
OpenAI 宣布 DALL·E 取消等待名单,新用户可直接开始创作。官方表示,部署中积累的经验以及安全系统的改进,使更广泛的开放成为可能。
OpenAI 宣布训练并开源语音识别神经网络 Whisper,称其在英文语音识别上的鲁棒性和准确率接近人类水平。
推荐理由:OpenAI 开源语音识别模型 Whisper,其英文识别鲁棒性与准确率接近人类水平。
OpenAI 为 DALL·E 推出 outpainting 功能,可将图像扩展到任意尺寸,讲述更大的故事。该功能让用户在原有画面之外继续生成内容,延伸创作空间。
OpenAI 的 DALL·E 2 研究预览已吸引来自 118 个以上国家的 3000 多名艺术家将其纳入创作流程。早期访问组的艺术家帮助发现了 DALL·E 的新用法,并在功能决策中提供了关键意见。
OpenAI 为向大众开放 DALL·E 2,在预训练阶段采取缓解措施以降低强大图像生成模型带来的风险。为此,团队设置了多种防护机制,防止生成图像违反其内容政策。
OpenAI 训练出名为 DALL·E 的神经网络,可根据自然语言文本描述生成图像,覆盖广泛概念。
OpenAI 推出神经网络 Jukebox,能以原始音频形式生成多种流派与艺术家风格的歌曲,并包含初步的演唱。团队同步开源了模型权重与代码,还提供一个用于试听生成样本的工具。
OpenAI 推出深度神经网络 MuseNet,能生成 4 分钟、含 10 种乐器的音乐作品,并可融合从乡村到莫扎特再到披头士的多种风格。MuseNet 并未被显式编程音乐规则,而是通过学习预测数十万份 MIDI 文件中的下一个 token,自行发现和声、节奏与风格规律。它采用与 GPT-2 相同的通用无监督技术,即大规模 transformer 模型。
OpenAI 提出可逆生成模型 Glow,采用可逆 1x1 卷积,简化了此前可逆生成模型的架构。该模型能生成逼真的高分辨率图像,支持高效采样,并可发现用于操控数据属性的特征。OpenAI 同步开源模型代码并提供在线可视化工具。