动画师 Lyndon Barrois 用 Sora 创造新世界
电影制作人 Lyndon Barrois 讲述如何将 Sora 用作叙事工具。
电影制作人 Lyndon Barrois 讲述如何将 Sora 用作叙事工具。
OpenAI 公布视频生成模型 Sora 的系统卡。Sora 可接收文本、图像和视频输入并生成新视频,其设计借鉴了 DALL-E 与 GPT 模型的经验,旨在为叙事和创意表达提供更丰富的工具。
OpenAI 对连续时间一致性模型做了简化、稳定化和规模化改进,仅用两步采样即可达到与主流扩散模型相当的样本质量。
OpenAI 提出 Consistency Models,可在不依赖迭代采样的情况下实现图像、音频和视频生成。扩散模型虽推动了这些领域的发展,但其迭代采样过程导致生成速度缓慢。
OpenAI 发文详解其文本转语音模型 Voice Engine 的技术原理与安全研究。Voice Engine 可根据文本生成语音,官方同时介绍了围绕该模型开展的安全研究工作。
Artificial Analysis 推出文生图排行榜与 Image Arena,基于超 45,000 次人类图像偏好投票计算 ELO 分数,覆盖 Midjourney、DALL·E、Stable Diffusion、Playground 等主流开源与闭源模型。
Canva 是一个月活超 1.75 亿的视觉传播平台,用于制作演示文稿、视频、文档、网站和社交媒体图形等。面对全球大多数知识工作者缺乏设计训练的问题,Canva 通过易用界面、庞大素材库和节省时间的工具,让任何人都能创作出视觉上吸引人的内容。
OpenAI 发布新旗舰模型 GPT-4o,可跨音频、视觉和文本进行实时推理。
OpenAI 推出新技术,帮助研究人员识别由其工具生成的内容,同时加入内容来源与真实性联盟(C2PA)指导委员会以推动行业标准。
OpenAI 分享了自定义语音模型 Voice Engine 小规模预览的经验教训。该模型可根据文本创建定制声音,目前仅处于小范围测试阶段。
OpenAI 上月发布 Sora 后,与艺术家合作探索其在创作流程中的应用。
OpenAI 探索在视频数据上大规模训练生成模型,将文本条件扩散模型联合训练于不同时长、分辨率和宽高比的视频与图像,并采用在视频和图像 latent code 的时空 patch 上运行的 transformer 架构。其最大模型 Sora 能生成一分钟高保真视频,结果表明扩展视频生成模型是构建通用物理世界模拟器的一条有前景的路径。
推荐理由:OpenAI 首次公开 Sora 的技术路线,说明视频生成模型可扩展为物理世界模拟器。
OpenAI 在 DevDay 上发布 GPT-4 Turbo,支持 128K 上下文且价格更低,并新增视觉能力。同时推出 Assistants API、DALL·E 3 API 等开发者产品。
OpenAI 宣布 DALL·E 3 现已在 ChatGPT Plus 和 Enterprise 中可用。为准备更大范围发布,OpenAI 开发了一套安全缓解措施,并同步分享了其在内容溯源研究方面的进展。
推荐理由:DALL·E 3 面向 ChatGPT Plus 与 Enterprise 开放,官方同时说明为扩大发布所做的安全缓解措施。
OpenAI 收购了 Global Illumination,该团队全体成员已加入 OpenAI。
Hugging Face 的 Diffusers 库迎来一周年,已从文本生成图像扩展至视频、3D 与图像编辑。该库新增 DeepFloyd IF、SDXL、VideoFusion、Text2Video-Zero 及 OpenAI Shap-E 等模型支持,并集成 LoRA、Torch 2.0 优化与安全检测组件。
OpenAI 对 GPT-3 进行微调,用于驱动并规模化"代客制作"的视频创作。原文未披露具体版本号、参数规模或可用性信息。
OpenAI 正在用 GPT-3 创建新一代 AI 驱动的角色。
OpenAI 宣布 DALL·E API 现已进入公开测试阶段,开发者从即日起可以开始用它构建应用。
OpenAI 宣布 DALL·E 取消等待名单,新用户可直接开始创作。官方表示,部署中积累的经验以及安全系统的改进,使更广泛的开放成为可能。
OpenAI 宣布训练并开源语音识别神经网络 Whisper,称其在英文语音识别上的鲁棒性和准确率接近人类水平。
推荐理由:OpenAI 开源语音识别模型 Whisper,其英文识别鲁棒性与准确率接近人类水平。
OpenAI 为 DALL·E 推出 outpainting 功能,可将图像扩展到任意尺寸,讲述更大的故事。该功能让用户在原有画面之外继续生成内容,延伸创作空间。
OpenAI 宣布 DALL·E 进入 Beta,将在未来几周从候补名单中邀请 100 万人使用。用户可用每月重置的免费额度生成图像,也可按 115 次生成 15 美元的价格购买额外额度。
推荐理由:DALL·E 从候补名单走向百万级开放,并给出免费额度与付费增量,可据此判断早期图像生成工具的可用门槛。
OpenAI 为 DALL·E 2 部署了一项新技术,使其生成的人物图像能更准确地反映世界人口的多样性,以减少偏见并提升安全性。
OpenAI 的 DALL·E 2 研究预览已吸引来自 118 个以上国家的 3000 多名艺术家将其纳入创作流程。早期访问组的艺术家帮助发现了 DALL·E 的新用法,并在功能决策中提供了关键意见。
OpenAI 为向大众开放 DALL·E 2,在预训练阶段采取缓解措施以降低强大图像生成模型带来的风险。为此,团队设置了多种防护机制,防止生成图像违反其内容政策。
这篇 Hugging Face 博客深入解析去噪扩散概率模型(DDPM),基于 Ho 等人 2020 年论文,用 PyTorch 逐步实现,代码参考 Phil Wang 的实现。文章涵盖前向加噪与反向去噪两个过程,DDPM 作者采用 T=1000 个时间步,并用正弦位置嵌入编码时间步,U-Net 核心模块采用 Wide ResNet 块。
OpenAI 更新 DALL·E 2 研究预览进展,早期用户迄今已生成超过 300 万张图像,并帮助改进了安全流程。OpenAI 表示将开始每周从等待名单中新增最多 1000 名用户。
推荐理由:DALL·E 2 研究预览阶段的用户规模与安全流程进展,可了解其早期开放节奏。
OpenAI 训练出名为 DALL·E 的神经网络,可根据自然语言文本描述生成图像,覆盖广泛概念。
OpenAI 发布组织架构更新,称过去一年公司经历了剧烈变化与增长。原文未披露具体调整内容与涉及人员。
OpenAI 发现,在语言上训练的大型 Transformer 模型,改用像素序列训练后同样能生成连贯的图像补全与样本。研究还建立了样本质量与图像分类准确率之间的相关性,表明其最佳生成模型在无监督设定下所包含的特征可与顶级卷积网络媲美。
OpenAI 推出神经网络 Jukebox,能以原始音频形式生成多种流派与艺术家风格的歌曲,并包含初步的演唱。团队同步开源了模型权重与代码,还提供一个用于试听生成样本的工具。
OpenAI 推出深度神经网络 MuseNet,能生成 4 分钟、含 10 种乐器的音乐作品,并可融合从乡村到莫扎特再到披头士的多种风格。MuseNet 并未被显式编程音乐规则,而是通过学习预测数十万份 MIDI 文件中的下一个 token,自行发现和声、节奏与风格规律。它采用与 GPT-2 相同的通用无监督技术,即大规模 transformer 模型。
OpenAI 开发出 Sparse Transformer,一种在预测文本、图像或声音序列下一项任务上刷新纪录的深度神经网络。它通过改进注意力机制的算法,可从比以往长 30 倍的序列中提取模式。
OpenAI 提出可逆生成模型 Glow,采用可逆 1x1 卷积,简化了此前可逆生成模型的架构。该模型能生成逼真的高分辨率图像,支持高效采样,并可发现用于操控数据属性的特征。OpenAI 同步开源模型代码并提供在线可视化工具。
OpenAI 宣布迎来新的捐赠者加入支持者行列。原文未披露捐赠者身份、金额及具体用途等细节。
OpenAI 发文阐述其"特别项目"的取向:有影响力的科学工作要选对问题,不只是有趣,而是其解决方案真正重要。
OpenAI 宣布两位新成员 Pieter 和 Shivon 加入团队,这是其最新公布的两项团队人事更新。