DALL·E 2 预训练缓解措施
OpenAI 为向大众开放 DALL·E 2,在预训练阶段采取缓解措施以降低强大图像生成模型带来的风险。为此,团队设置了多种防护机制,防止生成图像违反其内容政策。
OpenAI 为向大众开放 DALL·E 2,在预训练阶段采取缓解措施以降低强大图像生成模型带来的风险。为此,团队设置了多种防护机制,防止生成图像违反其内容政策。
这篇 Hugging Face 博客深入解析去噪扩散概率模型(DDPM),基于 Ho 等人 2020 年论文,用 PyTorch 逐步实现,代码参考 Phil Wang 的实现。文章涵盖前向加噪与反向去噪两个过程,DDPM 作者采用 T=1000 个时间步,并用正弦位置嵌入编码时间步,U-Net 核心模块采用 Wide ResNet 块。
OpenAI 更新 DALL·E 2 研究预览进展,早期用户迄今已生成超过 300 万张图像,并帮助改进了安全流程。OpenAI 表示将开始每周从等待名单中新增最多 1000 名用户。
推荐理由:DALL·E 2 研究预览阶段的用户规模与安全流程进展,可了解其早期开放节奏。
OpenAI 训练出名为 DALL·E 的神经网络,可根据自然语言文本描述生成图像,覆盖广泛概念。
OpenAI 发布组织架构更新,称过去一年公司经历了剧烈变化与增长。原文未披露具体调整内容与涉及人员。
OpenAI 发现,在语言上训练的大型 Transformer 模型,改用像素序列训练后同样能生成连贯的图像补全与样本。研究还建立了样本质量与图像分类准确率之间的相关性,表明其最佳生成模型在无监督设定下所包含的特征可与顶级卷积网络媲美。
OpenAI 推出神经网络 Jukebox,能以原始音频形式生成多种流派与艺术家风格的歌曲,并包含初步的演唱。团队同步开源了模型权重与代码,还提供一个用于试听生成样本的工具。
OpenAI 推出深度神经网络 MuseNet,能生成 4 分钟、含 10 种乐器的音乐作品,并可融合从乡村到莫扎特再到披头士的多种风格。MuseNet 并未被显式编程音乐规则,而是通过学习预测数十万份 MIDI 文件中的下一个 token,自行发现和声、节奏与风格规律。它采用与 GPT-2 相同的通用无监督技术,即大规模 transformer 模型。
OpenAI 开发出 Sparse Transformer,一种在预测文本、图像或声音序列下一项任务上刷新纪录的深度神经网络。它通过改进注意力机制的算法,可从比以往长 30 倍的序列中提取模式。
OpenAI 提出可逆生成模型 Glow,采用可逆 1x1 卷积,简化了此前可逆生成模型的架构。该模型能生成逼真的高分辨率图像,支持高效采样,并可发现用于操控数据属性的特征。OpenAI 同步开源模型代码并提供在线可视化工具。
OpenAI 宣布迎来新的捐赠者加入支持者行列。原文未披露捐赠者身份、金额及具体用途等细节。
OpenAI 发文阐述其"特别项目"的取向:有影响力的科学工作要选对问题,不只是有趣,而是其解决方案真正重要。
OpenAI 宣布两位新成员 Pieter 和 Shivon 加入团队,这是其最新公布的两项团队人事更新。