用 diffusers 训练自己的 ControlNet
Hugging Face 发布教程,讲解如何用 diffusers 训练 ControlNet,并以人脸姿态模型 Uncanny Faces 为例走完三步流程。
推荐理由:以人脸姿态 ControlNet 为例,完整走通条件规划、数据集构建与 diffusers 训练脚本,并给出低显存参数配置。
Hugging Face 发布教程,讲解如何用 diffusers 训练 ControlNet,并以人脸姿态模型 Uncanny Faces 为例走完三步流程。
推荐理由:以人脸姿态 ControlNet 为例,完整走通条件规划、数据集构建与 diffusers 训练脚本,并给出低显存参数配置。
Hugging Face 在 Diffusers 中集成 ControlNet,推出 StableDiffusionControlNetPipeline,可用深度图、分割图、涂鸦、关键点等空间条件控制 Stable Diffusion 生成。
推荐理由:Diffusers 官方给出 ControlNet 的完整接入方式,含 Canny、OpenPose 与多条件组合的可复用代码。
Hugging Face 为 Diffusers 库发布伦理框架,用于指导维护者处理社区贡献的技术决策。准则涵盖透明、一致、简洁、可访问、可复现与责任六项价值观,并列出社区讨论区、内容标签、偏见探索等安全机制,以及 Safe Stable Diffusion、Hub 分阶段发布和 OpenRAILs 许可等部署措施。
Hugging Face 发布 🧨Diffusers for Mac 1.1,一款基于 Core ML 的原生 Mac 应用,可将社区贡献的 Stable Diffusion 等文生图模型转换后本地运行,生成速度最高提升至 2 倍。应用完全开源,支持 CPU、GPU 与神经引擎协同加速,并自动选择最佳加速器。
在 AI 游戏开发系列第 4 天,作者用 Stable Diffusion 的 Image2Image 配合 Photoshop 迭代,为农场游戏生成玉米和镰刀图标,玉米图标不到 10 分钟完成。
Hugging Face 发布博客,介绍如何用 LoRA 对 Stable Diffusion 做高效微调,并已在 diffusers 中提供 LoRA 训练支持,覆盖 Dreambooth 与完整微调两种方式。
推荐理由:diffusers 官方给出 LoRA 微调与推理脚本,并说明权重可缩至约 3 MB,便于创作者评估低成本定制流程。
文本到 3D 目前还无法实际用于游戏开发,生成的网格需大量手动处理才能达到游戏可用标准。DreamFusion、Point-E、CLIP-Forge 等方案多基于视图合成或 NeRF,与游戏依赖的网格管线不兼容。作者在 5 天农场游戏项目中改用不同颜色的立方体代表作物。
OpenAI 对 GPT-3 进行微调,用于驱动并规模化"代客制作"的视频创作。原文未披露具体版本号、参数规模或可用性信息。
OpenAI 正在用 GPT-3 创建新一代 AI 驱动的角色。
苹果工程师提供了转换脚本与推理代码,Hugging Face 已把 Stable Diffusion v1.4、v1.5、v2 base、v2.1 base 的权重转成 Core ML 版本并放到 Hugging Face Hub。
推荐理由:苹果工程师与 Hugging Face 把 Stable Diffusion 权重转成 Core ML,并给出 Python 与 Swift 两条推理路径,可据此在 Apple Silicon 上本地出图。
中国科学技术大学与微软提出 VQ-Diffusion,一种在量化潜在空间上进行加噪与去噪的条件扩散模型,其潜在空间由离散向量集合构成。
Hugging Face 与 Jonathan Whitaker 的扩散模型课程将于 11 月 28 日发布,免费讲解扩散模型理论与应用。配合课程上线,11 月 30 日将举办社区直播活动,Stable Diffusion 创作者及 Stability AI、Meta 等机构的研究者将带来演讲,聚焦扩散模型的高层介绍与构建应用的工具。
用 🧨 Diffusers 的 Dreambooth 脚本微调 Stable Diffusion 时,低学习率配合逐步增加训练步数效果最佳,人脸需 800-1200 步、batch size 2、LR 1e-6,物体用 2e-6 加 400 步即可。
OpenAI 宣布 DALL·E API 现已进入公开测试阶段,开发者从即日起可以开始用它构建应用。
Hugging Face Diffusers 自 0.5.1 版起支持 Flax,可在 Google TPU 上实现超快推理。文章演示用 FlaxStableDiffusionPipeline 加载 CompVis/stable-diffusion-v1-4 的 bf16 权重,借助 8 个并行 TPU 设备同时生成 8 张图像,耗时与单芯片生成一张相当。
rinna 基于 Stable Diffusion 微调出日语专用文生图模型 Japanese Stable Diffusion,可理解日语固有词、拟声词与专有名词,生成日式风格图像。
OpenAI 宣布 DALL·E 取消等待名单,新用户可直接开始创作。官方表示,部署中积累的经验以及安全系统的改进,使更广泛的开放成为可能。
OpenAI 宣布训练并开源语音识别神经网络 Whisper,称其在英文语音识别上的鲁棒性和准确率接近人类水平。
推荐理由:OpenAI 开源语音识别模型 Whisper,其英文识别鲁棒性与准确率接近人类水平。
Diffusers 0.3 新增图生图、Textual Inversion、实验性 Inpainting 等 pipeline,并支持在 M1/M2 Mac 上通过 mps 运行 Stable Diffusion。优化后 Stable Diffusion 显存占用降至 3.2GB,速度损失 10%,另推出实验性 ONNX 导出器与全新文档。
OpenAI 为 DALL·E 推出 outpainting 功能,可将图像扩展到任意尺寸,讲述更大的故事。该功能让用户在原有画面之外继续生成内容,延伸创作空间。
Hugging Face 发布教程,讲解如何用 Diffusers 库运行 Stable Diffusion 文生图模型,并拆解其工作原理。
推荐理由:Hugging Face 官方拆解 Stable Diffusion 在 Diffusers 中的调用方式与 Latent Diffusion 三组件原理,便于理解出图流程。
OpenAI 宣布 DALL·E 进入 Beta,将在未来几周从候补名单中邀请 100 万人使用。用户可用每月重置的免费额度生成图像,也可按 115 次生成 15 美元的价格购买额外额度。
推荐理由:DALL·E 从候补名单走向百万级开放,并给出免费额度与付费增量,可据此判断早期图像生成工具的可用门槛。
OpenAI 为 DALL·E 2 部署了一项新技术,使其生成的人物图像能更准确地反映世界人口的多样性,以减少偏见并提升安全性。
OpenAI 的 DALL·E 2 研究预览已吸引来自 118 个以上国家的 3000 多名艺术家将其纳入创作流程。早期访问组的艺术家帮助发现了 DALL·E 的新用法,并在功能决策中提供了关键意见。
OpenAI 为向大众开放 DALL·E 2,在预训练阶段采取缓解措施以降低强大图像生成模型带来的风险。为此,团队设置了多种防护机制,防止生成图像违反其内容政策。
这篇 Hugging Face 博客深入解析去噪扩散概率模型(DDPM),基于 Ho 等人 2020 年论文,用 PyTorch 逐步实现,代码参考 Phil Wang 的实现。文章涵盖前向加噪与反向去噪两个过程,DDPM 作者采用 T=1000 个时间步,并用正弦位置嵌入编码时间步,U-Net 核心模块采用 Wide ResNet 块。
OpenAI 更新 DALL·E 2 研究预览进展,早期用户迄今已生成超过 300 万张图像,并帮助改进了安全流程。OpenAI 表示将开始每周从等待名单中新增最多 1000 名用户。
推荐理由:DALL·E 2 研究预览阶段的用户规模与安全流程进展,可了解其早期开放节奏。
Perceiver IO 已加入 Hugging Face Transformers,这是首个能处理文本、图像、音频、视频、点云等多种模态及其组合的 Transformer 类神经网络。
OpenAI 训练出名为 DALL·E 的神经网络,可根据自然语言文本描述生成图像,覆盖广泛概念。
OpenAI 发布组织架构更新,称过去一年公司经历了剧烈变化与增长。原文未披露具体调整内容与涉及人员。
OpenAI 发现,在语言上训练的大型 Transformer 模型,改用像素序列训练后同样能生成连贯的图像补全与样本。研究还建立了样本质量与图像分类准确率之间的相关性,表明其最佳生成模型在无监督设定下所包含的特征可与顶级卷积网络媲美。
OpenAI 推出神经网络 Jukebox,能以原始音频形式生成多种流派与艺术家风格的歌曲,并包含初步的演唱。团队同步开源了模型权重与代码,还提供一个用于试听生成样本的工具。
OpenAI 推出深度神经网络 MuseNet,能生成 4 分钟、含 10 种乐器的音乐作品,并可融合从乡村到莫扎特再到披头士的多种风格。MuseNet 并未被显式编程音乐规则,而是通过学习预测数十万份 MIDI 文件中的下一个 token,自行发现和声、节奏与风格规律。它采用与 GPT-2 相同的通用无监督技术,即大规模 transformer 模型。
OpenAI 开发出 Sparse Transformer,一种在预测文本、图像或声音序列下一项任务上刷新纪录的深度神经网络。它通过改进注意力机制的算法,可从比以往长 30 倍的序列中提取模式。
OpenAI 提出可逆生成模型 Glow,采用可逆 1x1 卷积,简化了此前可逆生成模型的架构。该模型能生成逼真的高分辨率图像,支持高效采样,并可发现用于操控数据属性的特征。OpenAI 同步开源模型代码并提供在线可视化工具。
OpenAI 宣布迎来新的捐赠者加入支持者行列。原文未披露捐赠者身份、金额及具体用途等细节。
OpenAI 发文阐述其"特别项目"的取向:有影响力的科学工作要选对问题,不只是有趣,而是其解决方案真正重要。
OpenAI 宣布两位新成员 Pieter 和 Shivon 加入团队,这是其最新公布的两项团队人事更新。