Hugging Face 发布 Würstchen:高压缩潜空间的快速图像扩散模型
Hugging Face 发布 Würstchen 图像生成扩散模型,其文本条件部分在高度压缩的潜空间中工作,通过 Stage A 的 VQGAN 与 Stage B 的 Diffusion Autoencoder 实现 42x 空间压缩,Stage C 作为 Prior 在该潜空间中训练。
推荐理由:Würstchen 用 42x 空间压缩把训练成本降到 SD1.4 的约六分之一,可据此评估低显存出图方案。
Hugging Face 发布 Würstchen 图像生成扩散模型,其文本条件部分在高度压缩的潜空间中工作,通过 Stage A 的 VQGAN 与 Stage B 的 Diffusion Autoencoder 实现 42x 空间压缩,Stage C 作为 Prior 在该潜空间中训练。
推荐理由:Würstchen 用 42x 空间压缩把训练成本降到 SD1.4 的约六分之一,可据此评估低显存出图方案。
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作为 Stable Diffusion XL 提供 T2I-Adapter 支持,并发布 sketch、canny、lineart、depth、openpose 等条件的 checkpoint。
推荐理由:对比 ControlNet 的参数量与推理开销,给出 T2I-Adapter 在 SDXL 上的可控生成方案与可复用训练脚本。
这篇教程演示如何用开源模型服务框架 BentoML 将 DeepFloyd IF 部署为生产级服务。DeepFloyd IF 是开源文生图模型,直接在像素空间工作,由冻结文本编码器和三个级联像素扩散模块组成,可将 64x64 px 图像逐步放大至 1024x1024 px,并用 T5-XXL-1.1 编码提示词。
Segmind 开源了压缩模型 SD-Small 和 SD-Tiny 的权重与知识蒸馏训练代码,两者参数量分别比基础模型减少 35% 和 55%,推理速度最高提升 100%,图像保真度与基础模型相当。
苹果与 Hugging Face 将 Stable Diffusion XL 基础模型移植到 Core ML,可在运行 macOS 14 公测版的 Apple Silicon Mac 上使用,目前采用 ORIGINAL attention 实现,refiner 阶段尚未移植。
推荐理由:苹果与 Hugging Face 联合给出 SDXL 在 Mac 上的 Core ML 混合位量化方案,附各机型实测延迟与压缩配方。
Hugging Face 的 Diffusers 库迎来一周年,已从文本生成图像扩展至视频、3D 与图像编辑。该库新增 DeepFloyd IF、SDXL、VideoFusion、Text2Video-Zero 及 OpenAI Shap-E 等模型支持,并集成 LoRA、Torch 2.0 优化与安全检测组件。
在 Intel Sapphire Rapids CPU 集群上,通过 textual inversion 技术仅用 5 张示例图片即可微调 Stable Diffusion 模型。
Hugging Face 发布《伦理与社会通讯》第4期,聚焦文本到图像模型的偏见问题。文章梳理了训练数据、预训练数据过滤、CLIP 推理、模型潜在空间及事后过滤等五类偏见来源,并指出 Stable Diffusion v2.1 与 ERNIE ViLG 在"北京的房子"同一提示下生成结果存在文化刻板印象。团队同时介绍了 Stable Bias 项目用于探索和比较生成图像偏见的工具。
Hugging Face 博客介绍借助 Core ML 的 6-bit palettization 量化,让 Stable Diffusion 在 iPhone、iPad 和 Mac 上运行更快、占用内存更少。
借助 OpenVINO NNCF 的量化感知训练(QAT)结合 Token Merging,Stable Diffusion 在 Intel CPU 上实现 5.1 倍推理加速和 4 倍模型体积缩减。优化从 Pokemons 数据集微调模型出发,仅需 4096 次迭代、单张 24GB 显存 GPU 一天内完成,并已集成到 Diffusers 训练脚本中。
该工作将 InstructPix2Pix 的训练策略与 FLAN V2 的指令模板思路结合,对 Stable Diffusion 做指令微调,使其能按输入图像加指令完成卡通化、去雨等图像翻译与低层图像处理任务。
Hugging Face 博客演示了如何在免费版 Google Colab 上用 🧨 diffusers 运行 DeepFloyd 的像素级文生图模型 IF,涵盖文生图、图像变体和图像修复三项功能。
在 Sapphire Rapids 至强 CPU 上,Stable Diffusion v1-5 默认 float32 推理单图平均延迟 32.3 秒,改用 Optimum Intel 与 OpenVINO 后降至 16.7 秒,固定 512x512 静态形状后进一步降至 4.7 秒。
Hugging Face 发布教程,讲解如何用 diffusers 训练 ControlNet,并以人脸姿态模型 Uncanny Faces 为例走完三步流程。
推荐理由:以人脸姿态 ControlNet 为例,完整走通条件规划、数据集构建与 diffusers 训练脚本,并给出低显存参数配置。
Hugging Face 在 Diffusers 中集成 ControlNet,推出 StableDiffusionControlNetPipeline,可用深度图、分割图、涂鸦、关键点等空间条件控制 Stable Diffusion 生成。
推荐理由:Diffusers 官方给出 ControlNet 的完整接入方式,含 Canny、OpenPose 与多条件组合的可复用代码。
Hugging Face 为 Diffusers 库发布伦理框架,用于指导维护者处理社区贡献的技术决策。准则涵盖透明、一致、简洁、可访问、可复现与责任六项价值观,并列出社区讨论区、内容标签、偏见探索等安全机制,以及 Safe Stable Diffusion、Hub 分阶段发布和 OpenRAILs 许可等部署措施。
Hugging Face 发布 🧨Diffusers for Mac 1.1,一款基于 Core ML 的原生 Mac 应用,可将社区贡献的 Stable Diffusion 等文生图模型转换后本地运行,生成速度最高提升至 2 倍。应用完全开源,支持 CPU、GPU 与神经引擎协同加速,并自动选择最佳加速器。
在 AI 游戏开发系列第 4 天,作者用 Stable Diffusion 的 Image2Image 配合 Photoshop 迭代,为农场游戏生成玉米和镰刀图标,玉米图标不到 10 分钟完成。
Hugging Face 发布博客,介绍如何用 LoRA 对 Stable Diffusion 做高效微调,并已在 diffusers 中提供 LoRA 训练支持,覆盖 Dreambooth 与完整微调两种方式。
推荐理由:diffusers 官方给出 LoRA 微调与推理脚本,并说明权重可缩至约 3 MB,便于创作者评估低成本定制流程。
苹果工程师提供了转换脚本与推理代码,Hugging Face 已把 Stable Diffusion v1.4、v1.5、v2 base、v2.1 base 的权重转成 Core ML 版本并放到 Hugging Face Hub。
推荐理由:苹果工程师与 Hugging Face 把 Stable Diffusion 权重转成 Core ML,并给出 Python 与 Swift 两条推理路径,可据此在 Apple Silicon 上本地出图。
中国科学技术大学与微软提出 VQ-Diffusion,一种在量化潜在空间上进行加噪与去噪的条件扩散模型,其潜在空间由离散向量集合构成。
Hugging Face 与 Jonathan Whitaker 的扩散模型课程将于 11 月 28 日发布,免费讲解扩散模型理论与应用。配合课程上线,11 月 30 日将举办社区直播活动,Stable Diffusion 创作者及 Stability AI、Meta 等机构的研究者将带来演讲,聚焦扩散模型的高层介绍与构建应用的工具。
用 🧨 Diffusers 的 Dreambooth 脚本微调 Stable Diffusion 时,低学习率配合逐步增加训练步数效果最佳,人脸需 800-1200 步、batch size 2、LR 1e-6,物体用 2e-6 加 400 步即可。
OpenAI 宣布 DALL·E API 现已进入公开测试阶段,开发者从即日起可以开始用它构建应用。
Hugging Face Diffusers 自 0.5.1 版起支持 Flax,可在 Google TPU 上实现超快推理。文章演示用 FlaxStableDiffusionPipeline 加载 CompVis/stable-diffusion-v1-4 的 bf16 权重,借助 8 个并行 TPU 设备同时生成 8 张图像,耗时与单芯片生成一张相当。
rinna 基于 Stable Diffusion 微调出日语专用文生图模型 Japanese Stable Diffusion,可理解日语固有词、拟声词与专有名词,生成日式风格图像。
OpenAI 宣布 DALL·E 取消等待名单,新用户可直接开始创作。官方表示,部署中积累的经验以及安全系统的改进,使更广泛的开放成为可能。
Diffusers 0.3 新增图生图、Textual Inversion、实验性 Inpainting 等 pipeline,并支持在 M1/M2 Mac 上通过 mps 运行 Stable Diffusion。优化后 Stable Diffusion 显存占用降至 3.2GB,速度损失 10%,另推出实验性 ONNX 导出器与全新文档。
OpenAI 为 DALL·E 推出 outpainting 功能,可将图像扩展到任意尺寸,讲述更大的故事。该功能让用户在原有画面之外继续生成内容,延伸创作空间。
Hugging Face 发布教程,讲解如何用 Diffusers 库运行 Stable Diffusion 文生图模型,并拆解其工作原理。
推荐理由:Hugging Face 官方拆解 Stable Diffusion 在 Diffusers 中的调用方式与 Latent Diffusion 三组件原理,便于理解出图流程。
OpenAI 宣布 DALL·E 进入 Beta,将在未来几周从候补名单中邀请 100 万人使用。用户可用每月重置的免费额度生成图像,也可按 115 次生成 15 美元的价格购买额外额度。
推荐理由:DALL·E 从候补名单走向百万级开放,并给出免费额度与付费增量,可据此判断早期图像生成工具的可用门槛。
OpenAI 为 DALL·E 2 部署了一项新技术,使其生成的人物图像能更准确地反映世界人口的多样性,以减少偏见并提升安全性。
OpenAI 的 DALL·E 2 研究预览已吸引来自 118 个以上国家的 3000 多名艺术家将其纳入创作流程。早期访问组的艺术家帮助发现了 DALL·E 的新用法,并在功能决策中提供了关键意见。
OpenAI 为向大众开放 DALL·E 2,在预训练阶段采取缓解措施以降低强大图像生成模型带来的风险。为此,团队设置了多种防护机制,防止生成图像违反其内容政策。
这篇 Hugging Face 博客深入解析去噪扩散概率模型(DDPM),基于 Ho 等人 2020 年论文,用 PyTorch 逐步实现,代码参考 Phil Wang 的实现。文章涵盖前向加噪与反向去噪两个过程,DDPM 作者采用 T=1000 个时间步,并用正弦位置嵌入编码时间步,U-Net 核心模块采用 Wide ResNet 块。
OpenAI 更新 DALL·E 2 研究预览进展,早期用户迄今已生成超过 300 万张图像,并帮助改进了安全流程。OpenAI 表示将开始每周从等待名单中新增最多 1000 名用户。
推荐理由:DALL·E 2 研究预览阶段的用户规模与安全流程进展,可了解其早期开放节奏。
OpenAI 训练出名为 DALL·E 的神经网络,可根据自然语言文本描述生成图像,覆盖广泛概念。
OpenAI 发现,在语言上训练的大型 Transformer 模型,改用像素序列训练后同样能生成连贯的图像补全与样本。研究还建立了样本质量与图像分类准确率之间的相关性,表明其最佳生成模型在无监督设定下所包含的特征可与顶级卷积网络媲美。
OpenAI 提出可逆生成模型 Glow,采用可逆 1x1 卷积,简化了此前可逆生成模型的架构。该模型能生成逼真的高分辨率图像,支持高效采样,并可发现用于操控数据属性的特征。OpenAI 同步开源模型代码并提供在线可视化工具。