用 Latent Consistency LoRA 让 SDXL 4 步出图
Hugging Face 发布 LCM LoRA 方法,通过训练少量 LoRA 适配层而非蒸馏整个模型,让 SDXL 和 Stable Diffusion 从原本 25 到 50 步降到 4 到 8 步生成图像。
推荐理由:LCM LoRA 让 SDXL 在 4 步内出图,文中给出可直接运行的 diffusers 代码与多硬件速度对比。
Hugging Face 发布 LCM LoRA 方法,通过训练少量 LoRA 适配层而非蒸馏整个模型,让 SDXL 和 Stable Diffusion 从原本 25 到 50 步降到 4 到 8 步生成图像。
推荐理由:LCM LoRA 让 SDXL 在 4 步内出图,文中给出可直接运行的 diffusers 代码与多硬件速度对比。
在 A100(40GB)上,SDXL 默认全精度推理需 28GB 显存、耗时 72.2 秒;改用 fp16 后降至 21.7GB、14.8 秒,叠加 PyTorch 2.0 默认启用的 SDPA 进一步降到 11.4 秒,再用 torch.compile 包裹 UNet 可缩短至 10.2 秒。
Hugging Face Diffusers 现已支持在 Cloud TPU v5e 上通过 JAX 运行 SDXL 推理,借助 JIT 编译与 XLA 并行实现高性能、低成本部署。演示在多个 TPU v5e-4 实例上并行生成 4 张 1024×1024 图像约需 4 秒,纯生成时间约 2.3 秒;TPU v5e 成本不到 TPU v4 的一半。
Hugging Face 发布教程,介绍如何 fork 并配置 AI Comic Factory,通过 Inference API 部署到私有 Space,避免官方 Space 的长时间等待。
Hugging Face 博客介绍如何用 trl 库新增的 DDPOTrainer,通过 DDPO(Denoising Diffusion Policy Optimization)对 Stable Diffusion 做强化学习微调。
Hugging Face 发布 Würstchen 图像生成扩散模型,其文本条件部分在高度压缩的潜空间中工作,通过 Stage A 的 VQGAN 与 Stage B 的 Diffusion Autoencoder 实现 42x 空间压缩,Stage C 作为 Prior 在该潜空间中训练。
推荐理由:Würstchen 用 42x 空间压缩把训练成本降到 SD1.4 的约六分之一,可据此评估低显存出图方案。
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作为 Stable Diffusion XL 提供 T2I-Adapter 支持,并发布 sketch、canny、lineart、depth、openpose 等条件的 checkpoint。
推荐理由:对比 ControlNet 的参数量与推理开销,给出 T2I-Adapter 在 SDXL 上的可控生成方案与可复用训练脚本。
Hugging Face 博客介绍如何在 Diffusers 中使用 AudioLDM 2,通过半精度、flash attention、torch.compile 与更换 scheduler 等优化,把 10 秒音频的生成时间从 14 秒降到 1 秒以内,音质下降很小。
基于 🤗 Transformers、Optimum 和 Accelerate,可通过三项优化降低 Bark 文本转语音模型的显存占用并提升推理速度。Bark 由 Suno AI 提出,自 Transformers v4.31.0 起支持,包含语义、粗声学、细声学及 EnCodec 解码四个模型,提供 small 与 large 两个 checkpoint。
这篇教程演示如何用开源模型服务框架 BentoML 将 DeepFloyd IF 部署为生产级服务。DeepFloyd IF 是开源文生图模型,直接在像素空间工作,由冻结文本编码器和三个级联像素扩散模块组成,可将 64x64 px 图像逐步放大至 1024x1024 px,并用 T5-XXL-1.1 编码提示词。
Hugging Face 发布教程,介绍如何通过 Inference Endpoints 的自定义 handler 部署 MusicGen 音乐生成模型。用户需复制 facebook/musicgen-large 仓库,添加 handler.py 和 requirements.txt,即可创建端点,用文本提示生成音乐,也可选用旋律片段作为条件。
Segmind 开源了压缩模型 SD-Small 和 SD-Tiny 的权重与知识蒸馏训练代码,两者参数量分别比基础模型减少 35% 和 55%,推理速度最高提升 100%,图像保真度与基础模型相当。
苹果与 Hugging Face 将 Stable Diffusion XL 基础模型移植到 Core ML,可在运行 macOS 14 公测版的 Apple Silicon Mac 上使用,目前采用 ORIGINAL attention 实现,refiner 阶段尚未移植。
推荐理由:苹果与 Hugging Face 联合给出 SDXL 在 Mac 上的 Core ML 混合位量化方案,附各机型实测延迟与压缩配方。
Hugging Face 公布首届 Open Source AI Game Jam 结果,活动收到 1300 多人报名、88 款游戏提交,冠军由 ohmlet 的 Snip It 获得,该游戏用 Stable Diffusion 生成素材。
Hugging Face 的 Diffusers 库迎来一周年,已从文本生成图像扩展至视频、3D 与图像编辑。该库新增 DeepFloyd IF、SDXL、VideoFusion、Text2Video-Zero 及 OpenAI Shap-E 等模型支持,并集成 LoRA、Torch 2.0 优化与安全检测组件。
Hugging Face 发布 AI WebTV 实验演示,用开源文生视频模型 Zeroscope 与音乐生成模型 MusicGen 自动生成并串流播放短视频。
推荐理由:拆解了用 Zeroscope、MusicGen 与 FILM 搭建自动生成视频流的完整管线,并附失败案例与提示词建议。
在 Intel Sapphire Rapids CPU 集群上,通过 textual inversion 技术仅用 5 张示例图片即可微调 Stable Diffusion 模型。
Hugging Face 发布《伦理与社会通讯》第4期,聚焦文本到图像模型的偏见问题。文章梳理了训练数据、预训练数据过滤、CLIP 推理、模型潜在空间及事后过滤等五类偏见来源,并指出 Stable Diffusion v2.1 与 ERNIE ViLG 在"北京的房子"同一提示下生成结果存在文化刻板印象。团队同时介绍了 Stable Bias 项目用于探索和比较生成图像偏见的工具。
Hugging Face 博客介绍借助 Core ML 的 6-bit palettization 量化,让 Stable Diffusion 在 iPhone、iPad 和 Mac 上运行更快、占用内存更少。
借助 OpenVINO NNCF 的量化感知训练(QAT)结合 Token Merging,Stable Diffusion 在 Intel CPU 上实现 5.1 倍推理加速和 4 倍模型体积缩减。优化从 Pokemons 数据集微调模型出发,仅需 4096 次迭代、单张 24GB 显存 GPU 一天内完成,并已集成到 Diffusers 训练脚本中。
该工作将 InstructPix2Pix 的训练策略与 FLAN V2 的指令模板思路结合,对 Stable Diffusion 做指令微调,使其能按输入图像加指令完成卡通化、去雨等图像翻译与低层图像处理任务。
Hugging Face 博客演示了如何在免费版 Google Colab 上用 🧨 diffusers 运行 DeepFloyd 的像素级文生图模型 IF,涵盖文生图、图像变体和图像修复三项功能。
Hugging Face 发布教程,讲解如何用 diffusers 训练 ControlNet,并以人脸姿态模型 Uncanny Faces 为例走完三步流程。
推荐理由:以人脸姿态 ControlNet 为例,完整走通条件规划、数据集构建与 diffusers 训练脚本,并给出低显存参数配置。
Hugging Face 在 Diffusers 中集成 ControlNet,推出 StableDiffusionControlNetPipeline,可用深度图、分割图、涂鸦、关键点等空间条件控制 Stable Diffusion 生成。
推荐理由:Diffusers 官方给出 ControlNet 的完整接入方式,含 Canny、OpenPose 与多条件组合的可复用代码。
Hugging Face 为 Diffusers 库发布伦理框架,用于指导维护者处理社区贡献的技术决策。准则涵盖透明、一致、简洁、可访问、可复现与责任六项价值观,并列出社区讨论区、内容标签、偏见探索等安全机制,以及 Safe Stable Diffusion、Hub 分阶段发布和 OpenRAILs 许可等部署措施。
Hugging Face 发布 🧨Diffusers for Mac 1.1,一款基于 Core ML 的原生 Mac 应用,可将社区贡献的 Stable Diffusion 等文生图模型转换后本地运行,生成速度最高提升至 2 倍。应用完全开源,支持 CPU、GPU 与神经引擎协同加速,并自动选择最佳加速器。
Hugging Face 发布博客,介绍如何用 LoRA 对 Stable Diffusion 做高效微调,并已在 diffusers 中提供 LoRA 训练支持,覆盖 Dreambooth 与完整微调两种方式。
推荐理由:diffusers 官方给出 LoRA 微调与推理脚本,并说明权重可缩至约 3 MB,便于创作者评估低成本定制流程。
文本到 3D 目前还无法实际用于游戏开发,生成的网格需大量手动处理才能达到游戏可用标准。DreamFusion、Point-E、CLIP-Forge 等方案多基于视图合成或 NeRF,与游戏依赖的网格管线不兼容。作者在 5 天农场游戏项目中改用不同颜色的立方体代表作物。
苹果工程师提供了转换脚本与推理代码,Hugging Face 已把 Stable Diffusion v1.4、v1.5、v2 base、v2.1 base 的权重转成 Core ML 版本并放到 Hugging Face Hub。
推荐理由:苹果工程师与 Hugging Face 把 Stable Diffusion 权重转成 Core ML,并给出 Python 与 Swift 两条推理路径,可据此在 Apple Silicon 上本地出图。
中国科学技术大学与微软提出 VQ-Diffusion,一种在量化潜在空间上进行加噪与去噪的条件扩散模型,其潜在空间由离散向量集合构成。
Hugging Face 与 Jonathan Whitaker 的扩散模型课程将于 11 月 28 日发布,免费讲解扩散模型理论与应用。配合课程上线,11 月 30 日将举办社区直播活动,Stable Diffusion 创作者及 Stability AI、Meta 等机构的研究者将带来演讲,聚焦扩散模型的高层介绍与构建应用的工具。
用 🧨 Diffusers 的 Dreambooth 脚本微调 Stable Diffusion 时,低学习率配合逐步增加训练步数效果最佳,人脸需 800-1200 步、batch size 2、LR 1e-6,物体用 2e-6 加 400 步即可。
Hugging Face Diffusers 自 0.5.1 版起支持 Flax,可在 Google TPU 上实现超快推理。文章演示用 FlaxStableDiffusionPipeline 加载 CompVis/stable-diffusion-v1-4 的 bf16 权重,借助 8 个并行 TPU 设备同时生成 8 张图像,耗时与单芯片生成一张相当。
rinna 基于 Stable Diffusion 微调出日语专用文生图模型 Japanese Stable Diffusion,可理解日语固有词、拟声词与专有名词,生成日式风格图像。
Diffusers 0.3 新增图生图、Textual Inversion、实验性 Inpainting 等 pipeline,并支持在 M1/M2 Mac 上通过 mps 运行 Stable Diffusion。优化后 Stable Diffusion 显存占用降至 3.2GB,速度损失 10%,另推出实验性 ONNX 导出器与全新文档。
Hugging Face 发布教程,讲解如何用 Diffusers 库运行 Stable Diffusion 文生图模型,并拆解其工作原理。
推荐理由:Hugging Face 官方拆解 Stable Diffusion 在 Diffusers 中的调用方式与 Latent Diffusion 三组件原理,便于理解出图流程。
这篇 Hugging Face 博客深入解析去噪扩散概率模型(DDPM),基于 Ho 等人 2020 年论文,用 PyTorch 逐步实现,代码参考 Phil Wang 的实现。文章涵盖前向加噪与反向去噪两个过程,DDPM 作者采用 T=1000 个时间步,并用正弦位置嵌入编码时间步,U-Net 核心模块采用 Wide ResNet 块。
Perceiver IO 已加入 Hugging Face Transformers,这是首个能处理文本、图像、音频、视频、点云等多种模态及其组合的 Transformer 类神经网络。