SDXL 推理加速与显存优化实践:fp16、SDPA 与 torch.compile
在 A100(40GB)上,SDXL 默认全精度推理需 28GB 显存、耗时 72.2 秒;改用 fp16 后降至 21.7GB、14.8 秒,叠加 PyTorch 2.0 默认启用的 SDPA 进一步降到 11.4 秒,再用 torch.compile 包裹 UNet 可缩短至 10.2 秒。
在 A100(40GB)上,SDXL 默认全精度推理需 28GB 显存、耗时 72.2 秒;改用 fp16 后降至 21.7GB、14.8 秒,叠加 PyTorch 2.0 默认启用的 SDPA 进一步降到 11.4 秒,再用 torch.compile 包裹 UNet 可缩短至 10.2 秒。
Hugging Face 发布教程,介绍如何 fork 并配置 AI Comic Factory,通过 Inference API 部署到私有 Space,避免官方 Space 的长时间等待。
Hugging Face 博客介绍如何用 trl 库新增的 DDPOTrainer,通过 DDPO(Denoising Diffusion Policy Optimization)对 Stable Diffusion 做强化学习微调。
3D Gaussian Splatting 是一种光栅化技术,能从少量图像学习并实时渲染照片级真实感场景。它先用 COLMAP 做 Structure from Motion 估计点云,再将每个点转为高斯并训练,通过可微高斯光栅化实现快速渲染。其代价是显存占用高(查看需 4GB、训练需 12GB)和场景文件大(1GB+),且暂不兼容 Vulkan、DirectX、WebGPU 等现有渲染管线。
Hugging Face 博客介绍如何在 Diffusers 中使用 AudioLDM 2,通过半精度、flash attention、torch.compile 与更换 scheduler 等优化,把 10 秒音频的生成时间从 14 秒降到 1 秒以内,音质下降很小。
基于 🤗 Transformers、Optimum 和 Accelerate,可通过三项优化降低 Bark 文本转语音模型的显存占用并提升推理速度。Bark 由 Suno AI 提出,自 Transformers v4.31.0 起支持,包含语义、粗声学、细声学及 EnCodec 解码四个模型,提供 small 与 large 两个 checkpoint。
这篇教程演示如何用开源模型服务框架 BentoML 将 DeepFloyd IF 部署为生产级服务。DeepFloyd IF 是开源文生图模型,直接在像素空间工作,由冻结文本编码器和三个级联像素扩散模块组成,可将 64x64 px 图像逐步放大至 1024x1024 px,并用 T5-XXL-1.1 编码提示词。
Hugging Face 发布教程,介绍如何通过 Inference Endpoints 的自定义 handler 部署 MusicGen 音乐生成模型。用户需复制 facebook/musicgen-large 仓库,添加 handler.py 和 requirements.txt,即可创建端点,用文本提示生成音乐,也可选用旋律片段作为条件。
Hugging Face 发布 AI WebTV 实验演示,用开源文生视频模型 Zeroscope 与音乐生成模型 MusicGen 自动生成并串流播放短视频。
推荐理由:拆解了用 Zeroscope、MusicGen 与 FILM 搭建自动生成视频流的完整管线,并附失败案例与提示词建议。
在 Intel Sapphire Rapids CPU 集群上,通过 textual inversion 技术仅用 5 张示例图片即可微调 Stable Diffusion 模型。
Hugging Face 博客介绍借助 Core ML 的 6-bit palettization 量化,让 Stable Diffusion 在 iPhone、iPad 和 Mac 上运行更快、占用内存更少。
借助 OpenVINO NNCF 的量化感知训练(QAT)结合 Token Merging,Stable Diffusion 在 Intel CPU 上实现 5.1 倍推理加速和 4 倍模型体积缩减。优化从 Pokemons 数据集微调模型出发,仅需 4096 次迭代、单张 24GB 显存 GPU 一天内完成,并已集成到 Diffusers 训练脚本中。
该工作将 InstructPix2Pix 的训练策略与 FLAN V2 的指令模板思路结合,对 Stable Diffusion 做指令微调,使其能按输入图像加指令完成卡通化、去雨等图像翻译与低层图像处理任务。
Hugging Face 博客演示了如何在免费版 Google Colab 上用 🧨 diffusers 运行 DeepFloyd 的像素级文生图模型 IF,涵盖文生图、图像变体和图像修复三项功能。
在 Sapphire Rapids 至强 CPU 上,Stable Diffusion v1-5 默认 float32 推理单图平均延迟 32.3 秒,改用 Optimum Intel 与 OpenVINO 后降至 16.7 秒,固定 512x512 静态形状后进一步降至 4.7 秒。
Hugging Face 发布教程,讲解如何用 diffusers 训练 ControlNet,并以人脸姿态模型 Uncanny Faces 为例走完三步流程。
推荐理由:以人脸姿态 ControlNet 为例,完整走通条件规划、数据集构建与 diffusers 训练脚本,并给出低显存参数配置。
在 AI 游戏开发系列第 4 天,作者用 Stable Diffusion 的 Image2Image 配合 Photoshop 迭代,为农场游戏生成玉米和镰刀图标,玉米图标不到 10 分钟完成。
Hugging Face 发布博客,介绍如何用 LoRA 对 Stable Diffusion 做高效微调,并已在 diffusers 中提供 LoRA 训练支持,覆盖 Dreambooth 与完整微调两种方式。
推荐理由:diffusers 官方给出 LoRA 微调与推理脚本,并说明权重可缩至约 3 MB,便于创作者评估低成本定制流程。
文本到 3D 目前还无法实际用于游戏开发,生成的网格需大量手动处理才能达到游戏可用标准。DreamFusion、Point-E、CLIP-Forge 等方案多基于视图合成或 NeRF,与游戏依赖的网格管线不兼容。作者在 5 天农场游戏项目中改用不同颜色的立方体代表作物。
用 🧨 Diffusers 的 Dreambooth 脚本微调 Stable Diffusion 时,低学习率配合逐步增加训练步数效果最佳,人脸需 800-1200 步、batch size 2、LR 1e-6,物体用 2e-6 加 400 步即可。
这篇 Hugging Face 博客深入解析去噪扩散概率模型(DDPM),基于 Ho 等人 2020 年论文,用 PyTorch 逐步实现,代码参考 Phil Wang 的实现。文章涵盖前向加噪与反向去噪两个过程,DDPM 作者采用 T=1000 个时间步,并用正弦位置嵌入编码时间步,U-Net 核心模块采用 Wide ResNet 块。