Hugging Face 发布 Flux LoRA 快速推理优化方案
Hugging Face 发布针对 Flux.1-Dev 的 LoRA 推理优化方案,结合 Flash Attention 3、torch.compile 与 FP8 量化,在 H100 上实现 2.23 倍加速。
推荐理由:给出 Flux LoRA 推理的完整优化配方,含热插拔与消费级显卡的实测数据,可直接迁移到自有出图流程。
Hugging Face 发布针对 Flux.1-Dev 的 LoRA 推理优化方案,结合 Flash Attention 3、torch.compile 与 FP8 量化,在 H100 上实现 2.23 倍加速。
推荐理由:给出 Flux LoRA 推理的完整优化配方,含热插拔与消费级显卡的实测数据,可直接迁移到自有出图流程。
Hugging Face 发布教程,演示用 QLoRA 与 diffusers 在单卡上微调 FLUX.1-dev,峰值显存约 9GB。在 RTX 4090 上以 512x768 分辨率、LoRA rank 4 训练 700 步约耗时 41 分钟,而标准 BF16 LoRA 需 26GB 显存。
推荐理由:Hugging Face 官方给出在单卡消费级硬件上微调 FLUX.1-dev 的完整流程与显存实测数据,可迁移到自有风格训练。
Arm 工程师 Michael Gamble 用 Stable Audio Open 模型在 Arm CPU 上构建了一款本地实时音效生成工具,无需 GPU 和云端推理,几秒内即可根据文字提示生成 .wav 文件并直接导入 Ableton Live。
Hugging Face Diffusers 现已集成 bitsandbytes、GGUF、torchao、Quanto 和原生 FP8 等多种量化后端,并以 Flux-dev 为例展示其效果。
Hugging Face 发布一套开源视频数据集构建工具,采用三阶段流水线:用 yt-dlp 下载视频并切分为短片段,再用 LAION-5B-WatermarkDetection。
Hugging Face Diffusers 团队发布文章,梳理开源视频生成模型现状,并介绍 Diffusers 对这类模型的支持方式。文中列出 CogVideoX、Mochi-1、HunyuanVideo、Allegro、LTX-Video 等开源模型,指出高资源需求、泛化能力和延迟是主要限制。
推荐理由:Diffusers 团队系统梳理开源视频模型现状,并给出把 HunyuanVideo 显存压到约 6.5GB 的优化组合。
Hugging Face 的 Speech-to-Speech(S2S)项目通过 VAD、STT、语言模型和 TTS 组成的级联管线实现语音对话,支持英语、法语、西班牙语、中文、日语和韩语,可单语言运行或用 auto 标志自动检测语言。
教程介绍用 InstantTexture 库把生成式 3D 模型(如 InstantMesh)输出的顶点着色 .obj 网格转换为 UV 贴图 .glb 纹理网格,核心步骤是用 xatlas 生成 UV 映射,再以重心坐标插值填充 1024 纹理,并配合修补、中值滤波、高斯模糊和 LANCZOS 降采样消除空洞。
Hugging Face 展示如何借助 Diffusers 库中的 Quanto 量化工具降低 Transformer 扩散模型的内存占用。以 PixArt-Sigma、Stable Diffusion 3 和 Aura Flow 为例,将扩散主干与文本编码器量化为 FP8 后,SD3 推理显存从 16.403 GB 降至 8.204 GB,画质几乎无损、延迟略有上升。
ONNX Runtime 的 CUDA 与 TensorRT 执行提供程序可显著加速 SD Turbo 和 SDXL Turbo 在 NVIDIA GPU 上的推理,吞吐量相比 PyTorch 最高提升 229%(SDXL Turbo)和 120%(SD Turbo)。
Hugging Face 发布教程,讲解如何把 ComfyUI 工作流导出为纯 Python 并用 Gradio 封装,再部署到 Hugging Face Spaces 的 ZeroGPU 上免费运行。
推荐理由:把 ComfyUI 工作流导出为 Python 并部署到 Hugging Face Spaces ZeroGPU,可复用的免费出片流程。
Hugging Face 发布 SDXL Dreambooth LoRA 进阶训练脚本,把 Pivotal Tuning 与 Prodigy 优化器整合进 diffusers,并给出可复用的训练参数。
推荐理由:Hugging Face 官方把 Pivotal Tuning 与 Prodigy 优化器整合进 diffusers 训练脚本,并给出可直接复用的参数与实验对比。
Hugging Face 在 Inference API 中实现 LoRA 动态加载,按请求在保持基础模型常驻的前提下切换 LoRA 适配器,把预热时间从 25s 降到 3s,用户请求响应从 35s 降到 13s。
Hugging Face 发布 LCM LoRA 方法,通过训练少量 LoRA 适配层而非蒸馏整个模型,让 SDXL 和 Stable Diffusion 从原本 25 到 50 步降到 4 到 8 步生成图像。
推荐理由:LCM LoRA 让 SDXL 在 4 步内出图,文中给出可直接运行的 diffusers 代码与多硬件速度对比。
在 A100(40GB)上,SDXL 默认全精度推理需 28GB 显存、耗时 72.2 秒;改用 fp16 后降至 21.7GB、14.8 秒,叠加 PyTorch 2.0 默认启用的 SDPA 进一步降到 11.4 秒,再用 torch.compile 包裹 UNet 可缩短至 10.2 秒。
Hugging Face 发布教程,介绍如何 fork 并配置 AI Comic Factory,通过 Inference API 部署到私有 Space,避免官方 Space 的长时间等待。
Hugging Face 博客介绍如何用 trl 库新增的 DDPOTrainer,通过 DDPO(Denoising Diffusion Policy Optimization)对 Stable Diffusion 做强化学习微调。
3D Gaussian Splatting 是一种光栅化技术,能从少量图像学习并实时渲染照片级真实感场景。它先用 COLMAP 做 Structure from Motion 估计点云,再将每个点转为高斯并训练,通过可微高斯光栅化实现快速渲染。其代价是显存占用高(查看需 4GB、训练需 12GB)和场景文件大(1GB+),且暂不兼容 Vulkan、DirectX、WebGPU 等现有渲染管线。
Hugging Face 博客介绍如何在 Diffusers 中使用 AudioLDM 2,通过半精度、flash attention、torch.compile 与更换 scheduler 等优化,把 10 秒音频的生成时间从 14 秒降到 1 秒以内,音质下降很小。
基于 🤗 Transformers、Optimum 和 Accelerate,可通过三项优化降低 Bark 文本转语音模型的显存占用并提升推理速度。Bark 由 Suno AI 提出,自 Transformers v4.31.0 起支持,包含语义、粗声学、细声学及 EnCodec 解码四个模型,提供 small 与 large 两个 checkpoint。
这篇教程演示如何用开源模型服务框架 BentoML 将 DeepFloyd IF 部署为生产级服务。DeepFloyd IF 是开源文生图模型,直接在像素空间工作,由冻结文本编码器和三个级联像素扩散模块组成,可将 64x64 px 图像逐步放大至 1024x1024 px,并用 T5-XXL-1.1 编码提示词。
Hugging Face 发布教程,介绍如何通过 Inference Endpoints 的自定义 handler 部署 MusicGen 音乐生成模型。用户需复制 facebook/musicgen-large 仓库,添加 handler.py 和 requirements.txt,即可创建端点,用文本提示生成音乐,也可选用旋律片段作为条件。
Hugging Face 发布 AI WebTV 实验演示,用开源文生视频模型 Zeroscope 与音乐生成模型 MusicGen 自动生成并串流播放短视频。
推荐理由:拆解了用 Zeroscope、MusicGen 与 FILM 搭建自动生成视频流的完整管线,并附失败案例与提示词建议。
在 Intel Sapphire Rapids CPU 集群上,通过 textual inversion 技术仅用 5 张示例图片即可微调 Stable Diffusion 模型。
Hugging Face 博客介绍借助 Core ML 的 6-bit palettization 量化,让 Stable Diffusion 在 iPhone、iPad 和 Mac 上运行更快、占用内存更少。
借助 OpenVINO NNCF 的量化感知训练(QAT)结合 Token Merging,Stable Diffusion 在 Intel CPU 上实现 5.1 倍推理加速和 4 倍模型体积缩减。优化从 Pokemons 数据集微调模型出发,仅需 4096 次迭代、单张 24GB 显存 GPU 一天内完成,并已集成到 Diffusers 训练脚本中。
该工作将 InstructPix2Pix 的训练策略与 FLAN V2 的指令模板思路结合,对 Stable Diffusion 做指令微调,使其能按输入图像加指令完成卡通化、去雨等图像翻译与低层图像处理任务。
Hugging Face 博客演示了如何在免费版 Google Colab 上用 🧨 diffusers 运行 DeepFloyd 的像素级文生图模型 IF,涵盖文生图、图像变体和图像修复三项功能。
在 Sapphire Rapids 至强 CPU 上,Stable Diffusion v1-5 默认 float32 推理单图平均延迟 32.3 秒,改用 Optimum Intel 与 OpenVINO 后降至 16.7 秒,固定 512x512 静态形状后进一步降至 4.7 秒。
Hugging Face 发布教程,讲解如何用 diffusers 训练 ControlNet,并以人脸姿态模型 Uncanny Faces 为例走完三步流程。
推荐理由:以人脸姿态 ControlNet 为例,完整走通条件规划、数据集构建与 diffusers 训练脚本,并给出低显存参数配置。
Hugging Face 在 Diffusers 中集成 ControlNet,推出 StableDiffusionControlNetPipeline,可用深度图、分割图、涂鸦、关键点等空间条件控制 Stable Diffusion 生成。
推荐理由:Diffusers 官方给出 ControlNet 的完整接入方式,含 Canny、OpenPose 与多条件组合的可复用代码。
在 AI 游戏开发系列第 4 天,作者用 Stable Diffusion 的 Image2Image 配合 Photoshop 迭代,为农场游戏生成玉米和镰刀图标,玉米图标不到 10 分钟完成。
Hugging Face 发布博客,介绍如何用 LoRA 对 Stable Diffusion 做高效微调,并已在 diffusers 中提供 LoRA 训练支持,覆盖 Dreambooth 与完整微调两种方式。
推荐理由:diffusers 官方给出 LoRA 微调与推理脚本,并说明权重可缩至约 3 MB,便于创作者评估低成本定制流程。
文本到 3D 目前还无法实际用于游戏开发,生成的网格需大量手动处理才能达到游戏可用标准。DreamFusion、Point-E、CLIP-Forge 等方案多基于视图合成或 NeRF,与游戏依赖的网格管线不兼容。作者在 5 天农场游戏项目中改用不同颜色的立方体代表作物。
苹果工程师提供了转换脚本与推理代码,Hugging Face 已把 Stable Diffusion v1.4、v1.5、v2 base、v2.1 base 的权重转成 Core ML 版本并放到 Hugging Face Hub。
推荐理由:苹果工程师与 Hugging Face 把 Stable Diffusion 权重转成 Core ML,并给出 Python 与 Swift 两条推理路径,可据此在 Apple Silicon 上本地出图。
用 🧨 Diffusers 的 Dreambooth 脚本微调 Stable Diffusion 时,低学习率配合逐步增加训练步数效果最佳,人脸需 800-1200 步、batch size 2、LR 1e-6,物体用 2e-6 加 400 步即可。
Hugging Face 发布教程,讲解如何用 Diffusers 库运行 Stable Diffusion 文生图模型,并拆解其工作原理。
推荐理由:Hugging Face 官方拆解 Stable Diffusion 在 Diffusers 中的调用方式与 Latent Diffusion 三组件原理,便于理解出图流程。
这篇 Hugging Face 博客深入解析去噪扩散概率模型(DDPM),基于 Ho 等人 2020 年论文,用 PyTorch 逐步实现,代码参考 Phil Wang 的实现。文章涵盖前向加噪与反向去噪两个过程,DDPM 作者采用 T=1000 个时间步,并用正弦位置嵌入编码时间步,U-Net 核心模块采用 Wide ResNet 块。