Hugging Face Diffusers 库一周年:回顾文本生成图像、视频与 3D 模型进展
Hugging Face 的 Diffusers 库迎来一周年,已从文本生成图像扩展至视频、3D 与图像编辑。该库新增 DeepFloyd IF、SDXL、VideoFusion、Text2Video-Zero 及 OpenAI Shap-E 等模型支持,并集成 LoRA、Torch 2.0 优化与安全检测组件。
Hugging Face 的 Diffusers 库迎来一周年,已从文本生成图像扩展至视频、3D 与图像编辑。该库新增 DeepFloyd IF、SDXL、VideoFusion、Text2Video-Zero 及 OpenAI Shap-E 等模型支持,并集成 LoRA、Torch 2.0 优化与安全检测组件。
Hugging Face 在 Diffusers 中集成 ControlNet,推出 StableDiffusionControlNetPipeline,可用深度图、分割图、涂鸦、关键点等空间条件控制 Stable Diffusion 生成。
推荐理由:Diffusers 官方给出 ControlNet 的完整接入方式,含 Canny、OpenPose 与多条件组合的可复用代码。
Hugging Face 发布 🧨Diffusers for Mac 1.1,一款基于 Core ML 的原生 Mac 应用,可将社区贡献的 Stable Diffusion 等文生图模型转换后本地运行,生成速度最高提升至 2 倍。应用完全开源,支持 CPU、GPU 与神经引擎协同加速,并自动选择最佳加速器。
苹果工程师提供了转换脚本与推理代码,Hugging Face 已把 Stable Diffusion v1.4、v1.5、v2 base、v2.1 base 的权重转成 Core ML 版本并放到 Hugging Face Hub。
推荐理由:苹果工程师与 Hugging Face 把 Stable Diffusion 权重转成 Core ML,并给出 Python 与 Swift 两条推理路径,可据此在 Apple Silicon 上本地出图。
OpenAI 宣布 DALL·E API 现已进入公开测试阶段,开发者从即日起可以开始用它构建应用。
Hugging Face Diffusers 自 0.5.1 版起支持 Flax,可在 Google TPU 上实现超快推理。文章演示用 FlaxStableDiffusionPipeline 加载 CompVis/stable-diffusion-v1-4 的 bf16 权重,借助 8 个并行 TPU 设备同时生成 8 张图像,耗时与单芯片生成一张相当。
OpenAI 宣布训练并开源语音识别神经网络 Whisper,称其在英文语音识别上的鲁棒性和准确率接近人类水平。
推荐理由:OpenAI 开源语音识别模型 Whisper,其英文识别鲁棒性与准确率接近人类水平。
Diffusers 0.3 新增图生图、Textual Inversion、实验性 Inpainting 等 pipeline,并支持在 M1/M2 Mac 上通过 mps 运行 Stable Diffusion。优化后 Stable Diffusion 显存占用降至 3.2GB,速度损失 10%,另推出实验性 ONNX 导出器与全新文档。
Hugging Face 发布教程,讲解如何用 Diffusers 库运行 Stable Diffusion 文生图模型,并拆解其工作原理。
推荐理由:Hugging Face 官方拆解 Stable Diffusion 在 Diffusers 中的调用方式与 Latent Diffusion 三组件原理,便于理解出图流程。