OpenAI 分享 Voice Engine 自定义语音模型小规模预览的经验与挑战
OpenAI 分享了自定义语音模型 Voice Engine 小规模预览的经验教训。该模型可根据文本创建定制声音,目前仅处于小范围测试阶段。
OpenAI 分享了自定义语音模型 Voice Engine 小规模预览的经验教训。该模型可根据文本创建定制声音,目前仅处于小范围测试阶段。
OpenAI 上月发布 Sora 后,与艺术家合作探索其在创作流程中的应用。
Hugging Face 发布 TTS Arena,一个借鉴 LMSys Chatbot Arena 的文本转语音模型对比工具,用户输入文本、试听两个模型的合成语音后投票选出更自然的一方,结果汇入公开排行榜。
Hugging Face 发文梳理 AI 生成内容的水印方案,区分生成时嵌入与生成后添加两类路径,并介绍 Hub 上可用的加水印与检测工具。文章还提到 Glaze、Photoguard 等图像"隐形改动"工具,以及 Nightshade、Fawkes 这类数据投毒工具,用于阻止模型学习或生成人脸。Truepic 则按 C2PA 标准嵌入元数据并配合水印,提升来源可验证性。
Hugging Face 的 PEFT 库新增了面向 LoRA 适配器的合并方法,包括 cat、linear、svd 以及基于 TIES 的 ties 和 ties_svd。
OpenAI 探索在视频数据上大规模训练生成模型,将文本条件扩散模型联合训练于不同时长、分辨率和宽高比的视频与图像,并采用在视频和图像 latent code 的时空 patch 上运行的 transformer 架构。其最大模型 Sora 能生成一分钟高保真视频,结果表明扩展视频生成模型是构建通用物理世界模拟器的一条有前景的路径。
推荐理由:OpenAI 首次公开 Sora 的技术路线,说明视频生成模型可扩展为物理世界模拟器。
Segmind 发布 SegMoE 框架,可从零创建混合专家(MoE)扩散模型,并已集成进 Hugging Face diffusers。此次发布包括 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型版本,以及用于自建 MoE 模型的 segmoe 代码包,模型采用 Apache 2.0 许可。
推荐理由:发布方给出从零构建 MoE 扩散模型的代码与三个合并版本,创作者可据此把多个预训练模型组合成新模型。
ONNX Runtime 的 CUDA 与 TensorRT 执行提供程序可显著加速 SD Turbo 和 SDXL Turbo 在 NVIDIA GPU 上的推理,吞吐量相比 PyTorch 最高提升 229%(SDXL Turbo)和 120%(SD Turbo)。
Hugging Face 发布教程,讲解如何把 ComfyUI 工作流导出为纯 Python 并用 Gradio 封装,再部署到 Hugging Face Spaces 的 ZeroGPU 上免费运行。
推荐理由:把 ComfyUI 工作流导出为 Python 并部署到 Hugging Face Spaces ZeroGPU,可复用的免费出片流程。
Hugging Face 发布 aMUSEd,一个约 800M 参数的非扩散文本到图像模型,是 Google MUSE 的开源复现,采用掩码图像建模(MIM)方法,推理步数更少且可解释性更强。
Hugging Face 发布 SDXL Dreambooth LoRA 进阶训练脚本,把 Pivotal Tuning 与 Prodigy 优化器整合进 diffusers,并给出可复用的训练参数。
推荐理由:Hugging Face 官方把 Pivotal Tuning 与 Prodigy 优化器整合进 diffusers 训练脚本,并给出可直接复用的参数与实验对比。
Hugging Face 在 Inference API 中实现 LoRA 动态加载,按请求在保持基础模型常驻的前提下切换 LoRA 适配器,把预热时间从 25s 降到 3s,用户请求响应从 35s 降到 13s。
Hugging Face 发布 LCM LoRA 方法,通过训练少量 LoRA 适配层而非蒸馏整个模型,让 SDXL 和 Stable Diffusion 从原本 25 到 50 步降到 4 到 8 步生成图像。
推荐理由:LCM LoRA 让 SDXL 在 4 步内出图,文中给出可直接运行的 diffusers 代码与多硬件速度对比。
OpenAI 在 DevDay 上发布 GPT-4 Turbo,支持 128K 上下文且价格更低,并新增视觉能力。同时推出 Assistants API、DALL·E 3 API 等开发者产品。
在 A100(40GB)上,SDXL 默认全精度推理需 28GB 显存、耗时 72.2 秒;改用 fp16 后降至 21.7GB、14.8 秒,叠加 PyTorch 2.0 默认启用的 SDPA 进一步降到 11.4 秒,再用 torch.compile 包裹 UNet 可缩短至 10.2 秒。
OpenAI 宣布 DALL·E 3 现已在 ChatGPT Plus 和 Enterprise 中可用。为准备更大范围发布,OpenAI 开发了一套安全缓解措施,并同步分享了其在内容溯源研究方面的进展。
推荐理由:DALL·E 3 面向 ChatGPT Plus 与 Enterprise 开放,官方同时说明为扩大发布所做的安全缓解措施。
Hugging Face Diffusers 现已支持在 Cloud TPU v5e 上通过 JAX 运行 SDXL 推理,借助 JIT 编译与 XLA 并行实现高性能、低成本部署。演示在多个 TPU v5e-4 实例上并行生成 4 张 1024×1024 图像约需 4 秒,纯生成时间约 2.3 秒;TPU v5e 成本不到 TPU v4 的一半。
Hugging Face 发布教程,介绍如何 fork 并配置 AI Comic Factory,通过 Inference API 部署到私有 Space,避免官方 Space 的长时间等待。
Hugging Face 博客介绍如何用 trl 库新增的 DDPOTrainer,通过 DDPO(Denoising Diffusion Policy Optimization)对 Stable Diffusion 做强化学习微调。
3D Gaussian Splatting 是一种光栅化技术,能从少量图像学习并实时渲染照片级真实感场景。它先用 COLMAP 做 Structure from Motion 估计点云,再将每个点转为高斯并训练,通过可微高斯光栅化实现快速渲染。其代价是显存占用高(查看需 4GB、训练需 12GB)和场景文件大(1GB+),且暂不兼容 Vulkan、DirectX、WebGPU 等现有渲染管线。
Hugging Face 发布 Würstchen 图像生成扩散模型,其文本条件部分在高度压缩的潜空间中工作,通过 Stage A 的 VQGAN 与 Stage B 的 Diffusion Autoencoder 实现 42x 空间压缩,Stage C 作为 Prior 在该潜空间中训练。
推荐理由:Würstchen 用 42x 空间压缩把训练成本降到 SD1.4 的约六分之一,可据此评估低显存出图方案。
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作为 Stable Diffusion XL 提供 T2I-Adapter 支持,并发布 sketch、canny、lineart、depth、openpose 等条件的 checkpoint。
推荐理由:对比 ControlNet 的参数量与推理开销,给出 T2I-Adapter 在 SDXL 上的可控生成方案与可复用训练脚本。
Hugging Face 博客介绍如何在 Diffusers 中使用 AudioLDM 2,通过半精度、flash attention、torch.compile 与更换 scheduler 等优化,把 10 秒音频的生成时间从 14 秒降到 1 秒以内,音质下降很小。
OpenAI 收购了 Global Illumination,该团队全体成员已加入 OpenAI。
基于 🤗 Transformers、Optimum 和 Accelerate,可通过三项优化降低 Bark 文本转语音模型的显存占用并提升推理速度。Bark 由 Suno AI 提出,自 Transformers v4.31.0 起支持,包含语义、粗声学、细声学及 EnCodec 解码四个模型,提供 small 与 large 两个 checkpoint。
这篇教程演示如何用开源模型服务框架 BentoML 将 DeepFloyd IF 部署为生产级服务。DeepFloyd IF 是开源文生图模型,直接在像素空间工作,由冻结文本编码器和三个级联像素扩散模块组成,可将 64x64 px 图像逐步放大至 1024x1024 px,并用 T5-XXL-1.1 编码提示词。
Hugging Face 发布教程,介绍如何通过 Inference Endpoints 的自定义 handler 部署 MusicGen 音乐生成模型。用户需复制 facebook/musicgen-large 仓库,添加 handler.py 和 requirements.txt,即可创建端点,用文本提示生成音乐,也可选用旋律片段作为条件。
Segmind 开源了压缩模型 SD-Small 和 SD-Tiny 的权重与知识蒸馏训练代码,两者参数量分别比基础模型减少 35% 和 55%,推理速度最高提升 100%,图像保真度与基础模型相当。
苹果与 Hugging Face 将 Stable Diffusion XL 基础模型移植到 Core ML,可在运行 macOS 14 公测版的 Apple Silicon Mac 上使用,目前采用 ORIGINAL attention 实现,refiner 阶段尚未移植。
推荐理由:苹果与 Hugging Face 联合给出 SDXL 在 Mac 上的 Core ML 混合位量化方案,附各机型实测延迟与压缩配方。
Hugging Face 公布首届 Open Source AI Game Jam 结果,活动收到 1300 多人报名、88 款游戏提交,冠军由 ohmlet 的 Snip It 获得,该游戏用 Stable Diffusion 生成素材。
Hugging Face 的 Diffusers 库迎来一周年,已从文本生成图像扩展至视频、3D 与图像编辑。该库新增 DeepFloyd IF、SDXL、VideoFusion、Text2Video-Zero 及 OpenAI Shap-E 等模型支持,并集成 LoRA、Torch 2.0 优化与安全检测组件。
Hugging Face 发布 AI WebTV 实验演示,用开源文生视频模型 Zeroscope 与音乐生成模型 MusicGen 自动生成并串流播放短视频。
推荐理由:拆解了用 Zeroscope、MusicGen 与 FILM 搭建自动生成视频流的完整管线,并附失败案例与提示词建议。
在 Intel Sapphire Rapids CPU 集群上,通过 textual inversion 技术仅用 5 张示例图片即可微调 Stable Diffusion 模型。
Hugging Face 发布《伦理与社会通讯》第4期,聚焦文本到图像模型的偏见问题。文章梳理了训练数据、预训练数据过滤、CLIP 推理、模型潜在空间及事后过滤等五类偏见来源,并指出 Stable Diffusion v2.1 与 ERNIE ViLG 在"北京的房子"同一提示下生成结果存在文化刻板印象。团队同时介绍了 Stable Bias 项目用于探索和比较生成图像偏见的工具。
Hugging Face 博客介绍借助 Core ML 的 6-bit palettization 量化,让 Stable Diffusion 在 iPhone、iPad 和 Mac 上运行更快、占用内存更少。
借助 OpenVINO NNCF 的量化感知训练(QAT)结合 Token Merging,Stable Diffusion 在 Intel CPU 上实现 5.1 倍推理加速和 4 倍模型体积缩减。优化从 Pokemons 数据集微调模型出发,仅需 4096 次迭代、单张 24GB 显存 GPU 一天内完成,并已集成到 Diffusers 训练脚本中。
该工作将 InstructPix2Pix 的训练策略与 FLAN V2 的指令模板思路结合,对 Stable Diffusion 做指令微调,使其能按输入图像加指令完成卡通化、去雨等图像翻译与低层图像处理任务。
Hugging Face 博客梳理了文本到视频模型的发展脉络:早期基于 GAN 和 VAE 的方法受限于低分辨率与短时长,随后 Phenaki、Make-A-Video、NUWA、VideoGPT、CogVideo 等转向 transformer 架构,当前主流则采用扩散模型。文本到视频需保证帧间时空一致性,面临算力成本高、高质量数据集稀缺、视频描述模糊三大挑战,模型通常只能生成极短片段。
Hugging Face 博客演示了如何在免费版 Google Colab 上用 🧨 diffusers 运行 DeepFloyd 的像素级文生图模型 IF,涵盖文生图、图像变体和图像修复三项功能。
在 Sapphire Rapids 至强 CPU 上,Stable Diffusion v1-5 默认 float32 推理单图平均延迟 32.3 秒,改用 Optimum Intel 与 OpenVINO 后降至 16.7 秒,固定 512x512 静态形状后进一步降至 4.7 秒。