Fish Audio 发布 Drama 3 语音模型:用括号舞台指示控制表演
Fish Audio 发布文本转语音模型 Drama 3,用户可在剧本中用方括号写舞台指示来调整语气、节奏和表演,并支持单词级控制、内联音效与多说话人脚本。模型以 36B 参数开放权重形式发布在 Hugging Face(fishaudio/drama-3),据用户报告全精度运行约需 46GB 显存,社区 4-bit 量化版约 32GB。
Fish Audio 发布文本转语音模型 Drama 3,用户可在剧本中用方括号写舞台指示来调整语气、节奏和表演,并支持单词级控制、内联音效与多说话人脚本。模型以 36B 参数开放权重形式发布在 Hugging Face(fishaudio/drama-3),据用户报告全精度运行约需 46GB 显存,社区 4-bit 量化版约 32GB。
ComfyUI 宣布已支持 Hao Ai lab 的 FastH3 OmniRef,该模型面向快速、高质量的视频与音频生成。OmniRef 让它支持多模态参考素材,创作者和团队对生成内容的控制不再只依赖文本提示词;模型可本地运行,团队能在自有硬件上生成并保留素材,无需依赖托管 API。官方同时给出云端入口与 Hugging Face 开放权重链接。
ComfyUI 宣布已支持 OpenMOSS 开源图像模型 MOSS-Image,该模型为 5B 规模,可渲染清晰可读的文字并接受结构布局提示。官方已在 Hugging Face 放出对应工作流,面向海报、广告与本地化创意等需要布局控制的出图场景。
Black Forest Labs 在 Hugging Face 发布 Flux 3 Image Klein 的 ComfyUI 重打包模型文件,原始模型仓库为 black-forest-labs/flux-3-image-klein。
作者为 Fish Audio Drama 3 开发了 ComfyUI-Drama3 自定义节点,这是一个 35B 文本转语音模型,支持声音克隆、对话以及 [sighs]、[whispers] 等行内提示,最低可在 8GB 显存的显卡上运行。
Noiz AI 开源了世界模型 HelixWorld,给一张起始图片并填写场景描述后,可用 WASD 移动、方向键转动视角,模型结合当前场景与操作继续生成后续画面与声音。
LightX2V 发布 Qwen-Image 2.1 的 Lightning LoRA,把该模型默认 40 步的生成压缩到 4 步,采样器改为 4 步、CFG 关闭(true_cfg_scale=1.0)并固定四个 sigma 值。
Hugging Face 团队用 Gradio Workflow 重建了 AUTOMATIC1111 的大部分功能,做成单一画布 Workflow1111,由 11 条媒体管线和 73 个节点组成。
Gradio 内置的 gr.Workflow 把 AI 管线描述为带类型节点的图,提供可拖拽画布,每个节点可运行、中间结果可见,同一张图同时是 REST API 并可一键部署到 Hugging Face Spaces。
Hugging Face 博客介绍 Diffusers 现已原生支持 Nunchaku 的 4-bit 扩散推理,加载量化 checkpoint 只需调用 from_pretrained(),无需本地 CUDA 编译。
Hugging Face 发布 FastRTC,一个用 Python 构建实时音频与视频 AI 应用的实时通信库。
Segmind 发布 SegMoE 框架,可从零创建混合专家(MoE)扩散模型,并已集成进 Hugging Face diffusers。此次发布包括 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型版本,以及用于自建 MoE 模型的 segmoe 代码包,模型采用 Apache 2.0 许可。
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作为 Stable Diffusion XL 提供 T2I-Adapter 支持,并发布 sketch、canny、lineart、depth、openpose 等条件的 checkpoint。
苹果与 Hugging Face 将 Stable Diffusion XL 基础模型移植到 Core ML,可在运行 macOS 14 公测版的 Apple Silicon Mac 上使用,目前采用 ORIGINAL attention 实现,refiner 阶段尚未移植。
Hugging Face 在 Diffusers 中集成 ControlNet,推出 StableDiffusionControlNetPipeline,可用深度图、分割图、涂鸦、关键点等空间条件控制 Stable Diffusion 生成。
苹果工程师提供了转换脚本与推理代码,Hugging Face 已把 Stable Diffusion v1.4、v1.5、v2 base、v2.1 base 的权重转成 Core ML 版本并放到 Hugging Face Hub。
Hugging Face 发布教程,讲解如何用 Diffusers 库运行 Stable Diffusion 文生图模型,并拆解其工作原理。