Hugging Face 发布 FastRTC:面向 Python 的实时通信库
Hugging Face 发布 FastRTC,一个用 Python 构建实时音频与视频 AI 应用的实时通信库。
推荐理由:FastRTC 把 WebRTC 实时音视频通信封装成 Python 库,可省去自建实时链路的前期成本。
Hugging Face 发布 FastRTC,一个用 Python 构建实时音频与视频 AI 应用的实时通信库。
推荐理由:FastRTC 把 WebRTC 实时音视频通信封装成 Python 库,可省去自建实时链路的前期成本。
Diffusers 团队实验性推出 Remote VAE,将扩散模型的 VAE 解码过程交给远程 Inference Endpoints 处理,以降低高分辨率图像和视频合成对消费级 GPU 的显存压力。
Hugging Face Hub 新增 Hyperbolic、Nebius AI Studio 和 Novita 三家无服务器推理提供商,支持 DeepSeek-R1、Flux.1 等模型,并已集成 JS 和 Python 客户端 SDK。用户可在账户设置中配置自有 API key 直连提供商,或通过 HF 路由调用并按标准 API 费率计费,无额外加价;PRO 用户每月获 2 美元推理额度。
HuggingChat 上线 Community Tools,用户可把 Hugging Face 上任意公开 Space 转为模型可直接调用的工具,并借此扩展图像理解、视频生成和文本转语音等多模态能力。用户也能用 Gradio 自建自定义工具,并在助手中最多添加 3 个工具。该功能仍处于实验阶段。
OpenAI 发文详解其文本转语音模型 Voice Engine 的技术原理与安全研究。Voice Engine 可根据文本生成语音,官方同时介绍了围绕该模型开展的安全研究工作。
Hugging Face 的 PEFT 库新增了面向 LoRA 适配器的合并方法,包括 cat、linear、svd 以及基于 TIES 的 ties 和 ties_svd。
Hugging Face Diffusers 现已支持在 Cloud TPU v5e 上通过 JAX 运行 SDXL 推理,借助 JIT 编译与 XLA 并行实现高性能、低成本部署。演示在多个 TPU v5e-4 实例上并行生成 4 张 1024×1024 图像约需 4 秒,纯生成时间约 2.3 秒;TPU v5e 成本不到 TPU v4 的一半。
Hugging Face 的 Diffusers 库迎来一周年,已从文本生成图像扩展至视频、3D 与图像编辑。该库新增 DeepFloyd IF、SDXL、VideoFusion、Text2Video-Zero 及 OpenAI Shap-E 等模型支持,并集成 LoRA、Torch 2.0 优化与安全检测组件。
Hugging Face 发布 🧨Diffusers for Mac 1.1,一款基于 Core ML 的原生 Mac 应用,可将社区贡献的 Stable Diffusion 等文生图模型转换后本地运行,生成速度最高提升至 2 倍。应用完全开源,支持 CPU、GPU 与神经引擎协同加速,并自动选择最佳加速器。
OpenAI 宣布 DALL·E API 现已进入公开测试阶段,开发者从即日起可以开始用它构建应用。
Hugging Face Diffusers 自 0.5.1 版起支持 Flax,可在 Google TPU 上实现超快推理。文章演示用 FlaxStableDiffusionPipeline 加载 CompVis/stable-diffusion-v1-4 的 bf16 权重,借助 8 个并行 TPU 设备同时生成 8 张图像,耗时与单芯片生成一张相当。
Diffusers 0.3 新增图生图、Textual Inversion、实验性 Inpainting 等 pipeline,并支持在 M1/M2 Mac 上通过 mps 运行 Stable Diffusion。优化后 Stable Diffusion 显存占用降至 3.2GB,速度损失 10%,另推出实验性 ONNX 导出器与全新文档。
OpenAI 宣布 DALL·E 进入 Beta,将在未来几周从候补名单中邀请 100 万人使用。用户可用每月重置的免费额度生成图像,也可按 115 次生成 15 美元的价格购买额外额度。
推荐理由:DALL·E 从候补名单走向百万级开放,并给出免费额度与付费增量,可据此判断早期图像生成工具的可用门槛。
OpenAI 为 DALL·E 2 部署了一项新技术,使其生成的人物图像能更准确地反映世界人口的多样性,以减少偏见并提升安全性。
OpenAI 更新 DALL·E 2 研究预览进展,早期用户迄今已生成超过 300 万张图像,并帮助改进了安全流程。OpenAI 表示将开始每周从等待名单中新增最多 1000 名用户。
推荐理由:DALL·E 2 研究预览阶段的用户规模与安全流程进展,可了解其早期开放节奏。