Hugging Face AI Sheets 新增视觉能力:在表格里用开源模型处理图像
Hugging Face AI Sheets 发布重大更新,新增视觉支持,可在表格中直接查看、分析、提取图像信息并生成和编辑图片,无需写代码。该工具由 Inference Providers 驱动,可调用数千个开源模型,支持从收据、文档、图表中提取结构化数据,也能按提示词生成配图并批量产出变体,结果可导出为 CSV 或 Parquet。
Hugging Face AI Sheets 发布重大更新,新增视觉支持,可在表格中直接查看、分析、提取图像信息并生成和编辑图片,无需写代码。该工具由 Inference Providers 驱动,可调用数千个开源模型,支持从收据、文档、图表中提取结构化数据,也能按提示词生成配图并批量产出变体,结果可导出为 CSV 或 Parquet。
Hugging Face 在 Gradio 中新增 watermark 参数,开发者只需一行命令即可为 AI 生成的图像、视频和文本添加可见水印。图像和视频通过 gr.Image、gr.Video 的 watermark 参数指定水印文件,支持图片或 numpy 数组,还可使用 QR 水印;文本则通过 gr.Chatbot 的 watermark 参数在用户复制 AI 回复时自动附加署名。
通过 Hugging Face MCP Server 将 Claude 接入 Hugging Face Spaces,即可调用 FLUX.1 Krea [dev] 和 Qwen-Image 等模型生成图像。
Invideo AI 借助 OpenAI 的 GPT-4.1、gpt-image-1 和文本转语音模型,把创意想法在几分钟内转化为专业视频,视频制作速度提升 10 倍。
Hugging Face 在 Inference Endpoints 上线新版 OpenAI Whisper 部署方案,基于 vLLM 实现,RTFx 较此前版本提升近 8 倍,转录质量无损。
ChatGPT 图像生成支持从提示词、草图或上传图片出发,创建品牌视觉素材与产品效果图。该功能面向品牌视觉与产品 mockup 场景,可基于已有素材进行生成。
Hugging Face 与 Cloudflare 达成合作,FastRTC 开发者凭 Hugging Face Token 即可接入 Cloudflare 覆盖全球 335 多个地点的 TURN 网络,每月免费流式传输 10GB 数据且无需信用卡。该集成将在 FastRTC 0.0.20 及以上版本提供,超出限额后可切换至 Cloudflare 账户扩容。
Hugging Face 发布 FastRTC,一个用 Python 构建实时音频与视频 AI 应用的实时通信库。
推荐理由:FastRTC 把 WebRTC 实时音视频通信封装成 Python 库,可省去自建实时链路的前期成本。
Diffusers 团队实验性推出 Remote VAE,将扩散模型的 VAE 解码过程交给远程 Inference Endpoints 处理,以降低高分辨率图像和视频合成对消费级 GPU 的显存压力。
Hugging Face Hub 新增 Hyperbolic、Nebius AI Studio 和 Novita 三家无服务器推理提供商,支持 DeepSeek-R1、Flux.1 等模型,并已集成 JS 和 Python 客户端 SDK。用户可在账户设置中配置自有 API key 直连提供商,或通过 HF 路由调用并按标准 API 费率计费,无额外加价;PRO 用户每月获 2 美元推理额度。
HuggingChat 上线 Community Tools,用户可把 Hugging Face 上任意公开 Space 转为模型可直接调用的工具,并借此扩展图像理解、视频生成和文本转语音等多模态能力。用户也能用 Gradio 自建自定义工具,并在助手中最多添加 3 个工具。该功能仍处于实验阶段。
OpenAI 发文详解其文本转语音模型 Voice Engine 的技术原理与安全研究。Voice Engine 可根据文本生成语音,官方同时介绍了围绕该模型开展的安全研究工作。
Hugging Face 的 PEFT 库新增了面向 LoRA 适配器的合并方法,包括 cat、linear、svd 以及基于 TIES 的 ties 和 ties_svd。
Segmind 发布 SegMoE 框架,可从零创建混合专家(MoE)扩散模型,并已集成进 Hugging Face diffusers。此次发布包括 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型版本,以及用于自建 MoE 模型的 segmoe 代码包,模型采用 Apache 2.0 许可。
推荐理由:发布方给出从零构建 MoE 扩散模型的代码与三个合并版本,创作者可据此把多个预训练模型组合成新模型。
ONNX Runtime 的 CUDA 与 TensorRT 执行提供程序可显著加速 SD Turbo 和 SDXL Turbo 在 NVIDIA GPU 上的推理,吞吐量相比 PyTorch 最高提升 229%(SDXL Turbo)和 120%(SD Turbo)。
Hugging Face Diffusers 现已支持在 Cloud TPU v5e 上通过 JAX 运行 SDXL 推理,借助 JIT 编译与 XLA 并行实现高性能、低成本部署。演示在多个 TPU v5e-4 实例上并行生成 4 张 1024×1024 图像约需 4 秒,纯生成时间约 2.3 秒;TPU v5e 成本不到 TPU v4 的一半。
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作为 Stable Diffusion XL 提供 T2I-Adapter 支持,并发布 sketch、canny、lineart、depth、openpose 等条件的 checkpoint。
推荐理由:对比 ControlNet 的参数量与推理开销,给出 T2I-Adapter 在 SDXL 上的可控生成方案与可复用训练脚本。
苹果与 Hugging Face 将 Stable Diffusion XL 基础模型移植到 Core ML,可在运行 macOS 14 公测版的 Apple Silicon Mac 上使用,目前采用 ORIGINAL attention 实现,refiner 阶段尚未移植。
推荐理由:苹果与 Hugging Face 联合给出 SDXL 在 Mac 上的 Core ML 混合位量化方案,附各机型实测延迟与压缩配方。
Hugging Face 的 Diffusers 库迎来一周年,已从文本生成图像扩展至视频、3D 与图像编辑。该库新增 DeepFloyd IF、SDXL、VideoFusion、Text2Video-Zero 及 OpenAI Shap-E 等模型支持,并集成 LoRA、Torch 2.0 优化与安全检测组件。
Hugging Face 在 Diffusers 中集成 ControlNet,推出 StableDiffusionControlNetPipeline,可用深度图、分割图、涂鸦、关键点等空间条件控制 Stable Diffusion 生成。
推荐理由:Diffusers 官方给出 ControlNet 的完整接入方式,含 Canny、OpenPose 与多条件组合的可复用代码。
Hugging Face 发布 🧨Diffusers for Mac 1.1,一款基于 Core ML 的原生 Mac 应用,可将社区贡献的 Stable Diffusion 等文生图模型转换后本地运行,生成速度最高提升至 2 倍。应用完全开源,支持 CPU、GPU 与神经引擎协同加速,并自动选择最佳加速器。
苹果工程师提供了转换脚本与推理代码,Hugging Face 已把 Stable Diffusion v1.4、v1.5、v2 base、v2.1 base 的权重转成 Core ML 版本并放到 Hugging Face Hub。
推荐理由:苹果工程师与 Hugging Face 把 Stable Diffusion 权重转成 Core ML,并给出 Python 与 Swift 两条推理路径,可据此在 Apple Silicon 上本地出图。
OpenAI 宣布 DALL·E API 现已进入公开测试阶段,开发者从即日起可以开始用它构建应用。
Hugging Face Diffusers 自 0.5.1 版起支持 Flax,可在 Google TPU 上实现超快推理。文章演示用 FlaxStableDiffusionPipeline 加载 CompVis/stable-diffusion-v1-4 的 bf16 权重,借助 8 个并行 TPU 设备同时生成 8 张图像,耗时与单芯片生成一张相当。
OpenAI 宣布训练并开源语音识别神经网络 Whisper,称其在英文语音识别上的鲁棒性和准确率接近人类水平。
推荐理由:OpenAI 开源语音识别模型 Whisper,其英文识别鲁棒性与准确率接近人类水平。
Diffusers 0.3 新增图生图、Textual Inversion、实验性 Inpainting 等 pipeline,并支持在 M1/M2 Mac 上通过 mps 运行 Stable Diffusion。优化后 Stable Diffusion 显存占用降至 3.2GB,速度损失 10%,另推出实验性 ONNX 导出器与全新文档。
Hugging Face 发布教程,讲解如何用 Diffusers 库运行 Stable Diffusion 文生图模型,并拆解其工作原理。
推荐理由:Hugging Face 官方拆解 Stable Diffusion 在 Diffusers 中的调用方式与 Latent Diffusion 三组件原理,便于理解出图流程。