Hugging Face 拥抱 TorchTPU:PyTorch 原生支持 TPU
Hugging Face 宣布 TorchTPU 为 PyTorch 带来原生 TPU 后端,Transformers、Diffusers 和 Kernels 可直接在 TPU 上运行,模型只需指定 device_map="tpu" 即可加载。
Hugging Face 宣布 TorchTPU 为 PyTorch 带来原生 TPU 后端,Transformers、Diffusers 和 Kernels 可直接在 TPU 上运行,模型只需指定 device_map="tpu" 即可加载。
Hugging Face 的 PyTorch 团队发布 PyTorch 2.15,为 Mac 的 MPS 后端加入 FP8 张量、原生 grouped matmul 与多项 Metal 内核。
FastVideo 在 Hugging Face 发布 FastH3 OmniRef 的 ComfyUI 原生打包版本,可根据提示词与有序的图像、视频、音频参考生成视频和音频。
TorchNeuron 为 PyTorch 在 AWS Trainium 上提供原生后端,Transformers、Diffusers 等 HF 库可直接运行模型。
FastVideo 发布 FastH3-QAD-v2,这是一个 8 步视频与音频模型,采用 NVFP4 权重和量化感知蒸馏(QAD)训练,可在单张 Blackwell GPU(RTX 5090、RTX PRO 6000)或 DGX Spark 上运行。
推荐理由:8 步视频与音频模型以 NVFP4 量化权重落到单张 Blackwell 显卡,并给出与 BF16 教师模型的误差数据。
Black Forest Labs 发布 FLUX 3 Image Klein,一个 5.6B 参数的开源权重模型,支持文生图、图像编辑和最多 10 张参考图的多参考生成,具备原生 4K 生成、像素级编辑和边界框控制能力。
推荐理由:5.6B 参数的开源图像模型把 4K 生成与像素级编辑压到 8GB 显存可跑,可据此评估本地出图与改图方案。
Black Forest Labs 在 Hugging Face 发布 Flux 3 Image Klein 的 ComfyUI 重打包模型文件,原始模型仓库为 black-forest-labs/flux-3-image-klein。
推荐理由:官方给出 Flux 3 Image Klein 在 ComfyUI 中的文件目录与多种量化版本,方便本地部署者按需选择。
Black Forest Labs 发布 FLUX 3 Image Klein Prompt Upsampler,一个 9B 视觉语言模型,把简短图像需求扩写成 FLUX 3 Image Klein 更适用的详细提示词。
推荐理由:官方开源了 9B 提示词扩写模型,可把简短需求扩成含光线、构图与主体细节的完整提示词,并支持参考图与边界框。
Fish Audio 的 35B(3B 激活)多说话人 TTS 模型 Drama 3 出现非官方 int4 量化版 drama-3-int4,下载体积 22.1 GB,低于原版 41.5 GB,专家层、注意力和 deltanet 层量化为 int4,共享专家 MLP 保留 bf16。
Black Forest Labs 发布 FLUX 3 Image Klein,一个 5.6B 开源权重模型,同时支持文生图、单参考图编辑和多参考图组合生成,文本编码器为 Qwen3-VL-4B-Instruct。
推荐理由:5.6B 开源权重模型把文生图、单图编辑与多图组合统一到同一模型,并给出量化版本与显存占用,便于自部署者评估落地成本。
Black Forest Labs 在 Hugging Face 发布 FLUX 3 Image Klein Base,这是一个 5.6B 参数的开源权重模型,文生图、单参考图编辑和多参考图合成共用同一模型,文本编码器为 Qwen3-VL-4B-Instruct。
推荐理由:5.6B 开源权重同时覆盖文生图、单图编辑与多图合成,并给出 BF16、FP8、NVFP4 三档显存占用,便于评估自托管成本。
腾讯 ARC 在 Hugging Face 发布 Multics,通过分层通信实现可扩展的多人视频生成。仓库包含完整的 4-player Multics DiT checkpoint、配置、Wan2.2 VAE、UMT5 文本编码器和 tokenizer,同一 checkpoint 无需重新训练即可支持 6、8、10 人生成。权重以 Apache 2.0 许可分发。
推荐理由:腾讯 ARC 开源多人视频生成模型 Multics,同一权重可扩展到 10 人,创作者可据此评估多人场景的生成方案。
Qwen 发布 Qwen-Image-2.1-Turbo,这是 Qwen-Image-2.1 的加速 checkpoint,用于文生图与图像编辑,仅需 8 步去噪。
推荐理由:8 步采样与 KV 缓存复用文本和参考图上下文,创作者可据此评估出图与改图流程的提速空间。
因官方 Qwen-Image 2.1 提示词改写器是 9B 模型、需约 20 GB 内存,作者通过 HuggingChat 中的 ML Intern 造出 0.8B 版本,可在 CPU 运行,输出有效率 99.7%,token 消耗约为教师模型的四分之一,含 8,797 条标注在内的总算力成本 16 美元。
FastVideo 发布实验性模型 FastH3 Trim,从 FastH3 V2 的 50 个 MiniMax H3 transformer block 中移除 8 个影响最小的 block,并将各 block 的 AdaLN 时间步投影替换为共享 rank-16 基,用 8 步 DMD2 训练(checkpoint 300),实现 8 步文本生成视频并同步音频。
推荐理由:FastH3 Trim 用剪枝加共享 AdaLN 把 8 步音视频生成压到消费级硬件,可对照 V2 权衡画质与体积。
Hugging Face 发布 Open TTS Leaderboard,用客观指标评测开源多语言 TTS 与声音克隆模型,单模型评测耗时从数周投票缩短到数小时。
Kyutai 在 DL3DV 数据集上对 OVIE 微调 5 万步,推出 kyutai/ovie-ft-dl3dv,架构与基座模型一致、仅权重不同。
Kyutai 在 Hugging Face 发布 OVIE-512,这是 OVIE 系列按相同配方重训至 512×512 的基座模型,训练 250K 步、全局 batch size 256。
Kyutai 在 Hugging Face 发布 OVIE-ft-re10k,这是 OVIE 在 RealEstate10K 多视角数据上微调 50k 步的检查点,仅占其 200 万步预训练预算的 2%,架构与基座模型完全一致,可直接复用同一代码路径加载。
Lightricks 发布基于 LTX-2.5-22B 的 IC-LoRA Alpha Gen,输入普通 RGB 视频即可生成逐帧对齐的灰度 alpha 遮罩,无需绿幕、遮罩或提示词,可处理头发、毛发、烟雾、火焰、薄纱、玻璃和水等半透明元素。
推荐理由:无需绿幕或提示词即可从普通视频生成逐帧对齐的 alpha 遮罩,为抠像与合成流程提供新的替代方案。
Lightricks 发布 LTX-2.5-22b-IC-LoRA-SDR-To-HDR,把 8-bit SDR 视频转为 16-bit HDR,除 HLG 母版外还输出 EXR 帧。
推荐理由:Lightricks 把 SDR 转 HDR 做成基于 LTX-2.5 的 IC-LoRA,并给出 ComfyUI 工作流与 EXR 输出路径,后期流程可直接接入。
Lightricks 在 Hugging Face 发布 LTX-2.5-22b-IC-LoRA-Restore,一个基于参考视频的 In-Context LoRA,把低分辨率、低码率、磁带或黑白棕褐扫描的老片渲染成干净彩色高清画面,去除压缩损伤、闪烁、脏点与划痕。
推荐理由:Lightricks 开源老片修复 LoRA,给出从 480 线扫描到 4K 的两阶段流程与实测增益,可对照现有修复管线。
腾讯 ARC 在 Hugging Face 发布 WorldCrafter-Base,包含基础 transformer 权重及配套的相机适配器和 LoRA,用于 WorldCrafter 推理代码。
腾讯 ARC 在 Hugging Face 发布 WorldCrafter-Fast 的自包含权重,支持图生视频、文生视频以及交互式图生视频 demo,无需 WorldCrafter-Base 文件即可推理。
推荐理由:WorldCrafter-Fast 放出独立权重,图生视频与文生视频的采样步数配置一并公开,方便创作者评估接入成本。
腾讯 ARC 开源 GAE-D64-1B,一个约 1B 参数的时间 DiT(hidden_size=[768, 2048],depth=[28, 6]),在 64 通道几何原生隐空间上运行,支持 672×378、V=81,采用 metric Plücker 相机条件与 Qwen3-0.6B 文本编码。
Hugging Face 团队用 Gradio Workflow 重建了 AUTOMATIC1111 的大部分功能,做成单一画布 Workflow1111,由 11 条媒体管线和 73 个节点组成。
推荐理由:用 73 个节点复刻 A1111 全部功能,可对照 ComfyUI 评估节点式工作流的另一种组织方式。
开发者用 TRL 和 OpenEnv 复现了 Surya Narreddi 让语言模型通过 p5.brush 写 JavaScript 画水彩的思路,参考图池、RL 环境、训练脚本和模型全部开源,整条流水线跑在 Hugging Face 上。
Gradio 内置的 gr.Workflow 把 AI 管线描述为带类型节点的图,提供可拖拽画布,每个节点可运行、中间结果可见,同一张图同时是 REST API 并可一键部署到 Hugging Face Spaces。
推荐理由:Gradio 把多步 AI 管线做成可视化图并自动暴露 REST 接口,可对照现有出片流程评估迁移成本。
NVIDIA 发布 Magpie TTS Multilingual 开放权重模型,参数量 364M,支持 12 种语言,本次新增现代标准阿拉伯语、韩语和巴西葡萄牙语,并通过更新训练数据提升多语言合成质量。
Hugging Face 博客介绍 Diffusers 现已原生支持 Nunchaku 的 4-bit 扩散推理,加载量化 checkpoint 只需调用 from_pretrained(),无需本地 CUDA 编译。
推荐理由:Nunchaku 的 4-bit 量化推理现已原生接入 Diffusers,创作者可据此评估消费级显卡上的出图显存与速度取舍。
PRX 系列第四篇披露其数据管线:预训练数据由公开与内部数据集混合组成,用 VLM 重新生成图像长描述,再转为可流式训练的语料。团队改用 Qwen3-VL 文本编码器并在训练中实时计算文本 latent,实测吞吐损失约 3–4%(30 天训练多花约 1 天)。图像统一以 JPEG quality 92 编码,经实测首次重编码几乎不可察觉。
Hugging Face 与 Cerebras 联合演示了一套实时语音到语音流水线,用 Cerebras 加速 Gemma 4 31B 推理,语音识别用 Nvidia 的 Parakeet,语音合成用阿里 Qwen3TTS,各层模块化且开源可替换。
一个编码智能体通过直接调用两个 Hugging Face Spaces,生成了巴黎地标的图像并重建为 3D Gaussian splat,最终部署为静态 Space 画廊。
NVIDIA 推出 Nemotron 3 Nano Omni 全模态理解模型,采用 Nemotron 3 混合 Mamba-Transformer MoE 骨干,搭配 C-RADIOv4-H 视觉编码器和 Parakeet-TDT-0.6B-v2 音频编码器,支持 100+ 页文档、长音频视频理解与智能体电脑操作。
Overworld 发布实时视频世界模型 Waypoint-1.5,在 RTX 3090 至 5090 等桌面硬件上可生成最高 720p、60 FPS 的实时环境,并新增面向更广消费级硬件的 360p 档,后续将支持 Apple Silicon Mac。
推荐理由:Waypoint-1.5 把实时世界模型压到消费级显卡,720p 与 360p 双档让创作者可评估本地交互式生成的可行性。
Hugging Face 博客发布 PRX 文本到图像模型训练系列第二篇,用消融实验记录哪些训练技巧真正有效。基线为 1.2B 参数的 PRX-1.2B,采用纯 Flow Matching、Flux VAE latent 空间、256×256 分辨率、全局 batch size 256、训练 100k 步,数据为 MidJourneyV6 生成的 100 万张合成图。
Gradio 团队开源 Python 库 Daggr,可用代码串联 Gradio 应用、ML 模型与自定义函数,并自动生成可视化画布。它支持检查任意节点输出、单独重跑某一步骤、配置备用节点,并自动保存工作流状态与缓存结果。Daggr 要求 Python 3.10 以上,可通过 pip 安装,工作流可部署到 Hugging Face Spaces 分享。
中国开源模型已近乎一致转向 MoE 架构,Kimi K2、MiniMax M2、Qwen3 均采用该路线,目标是在成本可控下实现可持续部署。开源活动从 2025 年 2 月起扩展至多模态与智能体,StepFun 的 Step-Audio-R1.1 语音模型性能超越闭源模型,腾讯开源 Hunyuan Video 与 Hunyuan 3D。
Overworld 发布实时交互式视频扩散模型 Waypoint-1,可通过文本、鼠标和键盘控制,权重已上线 Hugging Face Hub,包含 Waypoint-1-Small,Waypoint-1-Medium 即将推出。
推荐理由:实时交互式视频扩散模型开源,可评估其在消费级硬件上做可交互世界生成的实际表现。
NVIDIA 发布开源推理视觉语言模型 Cosmos Reason 2,在 Physical AI Bench 与 Physical Reasoning 榜单上成为排名第一的开源视觉理解模型。