Hugging Face 推出基于 vLLM 的极速 Whisper 转录端点,性能提升 8 倍
Hugging Face 在 Inference Endpoints 上线新版 OpenAI Whisper 部署方案,基于 vLLM 实现,RTFx 较此前版本提升近 8 倍,转录质量无损。
Hugging Face 在 Inference Endpoints 上线新版 OpenAI Whisper 部署方案,基于 vLLM 实现,RTFx 较此前版本提升近 8 倍,转录质量无损。
ChatGPT 图像生成支持从提示词、草图或上传图片出发,创建品牌视觉素材与产品效果图。该功能面向品牌视觉与产品 mockup 场景,可基于已有素材进行生成。
OpenAI 宣布最新图像生成模型以 gpt-image-1 的形式在 API 中开放,开发者和企业可将专业级、可定制的视觉内容直接集成进自有工具和平台。
推荐理由:OpenAI 把最新图像生成模型以 gpt-image-1 接入 API,开发者可据此评估自有工具的图像生成集成。
语言技术实验室发布 Visual Salamandra,将 Salamandra 大模型能力扩展至图像和视频,基于 70 亿参数基础模型,集成 Google SigLIP-So400m 编码器与 2 层 MLP 投影器,采用四阶段训练和 late-fusion 架构。
Hugging Face 与 Cloudflare 达成合作,FastRTC 开发者凭 Hugging Face Token 即可接入 Cloudflare 覆盖全球 335 多个地点的 TURN 网络,每月免费流式传输 10GB 数据且无需信用卡。该集成将在 FastRTC 0.0.20 及以上版本提供,超出限额后可切换至 Cloudflare 账户扩容。
Canva 首席产品官兼联合创始人 Cameron Adams 与 OpenAI 展开对话,介绍 Canva 如何借助 AI 赋能创意。
OpenAI 发布 GPT-4o 的原生图像生成能力,官方称其在文字渲染和指令跟随方面更强,并指向 ChatGPT Images 2.5。
推荐理由:OpenAI 在 GPT-4o 中原生加入图像生成,文字渲染与指令跟随是这次更新的两个关键变化。
OpenAI 发布 GPT-4o 系统卡增补,介绍 4o 图像生成。该能力比此前的 DALL·E 3 系列模型更强,可生成写实画面,也能接收图像输入并进行变换。
推荐理由:OpenAI 在系统卡增补中说明 4o 图像生成相较 DALL·E 3 的能力变化,可据此了解其图像输入与写实输出定位。
OpenAI 在 API 中推出新一代音频模型,开发者首次可以指示文本转语音模型以特定方式说话,例如“像一位有同理心的客服人员那样说话”,为语音智能体带来新的定制能力。
LY Corporation 分享了其借助 OpenAI 技术驱动业务增长、打造“WOW”时刻的实践。内容围绕该公司如何将 OpenAI 能力融入自身产品与运营展开。
OpenAI 推出 NextGenAI,承诺投入 5000 万美元资金与工具,用于支持领先机构。
Hugging Face 发布 FastRTC,一个用 Python 构建实时音频与视频 AI 应用的实时通信库。
推荐理由:FastRTC 把 WebRTC 实时音视频通信封装成 Python 库,可省去自建实时链路的前期成本。
Diffusers 团队实验性推出 Remote VAE,将扩散模型的 VAE 解码过程交给远程 Inference Endpoints 处理,以降低高分辨率图像和视频合成对消费级 GPU 的显存压力。
Hugging Face 发布 SmolVLM2 系列视频语言模型,含 2.2B、500M 和 256M 三种参数规模,其中 500M 与 256M 号称迄今最小的视频语言模型。
Hugging Face Hub 新增 Hyperbolic、Nebius AI Studio 和 Novita 三家无服务器推理提供商,支持 DeepSeek-R1、Flux.1 等模型,并已集成 JS 和 Python 客户端 SDK。用户可在账户设置中配置自有 API key 直连提供商,或通过 HF 路由调用并按标准 API 费率计费,无额外加价;PRO 用户每月获 2 美元推理额度。
Hugging Face 发布一套开源视频数据集构建工具,采用三阶段流水线:用 yt-dlp 下载视频并切分为短片段,再用 LAION-5B-WatermarkDetection。
Hugging Face 博客推出 AI 艺术工具月报第一期,回顾 2024 年创意 AI 领域的关键发布。图像生成方面,扩散模型从 U-Net 架构转向 DiT 与流匹配,Flux.1 在多项基准上超越 Midjourney v6.0 和 DALL·E 3 (HD),SDXL 仍是个人化与可控生成的主流基座。
Hugging Face Diffusers 团队发布文章,梳理开源视频生成模型现状,并介绍 Diffusers 对这类模型的支持方式。文中列出 CogVideoX、Mochi-1、HunyuanVideo、Allegro、LTX-Video 等开源模型,指出高资源需求、泛化能力和延迟是主要限制。
推荐理由:Diffusers 团队系统梳理开源视频模型现状,并给出把 HunyuanVideo 显存压到约 6.5GB 的优化组合。
德国媒体、服务与教育集团贝塔斯曼将在全球多个品牌中整合 OpenAI 技术,以提升创造力与生产力。
OpenAI 的视频生成模型 Sora 现已可在 sora.com 使用。用户可生成最高 1080p 分辨率、最长 20 秒的视频,支持宽屏、竖屏和方形画幅。用户可导入自有素材进行延展、重混与融合,也可完全由文本生成新内容。
推荐理由:Sora 正式开放使用,创作者可据此了解其分辨率、时长与画幅等基础生成规格。
跨学科艺术家 Minne Atairu 讲述 Sora 如何帮助她实现自己的创作构想。
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文生图偏好数据集,覆盖多种图像生成类别,混合不同模型家族与不同复杂度的提示词。数据集基于 Flux 和 Stable Diffusion 模型生成图像,配套提供可直接使用的偏好数据集与 flux-dev-lora-finetune,预处理与后处理代码已在 GitHub 开源。
电影创作双人组 Vallée Duhamel 讲述了 Sora 如何帮助他们构建新的世界。
电影制作人 Lyndon Barrois 讲述如何将 Sora 用作叙事工具。
OpenAI 公布视频生成模型 Sora 的系统卡。Sora 可接收文本、图像和视频输入并生成新视频,其设计借鉴了 DALL-E 与 GPT 模型的经验,旨在为叙事和创意表达提供更丰富的工具。
OpenAI 对连续时间一致性模型做了简化、稳定化和规模化改进,仅用两步采样即可达到与主流扩散模型相当的样本质量。
CinePile 2.0 发布,这是长视频问答数据集 CinePile 的升级版,采用新提出的对抗式精炼方法改进数据质量。初版 CinePile 于 2024 年 5 月推出,含约 30 万训练样本和 5000 测试样本,人类在该基准上比最好的商业视觉模型高 25%、比开源模型高 65%。团队同时开源了对抗式精炼方法的实现,可用于强化现有数据集。
Stability AI 发布 Stable Diffusion 3.5,包含 8B 的 Large 模型和 8B 的 timestep-distilled 模型,后者支持 4-8 步少步推理,模型已上线 Hugging Face Hub 并可在 Diffusers 中使用。
推荐理由:SD3.5 Large 与 timestep-distilled 版本同步上线 Diffusers,并给出量化推理与 LoRA 训练路径。
Hugging Face 的 Speech-to-Speech(S2S)项目通过 VAD、STT、语言模型和 TTS 组成的级联管线实现语音对话,支持英语、法语、西班牙语、中文、日语和韩语,可单语言运行或用 auto 标志自动检测语言。
教程介绍用 InstantTexture 库把生成式 3D 模型(如 InstantMesh)输出的顶点着色 .obj 网格转换为 UV 贴图 .glb 纹理网格,核心步骤是用 xatlas 生成 UV 映射,再以重心坐标插值填充 1024 纹理,并配合修补、中值滤波、高斯模糊和 LANCZOS 降采样消除空洞。
为缓解开源视频数据集稀缺问题,团队构建了 FineVideo,包含 43k 个视频、共 3.4k 小时,并标注了丰富描述、叙事细节、场景切分和 QA 对。该数据集从 YouTube-Commons 的 1.9M 条英文视频出发,经词密度与视觉动态性过滤,并用 Gemini 1.5 Pro 和 GPT-4o 完成内容标注与结构化输出。
HuggingChat 上线 Community Tools,用户可把 Hugging Face 上任意公开 Space 转为模型可直接调用的工具,并借此扩展图像理解、视频生成和文本转语音等多模态能力。用户也能用 Gradio 自建自定义工具,并在助手中最多添加 3 个工具。该功能仍处于实验阶段。
Hugging Face 展示如何借助 Diffusers 库中的 Quanto 量化工具降低 Transformer 扩散模型的内存占用。以 PixArt-Sigma、Stable Diffusion 3 和 Aura Flow 为例,将扩散主干与文本编码器量化为 FP8 后,SD3 推理显存从 16.403 GB 降至 8.204 GB,画质几乎无损、延迟略有上升。
OpenAI 提出 Consistency Models,可在不依赖迭代采样的情况下实现图像、音频和视频生成。扩散模型虽推动了这些领域的发展,但其迭代采样过程导致生成速度缓慢。
Stability AI 的 Stable Diffusion 3 Medium(2B 参数)已在 Hugging Face Hub 发布并接入 Diffusers,同时提供 Dreambooth 与 LoRA 训练脚本。
推荐理由:SD3 Medium 在 Diffusers 上线,附带显存优化与 LoRA 微调脚本,可据此评估本地出图成本。
OpenAI 发文详解其文本转语音模型 Voice Engine 的技术原理与安全研究。Voice Engine 可根据文本生成语音,官方同时介绍了围绕该模型开展的安全研究工作。
Artificial Analysis 推出文生图排行榜与 Image Arena,基于超 45,000 次人类图像偏好投票计算 ELO 分数,覆盖 Midjourney、DALL·E、Stable Diffusion、Playground 等主流开源与闭源模型。
Canva 是一个月活超 1.75 亿的视觉传播平台,用于制作演示文稿、视频、文档、网站和社交媒体图形等。面对全球大多数知识工作者缺乏设计训练的问题,Canva 通过易用界面、庞大素材库和节省时间的工具,让任何人都能创作出视觉上吸引人的内容。
OpenAI 发布新旗舰模型 GPT-4o,可跨音频、视觉和文本进行实时推理。
OpenAI 推出新技术,帮助研究人员识别由其工具生成的内容,同时加入内容来源与真实性联盟(C2PA)指导委员会以推动行业标准。