pyvideotrans v4.17 发布
pyvideotrans v4.17 发布,新增 Audio.cpp 语音识别渠道,并增加基于 audio.cpp 的降噪与人声分离模型。同时修复 nemotronasr 重复下载问题,新增 Opper 翻译渠道,字幕翻译增加“进一步精简”选项。
推荐理由:新版新增 Audio.cpp 语音识别渠道与降噪模型,并优化字幕翻译精简选项,适合评估视频翻译配音流程升级。
pyvideotrans v4.17 发布,新增 Audio.cpp 语音识别渠道,并增加基于 audio.cpp 的降噪与人声分离模型。同时修复 nemotronasr 重复下载问题,新增 Opper 翻译渠道,字幕翻译增加“进一步精简”选项。
推荐理由:新版新增 Audio.cpp 语音识别渠道与降噪模型,并优化字幕翻译精简选项,适合评估视频翻译配音流程升级。
InvokeAI 7.0.0 alpha 3 发布,新增看板按角色共享、Qwen-Image-2.1 图像模型支持,以及面向 NVIDIA 显卡的 SageAttention 加速后端。该版本在 RTX 4090 上 2048² 分辨率整图生成提速 15–35%,视频生成提速 12–35%。注意 v7 会单向升级 v6 数据库,官方建议使用全新 root 目录安装测试。
LichtFeld Studio 0.5.4.1 发布,支持把 splat 从场景图拖入文件夹或直接以 PLY/SPZ 拖进 Blender,并可在偏好设置中选择上轴。该版本新增训练会话续跑、按源帧率的批量视频抽帧,以及裁剪框与椭球体的数值位置、旋转、缩放字段。同时修复了无 GPU JPEG 解码器时的图像加载、Python 控制台卡死、大组合并耗尽 VRAM 等问题。
Black Forest Labs 发布 FLUX 3 Image Klein,一个 5.6B 参数的开源权重模型,支持文生图、图像编辑和最多 10 张参考图的多参考生成,具备原生 4K 生成、像素级编辑和边界框控制能力。
推荐理由:5.6B 参数的开源图像模型把 4K 生成与像素级编辑压到 8GB 显存可跑,可据此评估本地出图与改图方案。
NVIDIA RTX Spark 将于 10 月 16 日随笔记本上市,这款最高 128GB 统一内存、1 petaflop AI 算力的超级芯片把游戏 PC、创作工作站与个人 AI 超算合为一体。
pyvideotrans 发布 v4.16,修复 Edge-TTS 403 问题,并新增 audio.cpp 和 fish.audio api 两个配音渠道。该版本还新增 Atlas Cloud 翻译渠道、法语 WebUI 界面,并在高级选项的字幕翻译中加入"使用 LLM 重新断句替代 LLM 纠错"。
因官方 Qwen-Image 2.1 提示词改写器是 9B 模型、需约 20 GB 内存,作者通过 HuggingChat 中的 ML Intern 造出 0.8B 版本,可在 CPU 运行,输出有效率 99.7%,token 消耗约为教师模型的四分之一,含 8,797 条标注在内的总算力成本 16 美元。
pyvideotrans 发布 v4.15 Windows 预打包版本,MacOS/Linux 需源码部署。新版更新 Deepgram.com 渠道模型并增加语音合成支持,更新 Elevenlabs.io 模型并移除将被废弃的模型,同时在高级选项中新增字幕配音静音缓冲移除与力度调节。此外新增 Audexum 语音识别渠道、Infistar 翻译渠道及阿塞拜疆语支持。
facefusion 发布 v4-beta 版本,新增 Timestamp 别名类型。该版本由 henryruhs 于 9 月 30 日打标签,具体功能细节尚未在发布说明中展开。
facefusion 发布 3.9.1 版本,更新至最新 onnxruntime 版本,并将 arena workaround 限制在受影响的 onnxruntime 版本上。该版本还修复了 CoreML 下内容分析器的性能问题。
pyvideotrans 发布 v4.14 Windows 预打包版,完整包 2.7G,补丁包 360MB 仅用于覆盖旧包。该版本优化语音、字幕、画面对齐算法,Google 翻译前先检测,遇 429 拦截自动切换微软翻译,并优化 openai-whisper 模型下载。MacOS/Linux 需源码部署,新版有问题可继续使用 v4.13/v4.03。
pyvideotrans v4.13 发布 Windows 预打包版,模型下载失败后自动重试,并优化 whisper 模型识别后的重断句算法。该版本完善硅基流动、Minimax、OpenRouter 的语音识别、字幕翻译与语音合成模型支持,新增豆包语音合成 2.0 配音角色,并重构设置窗口与菜单架构。Qwen-TTS、Higgs 等本地配音渠道放弃 8 位量化,媒体合并功能新增暂停按钮。
Gradio 团队开源 Python 库 Daggr,可用代码串联 Gradio 应用、ML 模型与自定义函数,并自动生成可视化画布。它支持检查任意节点输出、单独重跑某一步骤、配置备用节点,并自动保存工作流状态与缓存结果。Daggr 要求 Python 3.10 以上,可通过 pip 安装,工作流可部署到 Hugging Face Spaces 分享。
NVIDIA 发布开源推理视觉语言模型 Cosmos Reason 2,在 Physical AI Bench 与 Physical Reasoning 榜单上成为排名第一的开源视觉理解模型。
Hugging Face 与 Cloudflare 达成合作,FastRTC 开发者凭 Hugging Face Token 即可接入 Cloudflare 覆盖全球 335 多个地点的 TURN 网络,每月免费流式传输 10GB 数据且无需信用卡。该集成将在 FastRTC 0.0.20 及以上版本提供,超出限额后可切换至 Cloudflare 账户扩容。
Hugging Face Diffusers 团队发布文章,梳理开源视频生成模型现状,并介绍 Diffusers 对这类模型的支持方式。文中列出 CogVideoX、Mochi-1、HunyuanVideo、Allegro、LTX-Video 等开源模型,指出高资源需求、泛化能力和延迟是主要限制。
推荐理由:Diffusers 团队系统梳理开源视频模型现状,并给出把 HunyuanVideo 显存压到约 6.5GB 的优化组合。
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文生图偏好数据集,覆盖多种图像生成类别,混合不同模型家族与不同复杂度的提示词。数据集基于 Flux 和 Stable Diffusion 模型生成图像,配套提供可直接使用的偏好数据集与 flux-dev-lora-finetune,预处理与后处理代码已在 GitHub 开源。
为缓解开源视频数据集稀缺问题,团队构建了 FineVideo,包含 43k 个视频、共 3.4k 小时,并标注了丰富描述、叙事细节、场景切分和 QA 对。该数据集从 YouTube-Commons 的 1.9M 条英文视频出发,经词密度与视觉动态性过滤,并用 Gemini 1.5 Pro 和 GPT-4o 完成内容标注与结构化输出。
Segmind 发布 SegMoE 框架,可从零创建混合专家(MoE)扩散模型,并已集成进 Hugging Face diffusers。此次发布包括 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型版本,以及用于自建 MoE 模型的 segmoe 代码包,模型采用 Apache 2.0 许可。
推荐理由:发布方给出从零构建 MoE 扩散模型的代码与三个合并版本,创作者可据此把多个预训练模型组合成新模型。
Hugging Face 博客介绍如何用 trl 库新增的 DDPOTrainer,通过 DDPO(Denoising Diffusion Policy Optimization)对 Stable Diffusion 做强化学习微调。
Hugging Face 发布 Würstchen 图像生成扩散模型,其文本条件部分在高度压缩的潜空间中工作,通过 Stage A 的 VQGAN 与 Stage B 的 Diffusion Autoencoder 实现 42x 空间压缩,Stage C 作为 Prior 在该潜空间中训练。
推荐理由:Würstchen 用 42x 空间压缩把训练成本降到 SD1.4 的约六分之一,可据此评估低显存出图方案。
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作为 Stable Diffusion XL 提供 T2I-Adapter 支持,并发布 sketch、canny、lineart、depth、openpose 等条件的 checkpoint。
推荐理由:对比 ControlNet 的参数量与推理开销,给出 T2I-Adapter 在 SDXL 上的可控生成方案与可复用训练脚本。
这篇教程演示如何用开源模型服务框架 BentoML 将 DeepFloyd IF 部署为生产级服务。DeepFloyd IF 是开源文生图模型,直接在像素空间工作,由冻结文本编码器和三个级联像素扩散模块组成,可将 64x64 px 图像逐步放大至 1024x1024 px,并用 T5-XXL-1.1 编码提示词。
苹果与 Hugging Face 将 Stable Diffusion XL 基础模型移植到 Core ML,可在运行 macOS 14 公测版的 Apple Silicon Mac 上使用,目前采用 ORIGINAL attention 实现,refiner 阶段尚未移植。
推荐理由:苹果与 Hugging Face 联合给出 SDXL 在 Mac 上的 Core ML 混合位量化方案,附各机型实测延迟与压缩配方。
Hugging Face 发布 🧨Diffusers for Mac 1.1,一款基于 Core ML 的原生 Mac 应用,可将社区贡献的 Stable Diffusion 等文生图模型转换后本地运行,生成速度最高提升至 2 倍。应用完全开源,支持 CPU、GPU 与神经引擎协同加速,并自动选择最佳加速器。
苹果工程师提供了转换脚本与推理代码,Hugging Face 已把 Stable Diffusion v1.4、v1.5、v2 base、v2.1 base 的权重转成 Core ML 版本并放到 Hugging Face Hub。
推荐理由:苹果工程师与 Hugging Face 把 Stable Diffusion 权重转成 Core ML,并给出 Python 与 Swift 两条推理路径,可据此在 Apple Silicon 上本地出图。
rinna 基于 Stable Diffusion 微调出日语专用文生图模型 Japanese Stable Diffusion,可理解日语固有词、拟声词与专有名词,生成日式风格图像。
Diffusers 0.3 新增图生图、Textual Inversion、实验性 Inpainting 等 pipeline,并支持在 M1/M2 Mac 上通过 mps 运行 Stable Diffusion。优化后 Stable Diffusion 显存占用降至 3.2GB,速度损失 10%,另推出实验性 ONNX 导出器与全新文档。
Hugging Face 发布教程,讲解如何用 Diffusers 库运行 Stable Diffusion 文生图模型,并拆解其工作原理。
推荐理由:Hugging Face 官方拆解 Stable Diffusion 在 Diffusers 中的调用方式与 Latent Diffusion 三组件原理,便于理解出图流程。
这篇 Hugging Face 博客深入解析去噪扩散概率模型(DDPM),基于 Ho 等人 2020 年论文,用 PyTorch 逐步实现,代码参考 Phil Wang 的实现。文章涵盖前向加噪与反向去噪两个过程,DDPM 作者采用 T=1000 个时间步,并用正弦位置嵌入编码时间步,U-Net 核心模块采用 Wide ResNet 块。