BeefTV 开源 AI 视频创作工作台发布
BeefTV 是一个面向 AI 视频创作的开源桌面工作台,在自由画布中连接提示词、模型与素材,支持生成文字、图片、视频与音频并继续加工迭代。项目可自由配置文本、图片、视频与音频模型渠道,不绑定单一 Provider,数据支持本地保存和迁移,桌面端基于 React、Go 与 Wails 构建。
BeefTV 是一个面向 AI 视频创作的开源桌面工作台,在自由画布中连接提示词、模型与素材,支持生成文字、图片、视频与音频并继续加工迭代。项目可自由配置文本、图片、视频与音频模型渠道,不绑定单一 Provider,数据支持本地保存和迁移,桌面端基于 React、Go 与 Wails 构建。
腾讯混元联合复旦大学、浙江大学提出 Prism,一个用于原生训练 2K 联合视频音频生成模型的动态稀疏注意力框架,将 token 序列组织为时空宏区块并按局部内容动态分配块形状,训练速度相比全注意力提升 2.5 倍且生成质量更高。
pyvideotrans v4.13 发布 Windows 预打包版,模型下载失败后自动重试,并优化 whisper 模型识别后的重断句算法。该版本完善硅基流动、Minimax、OpenRouter 的语音识别、字幕翻译与语音合成模型支持,新增豆包语音合成 2.0 配音角色,并重构设置窗口与菜单架构。Qwen-TTS、Higgs 等本地配音渠道放弃 8 位量化,媒体合并功能新增暂停按钮。
在 RX9070XT 的 Windows PC 上通过 ROCm 安装 YuE2-3B AI 音乐生成模型,作者公开了安装步骤和附赠的 Gradio GUI 代码。改用 ROCm10.x 后生成速度大幅改善,ROCm7.x 则需应用 GitHub 上的 Pull request 修正 Flash Attention 报错。9 月第 4 周还发布了 cover 集成版 GUI。
Trendlume v0.2.0 新增「热点中心」(/trends),聚合微博、抖音、知乎、今日头条、小红书、B 站、百度 7 大平台公开热榜,采用主源 60s API 与备用源 xxapi 的双源容错机制。
Gradio 团队开源 Python 库 Daggr,可用代码串联 Gradio 应用、ML 模型与自定义函数,并自动生成可视化画布。它支持检查任意节点输出、单独重跑某一步骤、配置备用节点,并自动保存工作流状态与缓存结果。Daggr 要求 Python 3.10 以上,可通过 pip 安装,工作流可部署到 Hugging Face Spaces 分享。
NVIDIA 发布开源推理视觉语言模型 Cosmos Reason 2,在 Physical AI Bench 与 Physical Reasoning 榜单上成为排名第一的开源视觉理解模型。
Hugging Face 与 Cloudflare 达成合作,FastRTC 开发者凭 Hugging Face Token 即可接入 Cloudflare 覆盖全球 335 多个地点的 TURN 网络,每月免费流式传输 10GB 数据且无需信用卡。该集成将在 FastRTC 0.0.20 及以上版本提供,超出限额后可切换至 Cloudflare 账户扩容。
Hugging Face Diffusers 团队发布文章,梳理开源视频生成模型现状,并介绍 Diffusers 对这类模型的支持方式。文中列出 CogVideoX、Mochi-1、HunyuanVideo、Allegro、LTX-Video 等开源模型,指出高资源需求、泛化能力和延迟是主要限制。
推荐理由:Diffusers 团队系统梳理开源视频模型现状,并给出把 HunyuanVideo 显存压到约 6.5GB 的优化组合。
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文生图偏好数据集,覆盖多种图像生成类别,混合不同模型家族与不同复杂度的提示词。数据集基于 Flux 和 Stable Diffusion 模型生成图像,配套提供可直接使用的偏好数据集与 flux-dev-lora-finetune,预处理与后处理代码已在 GitHub 开源。
为缓解开源视频数据集稀缺问题,团队构建了 FineVideo,包含 43k 个视频、共 3.4k 小时,并标注了丰富描述、叙事细节、场景切分和 QA 对。该数据集从 YouTube-Commons 的 1.9M 条英文视频出发,经词密度与视觉动态性过滤,并用 Gemini 1.5 Pro 和 GPT-4o 完成内容标注与结构化输出。
Segmind 发布 SegMoE 框架,可从零创建混合专家(MoE)扩散模型,并已集成进 Hugging Face diffusers。此次发布包括 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型版本,以及用于自建 MoE 模型的 segmoe 代码包,模型采用 Apache 2.0 许可。
推荐理由:发布方给出从零构建 MoE 扩散模型的代码与三个合并版本,创作者可据此把多个预训练模型组合成新模型。
Hugging Face 博客介绍如何用 trl 库新增的 DDPOTrainer,通过 DDPO(Denoising Diffusion Policy Optimization)对 Stable Diffusion 做强化学习微调。
Hugging Face 发布 Würstchen 图像生成扩散模型,其文本条件部分在高度压缩的潜空间中工作,通过 Stage A 的 VQGAN 与 Stage B 的 Diffusion Autoencoder 实现 42x 空间压缩,Stage C 作为 Prior 在该潜空间中训练。
推荐理由:Würstchen 用 42x 空间压缩把训练成本降到 SD1.4 的约六分之一,可据此评估低显存出图方案。
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作为 Stable Diffusion XL 提供 T2I-Adapter 支持,并发布 sketch、canny、lineart、depth、openpose 等条件的 checkpoint。
推荐理由:对比 ControlNet 的参数量与推理开销,给出 T2I-Adapter 在 SDXL 上的可控生成方案与可复用训练脚本。
这篇教程演示如何用开源模型服务框架 BentoML 将 DeepFloyd IF 部署为生产级服务。DeepFloyd IF 是开源文生图模型,直接在像素空间工作,由冻结文本编码器和三个级联像素扩散模块组成,可将 64x64 px 图像逐步放大至 1024x1024 px,并用 T5-XXL-1.1 编码提示词。
苹果与 Hugging Face 将 Stable Diffusion XL 基础模型移植到 Core ML,可在运行 macOS 14 公测版的 Apple Silicon Mac 上使用,目前采用 ORIGINAL attention 实现,refiner 阶段尚未移植。
推荐理由:苹果与 Hugging Face 联合给出 SDXL 在 Mac 上的 Core ML 混合位量化方案,附各机型实测延迟与压缩配方。
Hugging Face 发布 🧨Diffusers for Mac 1.1,一款基于 Core ML 的原生 Mac 应用,可将社区贡献的 Stable Diffusion 等文生图模型转换后本地运行,生成速度最高提升至 2 倍。应用完全开源,支持 CPU、GPU 与神经引擎协同加速,并自动选择最佳加速器。
苹果工程师提供了转换脚本与推理代码,Hugging Face 已把 Stable Diffusion v1.4、v1.5、v2 base、v2.1 base 的权重转成 Core ML 版本并放到 Hugging Face Hub。
推荐理由:苹果工程师与 Hugging Face 把 Stable Diffusion 权重转成 Core ML,并给出 Python 与 Swift 两条推理路径,可据此在 Apple Silicon 上本地出图。
rinna 基于 Stable Diffusion 微调出日语专用文生图模型 Japanese Stable Diffusion,可理解日语固有词、拟声词与专有名词,生成日式风格图像。
Diffusers 0.3 新增图生图、Textual Inversion、实验性 Inpainting 等 pipeline,并支持在 M1/M2 Mac 上通过 mps 运行 Stable Diffusion。优化后 Stable Diffusion 显存占用降至 3.2GB,速度损失 10%,另推出实验性 ONNX 导出器与全新文档。
Hugging Face 发布教程,讲解如何用 Diffusers 库运行 Stable Diffusion 文生图模型,并拆解其工作原理。
推荐理由:Hugging Face 官方拆解 Stable Diffusion 在 Diffusers 中的调用方式与 Latent Diffusion 三组件原理,便于理解出图流程。
这篇 Hugging Face 博客深入解析去噪扩散概率模型(DDPM),基于 Ho 等人 2020 年论文,用 PyTorch 逐步实现,代码参考 Phil Wang 的实现。文章涵盖前向加噪与反向去噪两个过程,DDPM 作者采用 T=1000 个时间步,并用正弦位置嵌入编码时间步,U-Net 核心模块采用 Wide ResNet 块。