VIBE 教程:如何用 Talking Avatar 制作 AI 数字人口播视频
VIBE 的 Talking Avatar 模型只需一张正面照片和一段语音录音,即可生成 480p 或 720p 的对口型数字人口播视频,无需文本提示词,输出语言跟随录音。该模型按次计费,480p 为 35 tokens、720p 为 60 tokens,不随录音时长变化,且输出画幅锁定为上传照片的比例。
VIBE 的 Talking Avatar 模型只需一张正面照片和一段语音录音,即可生成 480p 或 720p 的对口型数字人口播视频,无需文本提示词,输出语言跟随录音。该模型按次计费,480p 为 35 tokens、720p 为 60 tokens,不随录音时长变化,且输出画幅锁定为上传照片的比例。
Wireflow 在 2026 年 UGC 视频生成器盘点中位列第一,其节点画布可串联 GPT Image 2.5 Flare、ElevenLabs、Kling Avatar 等图像、语音与视频模型,按模型调用付费而非按席位付费。
WellSaid 官方博客发布指南,介绍如何用 AI 语音完成营销活动的本地化。流程包括准备本地化脚本、按市场选择带地区口音与方言的语音、生成并试听配音、调整发音与节奏,再逐市场复用同一套创意方向。AI 语音让团队无需为每次脚本修改重新安排录音,把时间与预算从协调录音转移到比较与打磨版本上。
资深 VFX 合成师兼 2D 总监 Rudyard Cretenet 在生成式 AI Bootcamp 第一期完成三个项目,于 2026 年 9 月 11 日向最终评审团展示。
AI海报显得廉价,问题多出在风格词太空、信息层级乱、装饰元素过多、提示词不清晰这四个基础环节。文章拆解了这些常见问题并给出改法:控制信息量、拉开主次、把"高级感"说具体,以及按顺序写海报提示词。
Creator Animation 发布了一份独立创作者在前 90 天在线售卖 AI 影片的实操指南,将发布周期拆为打包与分发基建、直连受众的宣发、留存与扩展三个阶段。平台提供首 10GB 免费存储、超出部分 $0.40/GB,创作者保留 80% 收入分成,观众可免注册观看,也可用 $9/月的 Download Pass 或单独购买离线版本。
Creator Animation 提出 AI 动画增长订阅用户的策略:把零散技术演示转为角色、世界观连贯的季播剧集,并以无广告、无算法门槛的直接分发替代传统平台。
一位视频制作新手用可本地运行的 MiniMax H3 视频生成模型,配合 Google Colab 云 GPU,完成了 SUNO 原创曲《ヘッドホンの息》的 MV:时长约 5 分 16 秒、1440p(QHD)、全篇带歌词。制作中最终采用 44 张分镜图,累计生成 200 张以上图像、失败约 250 条视频,作者称技术细节将另文整理。
OpenAI 的 Sora API 将于 2026 年 9 月 24 日停用,涉及 Videos API 与 sora-2、sora-2-pro 及其快照,且官方未给出推荐迁移模型;应用与网页端已于 2026 年 4 月 26 日结束。
一个能生成单张建筑效果图的 ComfyUI 工作流可能只是对某张截图调参调出来的,ArchiGen 建议用四张差异明显的输入做可移植性测试:干净黏土外观、玻璃幕墙室内、低对比黄昏视图和杂乱城市环境,分别暴露立面细节臆造、深度错误、假开口和噪声混入结构控制等问题。
VIBE 免费版开放 Seedance Pro Fast、LTX 2 Distilled、PRUNA V、LTX 2.5 Fast 四款模型,支持文生视频与图生视频,无需信用卡、无试用期。免费模型最高仅 720p(Seedance Pro Fast 为 480p),每次导出均带水印,其中仅 PRUNA V 支持音频与照片对口型的数字人模式。
ArchGen AI 提出,AI 渲染器采购测试不应止于画质、速度、价格和集成,而应延伸到首图之后的修订、交接与归档。其五部分出场包要求可追溯来源、生成配方、结果规格、评审记录和限定的修订能力,并让第二位操作者仅凭该包完成一次小改动,记录耗时与改动波及范围。归档测试则由第三人在项目冷却后重新打开包,确认交付图能对应到源版本、产品、引擎、日期与设置。
YuE2 是迄今本地运行效果最好的 AI 音乐模型,视频将其与 Suno V6 进行歌曲对比,并演示了夸张提示词和参数调整。YuE2 代码采用 Apache 2.0 许可,模型权重为 CC BY-NC 4.0,个人创作者可商业化输出,企业商用需单独授权。17:41 处提供通过 Pinokio 和 Wan2GP 在本地 PC 安装的教程。
Remotion 把帧号作为 props 贯穿 React 组件树,让 React 生态的布局、动画、图表能力自动变成视频能力。
在 RX9070XT 的 Windows PC 上通过 ROCm 安装 YuE2-3B AI 音乐生成模型,作者公开了安装步骤和附赠的 Gradio GUI 代码。改用 ROCm10.x 后生成速度大幅改善,ROCm7.x 则需应用 GitHub 上的 Pull request 修正 Flash Attention 报错。9 月第 4 周还发布了 cover 集成版 GUI。
Promptsref.com 分享 3 个 Midjourney 插画 SREF 代码,分别主打稀疏不完美线稿、粗犷涂鸦几何图形,以及融合日式漫画与复古海报的哥特暗黑风。三者均以黑线、暖纸色和少量点缀色构建手绘质感,适合童书、独立漫画、海报、贴纸与游戏主视觉等场景。其中两个为会员专属 SREF。
作者整理了一套用一条提示词生成海报标题艺术字的玩法,把主题、字体感觉、颜色和氛围写进提示词,十几秒就能先跑出一版效果。作者试了手写毛笔、粉橙果冻字、紫色流光、科技速度字、未来霓虹、金色高级字等方向,覆盖电商海报、活动主视觉、详情页和 AI 设计封面等场景,提示词结构不复杂,换掉主题和风格描述即可复用。
Cartesia 官方博客指出,TTS 模型与它使用的音色是两个独立概念,音色更像输入而非模型本身。固定说话人模型只接收文本,多说话人模型可额外选择预设音色,零样本克隆模型则接受 10 到 60 秒参考音频作为提示,Cartesia 的 Sonic 端到端模型即支持 Instant Voice Cloning。专业声音克隆(PVC)需用更大录音数据集微调模型,耗时可达数小时。
开发者用 TRL 和 OpenEnv 复现了 Surya Narreddi 让语言模型通过 p5.brush 写 JavaScript 画水彩的思路,参考图池、RL 环境、训练脚本和模型全部开源,整条流水线跑在 Hugging Face 上。
语音 AI 评测基准 Real World VoiceEQ 发布,覆盖 40 多个主流闭源与开源语音模型、15+ 评估维度和 60 多项指标,涵盖 ASR、TTS、S2S 与语音理解。该基准基于超 100 万条人工评分构建,含 785,000 条 TTS 评分和 48,000 条 STS 评分。评测显示 TTS 中没有任何系统配置在全部八个能力组均进入前五,语音模型"会说"强于"会听"。
PRX 系列第四篇披露其数据管线:预训练数据由公开与内部数据集混合组成,用 VLM 重新生成图像长描述,再转为可流式训练的语料。团队改用 Qwen3-VL 文本编码器并在训练中实时计算文本 latent,实测吞吐损失约 3–4%(30 天训练多花约 1 天)。图像统一以 JPEG quality 92 编码,经实测首次重编码几乎不可察觉。
一个编码智能体通过直接调用两个 Hugging Face Spaces,生成了巴黎地标的图像并重建为 3D Gaussian splat,最终部署为静态 Space 画廊。
Hugging Face 博客发布 PRX 文本到图像模型训练系列第二篇,用消融实验记录哪些训练技巧真正有效。基线为 1.2B 参数的 PRX-1.2B,采用纯 Flow Matching、Flux VAE latent 空间、256×256 分辨率、全局 batch size 256、训练 100k 步,数据为 MidJourneyV6 生成的 100 万张合成图。
Hugging Face 介绍在 ZeroGPU Spaces 中用 PyTorch 提前编译(AoT)替代 torch.compile,避免 ZeroGPU 短生命周期进程反复编译,Flux、Wan、LTX 等模型获得 1.3×–1.8× 加速。
Hugging Face 博客展示如何用 Gradio 的 MCP 集成在 Python 中搭建 AI 购物助手,把 Python 函数自动转换为 LLM 可调用的 MCP 工具。示例通过 Gradio API 调用 IDM-VTON 虚拟试穿模型,配合 VS Code AI Chat 与 playwright MCP 服务器浏览网页,实现找衣服并生成试穿效果。
Hugging Face 上开源了长视频理解基准 TimeScope,通过向 1 分钟至 8 小时的视频中插入 5-10 秒的"针"片段,评测模型的局部检索、信息综合与细粒度时序感知三项能力。结果显示,包括 Gemini 2.5-Pro 在内的领先视觉语言模型在真正的长视频时序理解上仍明显吃力,且视频越长性能下降越明显。
Hugging Face 发布针对 Flux.1-Dev 的 LoRA 推理优化方案,结合 Flash Attention 3、torch.compile 与 FP8 量化,在 H100 上实现 2.23 倍加速。
推荐理由:给出 Flux LoRA 推理的完整优化配方,含热插拔与消费级显卡的实测数据,可直接迁移到自有出图流程。
Hugging Face 发布教程,演示用 QLoRA 与 diffusers 在单卡上微调 FLUX.1-dev,峰值显存约 9GB。在 RTX 4090 上以 512x768 分辨率、LoRA rank 4 训练 700 步约耗时 41 分钟,而标准 BF16 LoRA 需 26GB 显存。
推荐理由:Hugging Face 官方给出在单卡消费级硬件上微调 FLUX.1-dev 的完整流程与显存实测数据,可迁移到自有风格训练。
Arm 工程师 Michael Gamble 用 Stable Audio Open 模型在 Arm CPU 上构建了一款本地实时音效生成工具,无需 GPU 和云端推理,几秒内即可根据文字提示生成 .wav 文件并直接导入 Ableton Live。
Hugging Face Diffusers 现已集成 bitsandbytes、GGUF、torchao、Quanto 和原生 FP8 等多种量化后端,并以 Flux-dev 为例展示其效果。
Hugging Face 发布一套开源视频数据集构建工具,采用三阶段流水线:用 yt-dlp 下载视频并切分为短片段,再用 LAION-5B-WatermarkDetection。
Hugging Face 的 Speech-to-Speech(S2S)项目通过 VAD、STT、语言模型和 TTS 组成的级联管线实现语音对话,支持英语、法语、西班牙语、中文、日语和韩语,可单语言运行或用 auto 标志自动检测语言。
教程介绍用 InstantTexture 库把生成式 3D 模型(如 InstantMesh)输出的顶点着色 .obj 网格转换为 UV 贴图 .glb 纹理网格,核心步骤是用 xatlas 生成 UV 映射,再以重心坐标插值填充 1024 纹理,并配合修补、中值滤波、高斯模糊和 LANCZOS 降采样消除空洞。
Hugging Face 展示如何借助 Diffusers 库中的 Quanto 量化工具降低 Transformer 扩散模型的内存占用。以 PixArt-Sigma、Stable Diffusion 3 和 Aura Flow 为例,将扩散主干与文本编码器量化为 FP8 后,SD3 推理显存从 16.403 GB 降至 8.204 GB,画质几乎无损、延迟略有上升。
Artificial Analysis 推出文生图排行榜与 Image Arena,基于超 45,000 次人类图像偏好投票计算 ELO 分数,覆盖 Midjourney、DALL·E、Stable Diffusion、Playground 等主流开源与闭源模型。
Hugging Face 发布 TTS Arena,一个借鉴 LMSys Chatbot Arena 的文本转语音模型对比工具,用户输入文本、试听两个模型的合成语音后投票选出更自然的一方,结果汇入公开排行榜。
Hugging Face 发布教程,讲解如何把 ComfyUI 工作流导出为纯 Python 并用 Gradio 封装,再部署到 Hugging Face Spaces 的 ZeroGPU 上免费运行。
推荐理由:把 ComfyUI 工作流导出为 Python 并部署到 Hugging Face Spaces ZeroGPU,可复用的免费出片流程。
Hugging Face 发布 SDXL Dreambooth LoRA 进阶训练脚本,把 Pivotal Tuning 与 Prodigy 优化器整合进 diffusers,并给出可复用的训练参数。
推荐理由:Hugging Face 官方把 Pivotal Tuning 与 Prodigy 优化器整合进 diffusers 训练脚本,并给出可直接复用的参数与实验对比。
Hugging Face 在 Inference API 中实现 LoRA 动态加载,按请求在保持基础模型常驻的前提下切换 LoRA 适配器,把预热时间从 25s 降到 3s,用户请求响应从 35s 降到 13s。
Hugging Face 发布 LCM LoRA 方法,通过训练少量 LoRA 适配层而非蒸馏整个模型,让 SDXL 和 Stable Diffusion 从原本 25 到 50 步降到 4 到 8 步生成图像。
推荐理由:LCM LoRA 让 SDXL 在 4 步内出图,文中给出可直接运行的 diffusers 代码与多硬件速度对比。