PixVerse 发布剧本文生视频创作者实用工作流指南
PixVerse 发布剧本文生视频实用工作流指南,主张把剧本当作制作蓝图而非整段粘贴渲染:先拆场景、标记叙事节奏,再逐镜头生成。其 AI 视频生成器同时提供文生视频与图生视频两条路径,便于在参考素材需保持可识别时选用图生视频。流程还涵盖音频、字幕、口型同步、风格一致性、审查与按渠道导出。
PixVerse 发布剧本文生视频实用工作流指南,主张把剧本当作制作蓝图而非整段粘贴渲染:先拆场景、标记叙事节奏,再逐镜头生成。其 AI 视频生成器同时提供文生视频与图生视频两条路径,便于在参考素材需保持可识别时选用图生视频。流程还涵盖音频、字幕、口型同步、风格一致性、审查与按渠道导出。
PixVerse 发布短片 AI 视频生成器制作指南,主张逐镜头生成而非一次成片,并强调用参考图保持角色与场景连续性。该工具支持文本和图像驱动的创作,可按短片流程不同阶段选择输入方式。指南还建议将声音、字幕与剪辑同步规划,并在粗剪中检查连续性、节奏与清晰度。
LALAL.AI、ElevenLabs、Descript、Fish Audio、TopMedi AI 和 Noiz AI 六款 AI 声音克隆工具被列为视频制作首选,其中 LALAL.AI 主打口音与音调控制,需 10–50 分钟样本训练 Voice Pack,Lite 年付 $7.50/月、Pro 年付 $15/月。
Kapwing 发布教程,讲解如何用角色参考表和动作参考视频在 Seedance 2.5 中复刻 Jean Philanthrope 式 AI 角色视频。流程分四步:先用提示词生成含正面、四分之三侧面和侧面的多视角角色参考表,再把现有视频转成黑白线稿作为动作参考,然后在 Seedance 2.5 中把两者结合生成新场景,最后在 Kapwing 中剪辑。
推荐理由:拆解 Jean Philanthrope 式 AI 角色的可复用流程,用角色参考表加动作参考在 Seedance 2.5 中保持人物一致。
Podcastle 用同一段 95.9 秒杂乱口播素材实测 5 款 AI 视频编辑器,Async 凭单条提示词完成去填充词、去停顿、删废镜头、清音频、加字幕、生成 B-roll 并转 9:16,成片 62.9 秒,综合表现最佳;Descript 以约 8 分钟完成全流程、删掉 11 个填充词中的 10 个,竖屏重构效果更好。
OpenAI 已于 2026 年 5 月 12 日从 API 下线 DALL-E 3,ChatGPT 免费版内置图像生成每天仅约 2 到 3 张。
Topaz AI 并非免费:Topaz Labs 已于 2025 年 9 月终止 Topaz Photo AI 和 Topaz Video AI 的永久授权,桌面版也不再提供试用,改为先付费、48 小时内可申请退款。
LetsEnhance 是乌克兰团队运营的浏览器端 AI 放大工具,Trustpilot 186 条评价获 4.1 分,付费版最高支持 16 倍放大与 512 MP 输出,免费账户仅 10 积分且输出带水印。
Sony Pictures Imageworks 的纹理主管 Jody Tidsbury 与动态图形师 Nori Kaneko 披露,团队用 Adobe Substance 3D Painter、Designer、Sampler 和 After Effects 完成了《KPop Demon Hunters》的角色、服装、环境纹理与演唱会动态图形。
可灵官方发布 Kling 4.0 Multiple Keyframes 使用指南,单次生成最多支持 10 张关键帧图像,用于在时间轴上设定角色入场、产品露出、场景切换等视觉节点,模型据此生成节点之间的运动与转场。
推荐理由:可灵官方给出多关键帧控制 30 秒长视频的完整方法,含时间轴规划与常见错误,可直接迁移到广告与短叙事流程。
Suno 官方博客给出在 Suno Studio 中使用 EQ 的三条入门技巧:混音以耳朵为准而非只看曲线,先衰减再提升,以及把 EQ 放在效果链首位。文中以浑浊人声为例,建议先在 400Hz 处衰减 -6dB 并用约 80Hz 高通滤除低频。
3D 艺术家 Jon Blalock 演示了如何用 Character Creator 5 搭配 Headshot 3 插件,将 2D 肖像匹配到 3D 网格,快速生成可动画的写实头部或夸张漫画头像。
WellSaid 官方博客发布指南,介绍如何用 AI 语音完成营销活动的本地化。流程包括准备本地化脚本、按市场选择带地区口音与方言的语音、生成并试听配音、调整发音与节奏,再逐市场复用同一套创意方向。AI 语音让团队无需为每次脚本修改重新安排录音,把时间与预算从协调录音转移到比较与打磨版本上。
Cartesia 官方博客指出,TTS 模型与它使用的音色是两个独立概念,音色更像输入而非模型本身。固定说话人模型只接收文本,多说话人模型可额外选择预设音色,零样本克隆模型则接受 10 到 60 秒参考音频作为提示,Cartesia 的 Sonic 端到端模型即支持 Instant Voice Cloning。专业声音克隆(PVC)需用更大录音数据集微调模型,耗时可达数小时。
开发者用 TRL 和 OpenEnv 复现了 Surya Narreddi 让语言模型通过 p5.brush 写 JavaScript 画水彩的思路,参考图池、RL 环境、训练脚本和模型全部开源,整条流水线跑在 Hugging Face 上。
语音 AI 评测基准 Real World VoiceEQ 发布,覆盖 40 多个主流闭源与开源语音模型、15+ 评估维度和 60 多项指标,涵盖 ASR、TTS、S2S 与语音理解。该基准基于超 100 万条人工评分构建,含 785,000 条 TTS 评分和 48,000 条 STS 评分。评测显示 TTS 中没有任何系统配置在全部八个能力组均进入前五,语音模型"会说"强于"会听"。
PRX 系列第四篇披露其数据管线:预训练数据由公开与内部数据集混合组成,用 VLM 重新生成图像长描述,再转为可流式训练的语料。团队改用 Qwen3-VL 文本编码器并在训练中实时计算文本 latent,实测吞吐损失约 3–4%(30 天训练多花约 1 天)。图像统一以 JPEG quality 92 编码,经实测首次重编码几乎不可察觉。
一个编码智能体通过直接调用两个 Hugging Face Spaces,生成了巴黎地标的图像并重建为 3D Gaussian splat,最终部署为静态 Space 画廊。
Hugging Face 博客发布 PRX 文本到图像模型训练系列第二篇,用消融实验记录哪些训练技巧真正有效。基线为 1.2B 参数的 PRX-1.2B,采用纯 Flow Matching、Flux VAE latent 空间、256×256 分辨率、全局 batch size 256、训练 100k 步,数据为 MidJourneyV6 生成的 100 万张合成图。
Hugging Face 介绍在 ZeroGPU Spaces 中用 PyTorch 提前编译(AoT)替代 torch.compile,避免 ZeroGPU 短生命周期进程反复编译,Flux、Wan、LTX 等模型获得 1.3×–1.8× 加速。
Hugging Face 博客展示如何用 Gradio 的 MCP 集成在 Python 中搭建 AI 购物助手,把 Python 函数自动转换为 LLM 可调用的 MCP 工具。示例通过 Gradio API 调用 IDM-VTON 虚拟试穿模型,配合 VS Code AI Chat 与 playwright MCP 服务器浏览网页,实现找衣服并生成试穿效果。
Hugging Face 上开源了长视频理解基准 TimeScope,通过向 1 分钟至 8 小时的视频中插入 5-10 秒的"针"片段,评测模型的局部检索、信息综合与细粒度时序感知三项能力。结果显示,包括 Gemini 2.5-Pro 在内的领先视觉语言模型在真正的长视频时序理解上仍明显吃力,且视频越长性能下降越明显。
Hugging Face 发布针对 Flux.1-Dev 的 LoRA 推理优化方案,结合 Flash Attention 3、torch.compile 与 FP8 量化,在 H100 上实现 2.23 倍加速。
推荐理由:给出 Flux LoRA 推理的完整优化配方,含热插拔与消费级显卡的实测数据,可直接迁移到自有出图流程。
Hugging Face 发布教程,演示用 QLoRA 与 diffusers 在单卡上微调 FLUX.1-dev,峰值显存约 9GB。在 RTX 4090 上以 512x768 分辨率、LoRA rank 4 训练 700 步约耗时 41 分钟,而标准 BF16 LoRA 需 26GB 显存。
推荐理由:Hugging Face 官方给出在单卡消费级硬件上微调 FLUX.1-dev 的完整流程与显存实测数据,可迁移到自有风格训练。
Arm 工程师 Michael Gamble 用 Stable Audio Open 模型在 Arm CPU 上构建了一款本地实时音效生成工具,无需 GPU 和云端推理,几秒内即可根据文字提示生成 .wav 文件并直接导入 Ableton Live。
Hugging Face Diffusers 现已集成 bitsandbytes、GGUF、torchao、Quanto 和原生 FP8 等多种量化后端,并以 Flux-dev 为例展示其效果。
Hugging Face 发布一套开源视频数据集构建工具,采用三阶段流水线:用 yt-dlp 下载视频并切分为短片段,再用 LAION-5B-WatermarkDetection。
Hugging Face 的 Speech-to-Speech(S2S)项目通过 VAD、STT、语言模型和 TTS 组成的级联管线实现语音对话,支持英语、法语、西班牙语、中文、日语和韩语,可单语言运行或用 auto 标志自动检测语言。
教程介绍用 InstantTexture 库把生成式 3D 模型(如 InstantMesh)输出的顶点着色 .obj 网格转换为 UV 贴图 .glb 纹理网格,核心步骤是用 xatlas 生成 UV 映射,再以重心坐标插值填充 1024 纹理,并配合修补、中值滤波、高斯模糊和 LANCZOS 降采样消除空洞。
Hugging Face 展示如何借助 Diffusers 库中的 Quanto 量化工具降低 Transformer 扩散模型的内存占用。以 PixArt-Sigma、Stable Diffusion 3 和 Aura Flow 为例,将扩散主干与文本编码器量化为 FP8 后,SD3 推理显存从 16.403 GB 降至 8.204 GB,画质几乎无损、延迟略有上升。
Artificial Analysis 推出文生图排行榜与 Image Arena,基于超 45,000 次人类图像偏好投票计算 ELO 分数,覆盖 Midjourney、DALL·E、Stable Diffusion、Playground 等主流开源与闭源模型。
Hugging Face 发布 TTS Arena,一个借鉴 LMSys Chatbot Arena 的文本转语音模型对比工具,用户输入文本、试听两个模型的合成语音后投票选出更自然的一方,结果汇入公开排行榜。
Hugging Face 发布教程,讲解如何把 ComfyUI 工作流导出为纯 Python 并用 Gradio 封装,再部署到 Hugging Face Spaces 的 ZeroGPU 上免费运行。
推荐理由:把 ComfyUI 工作流导出为 Python 并部署到 Hugging Face Spaces ZeroGPU,可复用的免费出片流程。
Hugging Face 发布 SDXL Dreambooth LoRA 进阶训练脚本,把 Pivotal Tuning 与 Prodigy 优化器整合进 diffusers,并给出可复用的训练参数。
推荐理由:Hugging Face 官方把 Pivotal Tuning 与 Prodigy 优化器整合进 diffusers 训练脚本,并给出可直接复用的参数与实验对比。
Hugging Face 在 Inference API 中实现 LoRA 动态加载,按请求在保持基础模型常驻的前提下切换 LoRA 适配器,把预热时间从 25s 降到 3s,用户请求响应从 35s 降到 13s。
Hugging Face 发布 LCM LoRA 方法,通过训练少量 LoRA 适配层而非蒸馏整个模型,让 SDXL 和 Stable Diffusion 从原本 25 到 50 步降到 4 到 8 步生成图像。
推荐理由:LCM LoRA 让 SDXL 在 4 步内出图,文中给出可直接运行的 diffusers 代码与多硬件速度对比。
在 A100(40GB)上,SDXL 默认全精度推理需 28GB 显存、耗时 72.2 秒;改用 fp16 后降至 21.7GB、14.8 秒,叠加 PyTorch 2.0 默认启用的 SDPA 进一步降到 11.4 秒,再用 torch.compile 包裹 UNet 可缩短至 10.2 秒。
Hugging Face 发布教程,介绍如何 fork 并配置 AI Comic Factory,通过 Inference API 部署到私有 Space,避免官方 Space 的长时间等待。
Hugging Face 博客介绍如何用 trl 库新增的 DDPOTrainer,通过 DDPO(Denoising Diffusion Policy Optimization)对 Stable Diffusion 做强化学习微调。
3D Gaussian Splatting 是一种光栅化技术,能从少量图像学习并实时渲染照片级真实感场景。它先用 COLMAP 做 Structure from Motion 估计点云,再将每个点转为高斯并训练,通过可微高斯光栅化实现快速渲染。其代价是显存占用高(查看需 4GB、训练需 12GB)和场景文件大(1GB+),且暂不兼容 Vulkan、DirectX、WebGPU 等现有渲染管线。