8个开源项目把一句提示词变成完整视频
一条推文汇总了8个开源GitHub项目,串起从提示词到成片的完整流程:MoneyPrinterTurbo生成脚本素材音乐,VoiceStudio做本地声音克隆与配音。
一条推文汇总了8个开源GitHub项目,串起从提示词到成片的完整流程:MoneyPrinterTurbo生成脚本素材音乐,VoiceStudio做本地声音克隆与配音。
motionmaxxing 是一个运行在 Claude Code 及任何读取 SKILL.md 的 Agent 中的技能,把 AI 生成的宣传片、产品推广和动态字体作品按动效设计标准重做。
ComfyUI-QwenVL-Mod 清理了 GGUF 与 HF 模型目录,每个后端保留三个支持视觉语言(VL)的 DavidAU heretic 模型(4B / 9B / 27B),均验证为 image-text-to-text 且 mmproj 文件可用,并移除纯文本重复项与标注错误的 "3.8-9B" 条目。
Comfy 为其开源节点式生成式 AI 平台推出 AI 助手 Comfy Agent,可在画布上规划、搭建并修复 ComfyUI 工作流。用户描述想做的内容后,智能体会连接节点、接好模型并调试出错的部分,目前运行在 Comfy Cloud 上,本地版本即将推出。
推荐理由:ComfyUI 把智能体接入画布,可自动搭节点、连模型并排错,创作者可据此判断工作流搭建方式是否要变。
模型是开源的,但使用它们的应用不是。 我们对你的请求?通过在公开环境中重建一个付费创意功能来支持开源创意,有机会赢取 1 万美元 请在太平洋时间 10/19(周一)上午 9 点前提交你的作品参加 Open Call:Comfy Dev Platform Challenge! 由 @NVIDIA @Runpod 提供支持 开源生态合作伙伴 @LTX @BFL 1 万美元大奖 3 块 NVIDIA RTX 5090 来自 LTX 和 Flux 的额外奖品 前 100 名报名者免费获得额度
Mirage 为旗下智能体创作套件 Tesseract 加入开源转换器,使 Claude 和 ChatGPT 能原生创建 Premiere(.PRPROJ)与 After Effects(.AEP)文件。
Node Banana 2.0 发布,作者称这是该项目最大的一次版本更新,仍保持 100% 免费、开源并支持自带 key。新版可直接下载、无需再折腾 git,内置一个使用 Claude 或 Codex 订阅的 agent,并支持把 ComfyUI 工作流当作节点使用,整体为自底向上的重新设计。
在 8GB 显存的 RTX 3050 上通过 ComfyUI 0.38.0 运行 Ant Group inclusionAI 的 Ming-Image 0.1(MIT 许可,绘图部分 6B),1024×1024 出图约 29 秒、模型加载后约 20 秒。
Hedra 发布 Developer API,用一个 API key 和预付美元钱包调用 110 多个生成模型,覆盖视频、图像、音频和文本,包括 Veo 3.1、Kling V3、Seedance 2.5、MiniMax H3、Nano Banana Pro、ElevenLabs V3 等。
推荐理由:Hedra 把 110 多个视频、图像、音频和文本模型收进一个 API 与预付钱包,开发者可据此评估多模型流水线的接入成本。
yanhuo-h3-motion-context-selflift 修复了 1.8.1/1.13.1 被判 Flagged 导致无法安装的问题:config.py 中 importlib 以字符串字面量按名导入 torch(命中 YARA $importlib_direct)改为函数内 import 后回填全局。
yanhuo-easy-use 修复了 1.3.0 被判 Flagged 的问题:YARA 规则误将 web/js 中的 JS Function 绑定写法识别为 Python socket 绑定,改用 Reflect.apply 消除该字面串。同时新增发布前自检脚本 tools/check_publish_hygiene.py。
Podcastle 用同一段 95.9 秒杂乱口播素材实测 5 款 AI 视频编辑器,Async 凭单条提示词完成去填充词、去停顿、删废镜头、清音频、加字幕、生成 B-roll 并转 9:16,成片 62.9 秒,综合表现最佳;Descript 以约 8 分钟完成全流程、删掉 11 个填充词中的 10 个,竖屏重构效果更好。
这个Skill的含金量还在上升中 最近视频号已经至少刷到3个用这个skill的账号了,哈哈
Kandinsky6 SR 的 ComfyUI 创作项目发布更新,保持 SR KVAE eager 模式,移除未使用的编译控制项,并改用显式可选 NATTEN 导入与标准调试日志。CPU 与 GPU 回归检查均已通过。
ComfyUI-TagForge 已内置新的 `pmp/prmpt/lens.yaml` 通配符集,涵盖超广角、广角、标准、人像、长焦、微距及特殊镜头共 26 种相机镜头表述。该词库随全新安装一并提供,无需等待 Garage 同步即可使用。
作者在 RTX 3090 上实测 pablodawson 的 MiniMax H3 360° Orbit LoRA,用同一张图作为视频首尾帧,生成约 3 秒、73 帧的环绕视频,中途会出现原图未拍到的背面。
FastVideo 发布实验性精简模型 FastH3 Trim,transformer 块从 50 减至 42,采用 rank-16 时间步条件,8 步采样,体积比基础 H3 小 4.2 倍,速度快于 FastH3 V2。
推荐理由:FastH3 Trim 以 42 层、8 步采样和 4.2 倍体积压缩给出更轻的视频生成方案,并附 ComfyUI 各精度文件与参数。
CoAnimator 通过应用菜单里的 CLI 和 Skill 两项安装接入 Claude Code,而非 MCP 服务器,因此用 claude mcp add 找不到对应命令。
ArchiGen 提出用工作室日常能接受的最弱源图来测试 AI 渲染器,固定相机与关键设计事实,只做一次首轮生成和一次受控修改。该方法要求产出五帧:可接受源图、默认首轮、受控修复、交付导出与差异叠加图,并以改动的不变量数量、首次可用输出与修复耗时来计分。文章援引 Rendero 对 11 款 AI 渲染产品的对比,指出其并未实际执行该测试。
ComfyUI-Video-Control-Studio 发布 v0.1.1,将高级设置按 Video、Pose、Depth、Canny 分组,仅选中的提取器显示对应选项,隐藏设置保留原值。
ComfyUI-Video-Control-Studio v0.1.0 发布,可在 ComfyUI 内从视频提取 Pose、Depth 和 Canny 控制序列,并提供同步 A/B 播放、可拖动对比分割线与逐帧步进。
阿姆斯特丹创意制作公司 Ambassadors 把内部视觉 AI 工作流平台 Mosa 对外开放,此前 6 月启动的封闭测试有 10 个品牌与代理机构参与,搭建了 40 多个工作流、生成 500 多个素材。
mushigaite 在 GitHub 开源 short-video-maker,可将 YouTube 视频或本地文件自动切成 9:16 竖屏短视频,集成高光检测、字幕、翻译与配音,且无片头署名和水印。
推荐理由:开源项目把长视频切片、字幕、翻译与配音串成一条本地流程,可作为短剧出海剪辑工具的免费替代方案参考。
阡陌发布教程,介绍在约 8GB 显存的 RTX 4070 Laptop 上通过 ComfyUI 本地生成图片与视频,图片用 Qwen-Image-2.1 越狱版 GGUF 工作流,视频用 MiniMax H3 的 04_i2v_fl2v_4step_sla_lowvram 工作流。
推荐理由:8GB 显存下跑通 Qwen-Image-2.1 与 MiniMax H3 的完整路径,含模型文件、目录结构与参数配置,可对照复现。
ComfyUI 创作项目 WorkflowCanary 首次发布,提供已文档化的节点、API 示例和经过测试的边缘用例。
ComfyUI 创作项目 EditFence 发布首个版本,提供带文档的节点、API 示例以及经过测试的边界用例。
火宝(huobao-drama)v4.0.8 的快捷配置新增国内/国外节点选择,默认跟随界面语言,中文对应 firemux.cn、其他语言对应 firemux.com。一键写入的推荐配置与获取 Key 链接会随所选节点生成。
开源创作项目 Video Automation 发布 v0.2.12,新增在测试通过后才放行发布的门禁机制,并加固了本地 API 请求。完整变更记录见 Full Changelog。
ProVideo Coalition 盘点了一批面向后期制作的新工具,包括把剧本转为节点式文档的免费工具 Beat、语音驱动提词器 PowerCue、AI 自动粗剪方案 Doza Assist 与 PowerCut,以及开源 Photoshop 替代品 Compositor。
ComeCut 发布资源包 v1.0,包含三个文件:ffmpeg-win-x64.zip 提供 FFmpeg 调用库,models.zip 提供特定功能所需的本地模型,onnxruntime-win-x64.zip 提供模型推理环境。
kandinskylab 发布 Kandinsky 6.0 Video 系列扩散模型,包含 3B 参数的 Lite 和 29B 参数的 Pro,可生成 5 秒带 44 kHz 同步音频(含对口型)的视频,支持文生音视频与图生音视频,并配有超分模型将输出提升至 Full HD(1920×1080)。
推荐理由:Kandinsky 6.0 开源了带同步音频与对口型的视频生成模型,并给出各档显卡的实测耗时,方便创作者评估本地部署成本。
Sky 的「监督模式」让创作者先在 3D 空间摆放人物、设定相机位置与动线,再交给 AI Agent 生成视频,作者用它完成了一支约 30 秒的体育教师 POV 头发展检查短片。
CoAnimator 提出 Agentic AI 视频创作的 7 个层级框架,从手动剪辑、AI 辅助任务、提示生成、预定义工作流,到第 5 级智能体主导剪辑、第 6 级智能体检查并修改、第 7 级智能体维护已保存项目。该框架以决策权、结果检查、可维护性三个维度区分工作流与智能体,并以一个 40 秒产品演示更新为例说明各层级责任差异。
AI UGC 营销指用图像和视频模型生成自拍测评、开箱、演示等创作者风格广告,而非为每条片子雇真人。
ComfyUI 创作项目 H3 Temporal Sampler 发布 v1.5,由原名更名为 H3 Temporal Sampler,并新增 Seam Lock 多帧渐变冻结功能。该版本同时更新默认参数:Smart Bounds 关闭、Overlap 设为 5、Blend 采用 multiband、Seam Lock Frames 设为 2。
Hugging Face dataset 的 ComfyUI 创作项目在日志中新增提示,建议安装 pillow-jxl-plugin 以启用 JPEG XL 支持。该提示仅出现在日志信息中,未说明其他功能变更。
InvokeAI 发布 7.0.0 alpha 1,称这是其规模最大的一次更新,约 320 个 PR、2600 次提交,需 Python 3.12,且新界面为默认。
推荐理由:InvokeAI 7 把画布、工作流与视频生成整合进单一工作台,并新增 MiniMax H3、LTX-2.5 等模型支持,可据此判断是否迁移现有出图流程。
MiniMax H3 可借助自身参照图像与提示词理解能力,在 ComfyUI 中无需专用 LoRA 或额外训练即可生成角色设定图,生成使用 Core 节点,自定义节点仅负责生成 JSON 与自然语言提示词。该节点将正面、侧面、背面及面部特写等视图指令与原始图像结合,保持同一人物与服装一致,未拍摄部位由 H3 补全。日文提示词效果较差,英文提示词更易通过;若无需单独生成手脚图像,可关闭该功能。
用 AI 画漫画时,同一「自宅」「保育园」每次生成的门窗位置、家具布局和房间大小都会变。作者为此制作了独立于角色设定表的「背景设定表」,记录场所类型、门窗与大型家具位置、房间关系等基本布局,并写入构图与描写规则,如玄关不用正面构图、冰箱位置固定、保育园滑梯等设备固定。小物与当回才出现的物品不写入该表,由剧本侧管理;设定表直接交给图像生成 AI 读取,而非每次改写成提示词。
ComfyUI 创作项目 ComfyUI-HotSwitches 将其显示标题更名为 ComfyUI-HotSwitches,目的是让用户在 ComfyUI Manager 中搜索时更容易找到该项目。