PRX 文本到图像模型训练设计:消融实验的经验
Hugging Face 博客发布 PRX 文本到图像模型训练系列第二篇,用消融实验记录哪些训练技巧真正有效。基线为 1.2B 参数的 PRX-1.2B,采用纯 Flow Matching、Flux VAE latent 空间、256×256 分辨率、全局 batch size 256、训练 100k 步,数据为 MidJourneyV6 生成的 100 万张合成图。
Hugging Face 博客发布 PRX 文本到图像模型训练系列第二篇,用消融实验记录哪些训练技巧真正有效。基线为 1.2B 参数的 PRX-1.2B,采用纯 Flow Matching、Flux VAE latent 空间、256×256 分辨率、全局 batch size 256、训练 100k 步,数据为 MidJourneyV6 生成的 100 万张合成图。
中国开源模型已近乎一致转向 MoE 架构,Kimi K2、MiniMax M2、Qwen3 均采用该路线,目标是在成本可控下实现可持续部署。开源活动从 2025 年 2 月起扩展至多模态与智能体,StepFun 的 Step-Audio-R1.1 语音模型性能超越闭源模型,腾讯开源 Hunyuan Video 与 Hunyuan 3D。
Google DeepMind 与 Google Research 回顾 2025 年 8 大研究突破,模型侧从 3 月 Gemini 2.5 走到 11 月 Gemini 3、12 月 Gemini 3 Flash,Gemini 3 Pro 登顶 LMArena 并在 MathArena Apex 取得 23.4% 新 SOTA。
OpenAI 推出 ChatGPT Images 与 GPT-Image-1.5,前者提供更快的图像生成体验,后者通过 API 开放使用。
Hugging Face Diffusers 宣布支持 FLUX.2,提供 Flux2Pipeline 与 Flux2Transformer2DModel 的调用代码,示例使用 diffusers/FLUX.2-dev-bnb-4bit 仓库与 Mistral3 文本编码器,并启用 enable_model_cpu_offload。
推荐理由:Diffusers 接入 FLUX.2 并给出 4bit 量化加载示例,创作者可据此评估本地部署门槛。
Google 在 Gemini 应用中上线图像验证功能,用户上传图片并提问即可通过 SynthID 数字水印判断该图是否由 Google AI 生成或编辑。SynthID 自 2023 年推出以来已为超过 200 亿件 AI 生成内容打上水印,Google 计划将验证扩展到视频和音频等格式,并接入 Search 等更多入口。
推荐理由:Google 把 SynthID 水印检测放进 Gemini 应用,创作者可据此判断图片是否由 Google AI 生成或编辑。
Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),这是基于 Gemini 3 Pro 构建的高保真图像生成与编辑模型,已在 Google AI Studio 和 Vertex AI 以付费预览形式向开发者开放。
推荐理由:Gemini 3 Pro Image 面向开发者开放付费预览,支持 2K/4K 输出与多图合成,可用于评估现有出图流程。
Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),基于 Gemini 3 Pro 构建,主打更准确的图像内文字渲染、多语言生成与实时信息可视化。
推荐理由:基于 Gemini 3 Pro 的图像模型在文字渲染与多图一致性上给出新能力,可据此评估出图流程。
Hugging Face AI Sheets 发布重大更新,新增视觉支持,可在表格中直接查看、分析、提取图像信息并生成和编辑图片,无需写代码。该工具由 Inference Providers 驱动,可调用数千个开源模型,支持从收据、文档、图表中提取结构化数据,也能按提示词生成配图并批量产出变体,结果可导出为 CSV 或 Parquet。
通过 Hugging Face MCP Server 将 Claude 接入 Hugging Face Spaces,即可调用 FLUX.1 Krea [dev] 和 Qwen-Image 等模型生成图像。
Hugging Face 博客展示如何用 Gradio 的 MCP 集成在 Python 中搭建 AI 购物助手,把 Python 函数自动转换为 LLM 可调用的 MCP 工具。示例通过 Gradio API 调用 IDM-VTON 虚拟试穿模型,配合 VS Code AI Chat 与 playwright MCP 服务器浏览网页,实现找衣服并生成试穿效果。
Hugging Face 发布针对 Flux.1-Dev 的 LoRA 推理优化方案,结合 Flash Attention 3、torch.compile 与 FP8 量化,在 H100 上实现 2.23 倍加速。
推荐理由:给出 Flux LoRA 推理的完整优化配方,含热插拔与消费级显卡的实测数据,可直接迁移到自有出图流程。
Hugging Face 发布教程,演示用 QLoRA 与 diffusers 在单卡上微调 FLUX.1-dev,峰值显存约 9GB。在 RTX 4090 上以 512x768 分辨率、LoRA rank 4 训练 700 步约耗时 41 分钟,而标准 BF16 LoRA 需 26GB 显存。
推荐理由:Hugging Face 官方给出在单卡消费级硬件上微调 FLUX.1-dev 的完整流程与显存实测数据,可迁移到自有风格训练。
Hugging Face Diffusers 现已集成 bitsandbytes、GGUF、torchao、Quanto 和原生 FP8 等多种量化后端,并以 Flux-dev 为例展示其效果。
ChatGPT 图像生成支持从提示词、草图或上传图片出发,创建品牌视觉素材与产品效果图。该功能面向品牌视觉与产品 mockup 场景,可基于已有素材进行生成。
OpenAI 宣布最新图像生成模型以 gpt-image-1 的形式在 API 中开放,开发者和企业可将专业级、可定制的视觉内容直接集成进自有工具和平台。
推荐理由:OpenAI 把最新图像生成模型以 gpt-image-1 接入 API,开发者可据此评估自有工具的图像生成集成。
语言技术实验室发布 Visual Salamandra,将 Salamandra 大模型能力扩展至图像和视频,基于 70 亿参数基础模型,集成 Google SigLIP-So400m 编码器与 2 层 MLP 投影器,采用四阶段训练和 late-fusion 架构。
OpenAI 发布 GPT-4o 的原生图像生成能力,官方称其在文字渲染和指令跟随方面更强,并指向 ChatGPT Images 2.5。
推荐理由:OpenAI 在 GPT-4o 中原生加入图像生成,文字渲染与指令跟随是这次更新的两个关键变化。
OpenAI 发布 GPT-4o 系统卡增补,介绍 4o 图像生成。该能力比此前的 DALL·E 3 系列模型更强,可生成写实画面,也能接收图像输入并进行变换。
推荐理由:OpenAI 在系统卡增补中说明 4o 图像生成相较 DALL·E 3 的能力变化,可据此了解其图像输入与写实输出定位。
Diffusers 团队实验性推出 Remote VAE,将扩散模型的 VAE 解码过程交给远程 Inference Endpoints 处理,以降低高分辨率图像和视频合成对消费级 GPU 的显存压力。
Hugging Face 博客推出 AI 艺术工具月报第一期,回顾 2024 年创意 AI 领域的关键发布。图像生成方面,扩散模型从 U-Net 架构转向 DiT 与流匹配,Flux.1 在多项基准上超越 Midjourney v6.0 和 DALL·E 3 (HD),SDXL 仍是个人化与可控生成的主流基座。
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文生图偏好数据集,覆盖多种图像生成类别,混合不同模型家族与不同复杂度的提示词。数据集基于 Flux 和 Stable Diffusion 模型生成图像,配套提供可直接使用的偏好数据集与 flux-dev-lora-finetune,预处理与后处理代码已在 GitHub 开源。
Stability AI 发布 Stable Diffusion 3.5,包含 8B 的 Large 模型和 8B 的 timestep-distilled 模型,后者支持 4-8 步少步推理,模型已上线 Hugging Face Hub 并可在 Diffusers 中使用。
推荐理由:SD3.5 Large 与 timestep-distilled 版本同步上线 Diffusers,并给出量化推理与 LoRA 训练路径。
Hugging Face 展示如何借助 Diffusers 库中的 Quanto 量化工具降低 Transformer 扩散模型的内存占用。以 PixArt-Sigma、Stable Diffusion 3 和 Aura Flow 为例,将扩散主干与文本编码器量化为 FP8 后,SD3 推理显存从 16.403 GB 降至 8.204 GB,画质几乎无损、延迟略有上升。
OpenAI 提出 Consistency Models,可在不依赖迭代采样的情况下实现图像、音频和视频生成。扩散模型虽推动了这些领域的发展,但其迭代采样过程导致生成速度缓慢。
Stability AI 的 Stable Diffusion 3 Medium(2B 参数)已在 Hugging Face Hub 发布并接入 Diffusers,同时提供 Dreambooth 与 LoRA 训练脚本。
推荐理由:SD3 Medium 在 Diffusers 上线,附带显存优化与 LoRA 微调脚本,可据此评估本地出图成本。
Artificial Analysis 推出文生图排行榜与 Image Arena,基于超 45,000 次人类图像偏好投票计算 ELO 分数,覆盖 Midjourney、DALL·E、Stable Diffusion、Playground 等主流开源与闭源模型。
Canva 是一个月活超 1.75 亿的视觉传播平台,用于制作演示文稿、视频、文档、网站和社交媒体图形等。面对全球大多数知识工作者缺乏设计训练的问题,Canva 通过易用界面、庞大素材库和节省时间的工具,让任何人都能创作出视觉上吸引人的内容。
Hugging Face 发文梳理 AI 生成内容的水印方案,区分生成时嵌入与生成后添加两类路径,并介绍 Hub 上可用的加水印与检测工具。文章还提到 Glaze、Photoguard 等图像"隐形改动"工具,以及 Nightshade、Fawkes 这类数据投毒工具,用于阻止模型学习或生成人脸。Truepic 则按 C2PA 标准嵌入元数据并配合水印,提升来源可验证性。
Segmind 发布 SegMoE 框架,可从零创建混合专家(MoE)扩散模型,并已集成进 Hugging Face diffusers。此次发布包括 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型版本,以及用于自建 MoE 模型的 segmoe 代码包,模型采用 Apache 2.0 许可。
推荐理由:发布方给出从零构建 MoE 扩散模型的代码与三个合并版本,创作者可据此把多个预训练模型组合成新模型。
ONNX Runtime 的 CUDA 与 TensorRT 执行提供程序可显著加速 SD Turbo 和 SDXL Turbo 在 NVIDIA GPU 上的推理,吞吐量相比 PyTorch 最高提升 229%(SDXL Turbo)和 120%(SD Turbo)。
Hugging Face 发布 aMUSEd,一个约 800M 参数的非扩散文本到图像模型,是 Google MUSE 的开源复现,采用掩码图像建模(MIM)方法,推理步数更少且可解释性更强。
Hugging Face 发布 SDXL Dreambooth LoRA 进阶训练脚本,把 Pivotal Tuning 与 Prodigy 优化器整合进 diffusers,并给出可复用的训练参数。
推荐理由:Hugging Face 官方把 Pivotal Tuning 与 Prodigy 优化器整合进 diffusers 训练脚本,并给出可直接复用的参数与实验对比。
Hugging Face 在 Inference API 中实现 LoRA 动态加载,按请求在保持基础模型常驻的前提下切换 LoRA 适配器,把预热时间从 25s 降到 3s,用户请求响应从 35s 降到 13s。
Hugging Face 发布 LCM LoRA 方法,通过训练少量 LoRA 适配层而非蒸馏整个模型,让 SDXL 和 Stable Diffusion 从原本 25 到 50 步降到 4 到 8 步生成图像。
推荐理由:LCM LoRA 让 SDXL 在 4 步内出图,文中给出可直接运行的 diffusers 代码与多硬件速度对比。
在 A100(40GB)上,SDXL 默认全精度推理需 28GB 显存、耗时 72.2 秒;改用 fp16 后降至 21.7GB、14.8 秒,叠加 PyTorch 2.0 默认启用的 SDPA 进一步降到 11.4 秒,再用 torch.compile 包裹 UNet 可缩短至 10.2 秒。
OpenAI 宣布 DALL·E 3 现已在 ChatGPT Plus 和 Enterprise 中可用。为准备更大范围发布,OpenAI 开发了一套安全缓解措施,并同步分享了其在内容溯源研究方面的进展。
推荐理由:DALL·E 3 面向 ChatGPT Plus 与 Enterprise 开放,官方同时说明为扩大发布所做的安全缓解措施。
Hugging Face Diffusers 现已支持在 Cloud TPU v5e 上通过 JAX 运行 SDXL 推理,借助 JIT 编译与 XLA 并行实现高性能、低成本部署。演示在多个 TPU v5e-4 实例上并行生成 4 张 1024×1024 图像约需 4 秒,纯生成时间约 2.3 秒;TPU v5e 成本不到 TPU v4 的一半。
Hugging Face 发布教程,介绍如何 fork 并配置 AI Comic Factory,通过 Inference API 部署到私有 Space,避免官方 Space 的长时间等待。
Hugging Face 博客介绍如何用 trl 库新增的 DDPOTrainer,通过 DDPO(Denoising Diffusion Policy Optimization)对 Stable Diffusion 做强化学习微调。