SegMoE 发布:从零构建混合专家扩散模型
Segmind 发布 SegMoE 框架,可从零创建混合专家(MoE)扩散模型,并已集成进 Hugging Face diffusers。此次发布包括 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型版本,以及用于自建 MoE 模型的 segmoe 代码包,模型采用 Apache 2.0 许可。
推荐理由:发布方给出从零构建 MoE 扩散模型的代码与三个合并版本,创作者可据此把多个预训练模型组合成新模型。
创作方向
AI 画图的最前线:文生图模型迭代、图像编辑能力与分镜、海报、素材创作应用。
114 条精选近 30 天 43 条共收录 1,145 条
Segmind 发布 SegMoE 框架,可从零创建混合专家(MoE)扩散模型,并已集成进 Hugging Face diffusers。此次发布包括 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型版本,以及用于自建 MoE 模型的 segmoe 代码包,模型采用 Apache 2.0 许可。
推荐理由:发布方给出从零构建 MoE 扩散模型的代码与三个合并版本,创作者可据此把多个预训练模型组合成新模型。
Hugging Face 发布 SDXL Dreambooth LoRA 进阶训练脚本,把 Pivotal Tuning 与 Prodigy 优化器整合进 diffusers,并给出可复用的训练参数。
推荐理由:Hugging Face 官方把 Pivotal Tuning 与 Prodigy 优化器整合进 diffusers 训练脚本,并给出可直接复用的参数与实验对比。
Hugging Face 发布 LCM LoRA 方法,通过训练少量 LoRA 适配层而非蒸馏整个模型,让 SDXL 和 Stable Diffusion 从原本 25 到 50 步降到 4 到 8 步生成图像。
推荐理由:LCM LoRA 让 SDXL 在 4 步内出图,文中给出可直接运行的 diffusers 代码与多硬件速度对比。
OpenAI 宣布 DALL·E 3 现已在 ChatGPT Plus 和 Enterprise 中可用。为准备更大范围发布,OpenAI 开发了一套安全缓解措施,并同步分享了其在内容溯源研究方面的进展。
推荐理由:DALL·E 3 面向 ChatGPT Plus 与 Enterprise 开放,官方同时说明为扩大发布所做的安全缓解措施。
Hugging Face 发布 Würstchen 图像生成扩散模型,其文本条件部分在高度压缩的潜空间中工作,通过 Stage A 的 VQGAN 与 Stage B 的 Diffusion Autoencoder 实现 42x 空间压缩,Stage C 作为 Prior 在该潜空间中训练。
推荐理由:Würstchen 用 42x 空间压缩把训练成本降到 SD1.4 的约六分之一,可据此评估低显存出图方案。
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作为 Stable Diffusion XL 提供 T2I-Adapter 支持,并发布 sketch、canny、lineart、depth、openpose 等条件的 checkpoint。
推荐理由:对比 ControlNet 的参数量与推理开销,给出 T2I-Adapter 在 SDXL 上的可控生成方案与可复用训练脚本。
苹果与 Hugging Face 将 Stable Diffusion XL 基础模型移植到 Core ML,可在运行 macOS 14 公测版的 Apple Silicon Mac 上使用,目前采用 ORIGINAL attention 实现,refiner 阶段尚未移植。
推荐理由:苹果与 Hugging Face 联合给出 SDXL 在 Mac 上的 Core ML 混合位量化方案,附各机型实测延迟与压缩配方。
Hugging Face 发布教程,讲解如何用 diffusers 训练 ControlNet,并以人脸姿态模型 Uncanny Faces 为例走完三步流程。
推荐理由:以人脸姿态 ControlNet 为例,完整走通条件规划、数据集构建与 diffusers 训练脚本,并给出低显存参数配置。
Hugging Face 在 Diffusers 中集成 ControlNet,推出 StableDiffusionControlNetPipeline,可用深度图、分割图、涂鸦、关键点等空间条件控制 Stable Diffusion 生成。
推荐理由:Diffusers 官方给出 ControlNet 的完整接入方式,含 Canny、OpenPose 与多条件组合的可复用代码。
Hugging Face 发布博客,介绍如何用 LoRA 对 Stable Diffusion 做高效微调,并已在 diffusers 中提供 LoRA 训练支持,覆盖 Dreambooth 与完整微调两种方式。
推荐理由:diffusers 官方给出 LoRA 微调与推理脚本,并说明权重可缩至约 3 MB,便于创作者评估低成本定制流程。
苹果工程师提供了转换脚本与推理代码,Hugging Face 已把 Stable Diffusion v1.4、v1.5、v2 base、v2.1 base 的权重转成 Core ML 版本并放到 Hugging Face Hub。
推荐理由:苹果工程师与 Hugging Face 把 Stable Diffusion 权重转成 Core ML,并给出 Python 与 Swift 两条推理路径,可据此在 Apple Silicon 上本地出图。
Hugging Face 发布教程,讲解如何用 Diffusers 库运行 Stable Diffusion 文生图模型,并拆解其工作原理。
推荐理由:Hugging Face 官方拆解 Stable Diffusion 在 Diffusers 中的调用方式与 Latent Diffusion 三组件原理,便于理解出图流程。
OpenAI 宣布 DALL·E 进入 Beta,将在未来几周从候补名单中邀请 100 万人使用。用户可用每月重置的免费额度生成图像,也可按 115 次生成 15 美元的价格购买额外额度。
推荐理由:DALL·E 从候补名单走向百万级开放,并给出免费额度与付费增量,可据此判断早期图像生成工具的可用门槛。
OpenAI 更新 DALL·E 2 研究预览进展,早期用户迄今已生成超过 300 万张图像,并帮助改进了安全流程。OpenAI 表示将开始每周从等待名单中新增最多 1000 名用户。
推荐理由:DALL·E 2 研究预览阶段的用户规模与安全流程进展,可了解其早期开放节奏。