Reddit comfyui · 创作与工作流分享· /u/Inevitable_Pen9043·· 26 天前AI 评分20
在 AI toolkit 中为 Qwen 2.1、LLaMA 2 和 MOSS 训练 LoRA,该用 shift 还是 sigmoid?
It is not clear to me which parameter we should use for LoRA training—shift or sigmoid—in the new models (Qwen 2.1, LLaMA 2, and MOSS) within the AI toolkit.
AI 导读
有用户在 AI toolkit 中为 MOSS 训练 LoRA 时结果完全崩坏,由此质疑新模型(Qwen 2.1、LLaMA 2、MOSS)该用 shift 还是 sigmoid 参数。该用户提到 sigmoid 在 Krea 2 和 Qwen 2.1 上可用,并询问是否应先从 shift balanced 开始、在训练后期切换到 shift low noise。
打开原文 reddit.com