跳到正文
Hugging Face Daily Papers·· 2026-10-15AI 评分24

RPO:面向在线扩散强化学习的路由策略优化

Routing Policy Optimization for Online Diffusion Reinforcement Learning

AI 导读

针对扩散模型强化学习中扰动反向去噪轨迹导致 rollout 优化成本高的问题,RPO 将注意力路由变为随机探索动作,在若干去噪层级按原生注意力权重采样 key block,并用双 rollout 估计器提供优势信号。在文生图与文生视频任务上,RPO 提升生成质量的同时训练效率较 Flow-GRPO 类方法提升近 4 倍,推理时恢复稠密注意力并保留原始确定性采样器。

打开原文 arxiv.org