Waypoint-OPD:用中间检查点筛选 RL 策略变化,改进在线策略蒸馏#
该方法在策略偏移蒸馏中引入同一次强化学习训练的教师中间检查点,比较早期与后期的偏好变化方向,方向相反时抑制蒸馏信号,只需多做一次教师打分。以 RL 训练的 Qwen3-4B 为教师,在数学和代码推理的全部 6 组设置中取得最高平均分。
▲ 152 AI 摘要 arXiv Bingxi Hou, Guochao Jiang, Guofeng Quan, Weiqing Li
AI 深研院 · 共 8 条
Hugging Face Daily Papers 与 arXiv 精选
该方法在策略偏移蒸馏中引入同一次强化学习训练的教师中间检查点,比较早期与后期的偏好变化方向,方向相反时抑制蒸馏信号,只需多做一次教师打分。以 RL 训练的 Qwen3-4B 为教师,在数学和代码推理的全部 6 组设置中取得最高平均分。
▲ 152 AI 摘要 arXiv Bingxi Hou, Guochao Jiang, Guofeng Quan, Weiqing Li
该方法把少步自回归视频生成中的中间结果视为草稿,预测哪些 token 可以提前接受并冻结,不再继续去噪。在 LongLive 上,每个 token 约 1.7 步即可达到四步生成的质量,速度提升 1.5 倍以上;在 Lingbot-World 2.0 上提速 1.35 倍。
▲ 62 AI 摘要 arXiv GitHub Hyunwook Choi, Seungryong Kim, Dongyoon Han, Sangdoo Yun · NAVER AI Lab
研究者构建了包含 200 万条可执行 3D 代码的数据集 3DCodeVerse-2M,以及一个基于执行检查、空间测量和视觉反馈自动修正的多智能体框架。用该数据微调可显著提升开源模型的 3D 编程能力;在人工两两对比中,该框架对 Claude Design(3D Object)的胜率达 90%。
▲ 60 AI 摘要 arXiv GitHub Yipeng Gao, Ziyao Zeng, Jinfa Huang, Yijiang Li · University of Southern California
SCOPE 基于 GRPO,让提示词改写模型同时输出改写结果及其语义分段,并在每个片段内汇总策略变化来统一加权 token 损失,无需额外的片段级奖励或图像渲染。在 Qwen-Image、SD3、FLUX.1-dev 上,GeneVal 和 T2I-CompBench 相对提升 9.48% 和 7.62%。
▲ 57 AI 摘要 arXiv GitHub Yufei Jiao, Jinfa Huang, Zeyue Xue, Tianyu Xie · University of Rochester
上下文压缩和子智能体分叉会让一条轨迹跨越多个会话,与单会话训练假设不符。Mosaic 采用无 critic 的分层优化,在轨迹层引入会话使用信号,在会话层按边际贡献调整优势值。在 BrowseComp 上用 Qwen3.5-4B 实验,效果优于直接广播优势值,且平均使用的会话更少。
▲ 40 AI 摘要 arXiv GitHub Yilong Xu, Minrui Xu, Xinyu Zhou, Xiang Long · LARK Lab@HKUST (GZ)
论文指出空间关系、距离、放置位置等判断输出空间很小,VLM 却需自回归生成文本再解析。作者提出 MJev-Spatial,一个“系统 1”式多模态决策模型,用统一的分类式框架同时处理三类空间理解任务,以适应交互级速度需求。
▲ 32 AI 摘要 arXiv GitHub Luozheng Qin, Yuhan Zhu, Changhai Zhou, Qian Qiao · Mind Lab
AutoSFT 为 SFT 数据设计了包括调配比、剪枝、修复、替换和合成在内的动作空间,由元智能体把执行与分析分开,并调用合成子智能体补足数据。逐步加入各组件后,IFEval 最多提升 6.5,合成数据再带来 IFEval +3.4、IFBench +2.9;在代码任务上 MBPP+ 提升 3.7。
▲ 32 AI 摘要 arXiv GitHub Bingxiang He, Pengqi Sun, Shihao Peng, Shaoxuan Li · Tsinghua NLP Group
论文指出智能体运行中多数 LLM 调用只是多选决策,于是构建 AgentDecisionBench 评测决策模型,并设计按置信度阈值在决策模型与 LLM 之间分工的 JevAgentHarness。训练出的开源 AgentDecision-4B 让智能体成本降低 81.1%–89.0%,速度最高提升 2.5 倍。
▲ 14 AI 摘要 arXiv GitHub Kunlun Zhu, Tao Feng, Xu Han, Heng Wang · University of Illinois at Urbana-Champaign