本文系统研究了在预训练策略基础上预训练Q函数对在线RL微调的影响,发现朴素预训练帮助不大,并提出通过训练多个不同策略并使用其混合轨迹来引导Q函数学习的方法(IPE),在连续控制任务上平均提升26%。
机构:Stanford
来源:arXiv 2607.27203 | AI4Papers 论文推荐平台
AI4Papers 是一个以每日 arXiv 论文发现为入口的 AI 科研工作流平台,帮助研究者用最短时间掌握最新 AI/ML 前沿动态。
核心功能完全免费。高级 AI 功能(对比分析、深度研究、灵感工作台)支持自带兼容 API Key(如 OpenAI、通义千问)无限使用。
免费注册 | 使用教程