提出PreRL方法直接在预训练空间优化边际分布P(y),并通过理论与实证验证其梯度与条件分布P(y|x)强对齐;发现负样本强化(NSR)能显著提升推理能力,据此提出双空间强化学习(DSRL)策略,先用NSR-PreRL扩展推理视野,再转入标准RL进行细粒度优化,从而有效引导策略进入更优的推理子空间。
机构:腾讯
来源:arXiv 2604.14142 | AI4Papers 论文推荐平台