提出Dataset Policy Gradient(DPG)方法,利用高阶梯度进行精确数据归因,将下游可微分指标作为奖励信号来优化合成数据生成器,从而通过监督微调使目标模型在指定指标上表现更好;实验表明该方法能精准操控模型权重嵌入QR码、数字模式67、降低ℓ²范数,并实现跨语言重述和特定UUID生成。
机构:Stanford
来源:arXiv 2604.08423 | AI4Papers 论文推荐平台