本文提出了RLHF标注中的三种概念模型——扩展(extension)、证据(evidence)和权威(authority),用于澄清人类标注者在大语言模型对齐中的规范性角色,并论证这些模型对标注的征集、验证与聚合方式具有实质性影响,主张应根据任务维度选择最适配的模型而非采用统一管道。
机构:多伦多大学
来源:arXiv 2604.25895 | AI4Papers 论文推荐平台