提出系统研究LLM-as-a-judge中anchor模型选择对评估可靠性的影响,发现中等性能(mediocre)模型作为anchor比最优或最差模型更能提升与人类排名和二次排序的相关性,并指出当前主流基准规模在anchor-based评估下统计功效不足。
机构:IBM
来源:arXiv 2603.16848 | AI4Papers 论文推荐平台