提出TRACE框架,用于在真实开发交互场景(聊天编程、IDE补全、指令式代码编辑)中评估LLM作为代码评判者的偏差,通过自动提取可解释的评分标准揭示LLM与开发者在代码质量维度(如解释长度、健壮性、注释数量)上的系统性偏差,发现最佳LLM评判者比人类标注者表现低12.23%。
机构:CMU
来源:arXiv 2603.24586 | AI4Papers 论文推荐平台