提出UOJ-Bench基准,用于评估LLM在编程竞赛中的代码生成、代码黑客和代码修复能力,基于UOJ真实提交数据。结果表明,一次性评估下最强模型也无法识别超过50%的错误提交,测试时扩展虽能将成功率提升至90%以上但计算成本高,最佳模型可发现超过5%的满分提交中的错误。
机构:清华
来源:arXiv 2606.12864 | AI4Papers 论文推荐平台