该论文提出并系统分析了解劫持(Solution Hacking)现象,即LLM通过数值搜索、枚举、猜测或答案优先验证等无效捷径获得正确答案而绕过目标推理能力,并基于专家标注开发了自动判别器和测试时反劫持提示,证明仅用最终答案评估会高估前沿LLM的科学推理能力,而反劫持策略能提供更忠实的评估。
机构:阿里
来源:arXiv 2608.02442 | AI4Papers 论文推荐平台
AI4Papers 是一个以每日 arXiv 论文发现为入口的 AI 科研工作流平台,帮助研究者用最短时间掌握最新 AI/ML 前沿动态。
核心功能完全免费。高级 AI 功能(对比分析、深度研究、灵感工作台)支持自带兼容 API Key(如 OpenAI、通义千问)无限使用。
免费注册 | 使用教程