提出一种基于突变驱动的评估框架,通过语义改变(SAC)和语义保持(SPC)两类代码变更,实证分析8个大语言模型在程序演化下的单元测试生成能力;发现LLM生成的测试严重依赖表面模式而非深层语义推理,在SAC和SPC下覆盖率与通过率均显著下降,且大量失败测试在原程序上仍能通过,表明其缺乏对演化代码的真实回归意识。
机构:CMU
来源:arXiv 2603.23443 | AI4Papers 论文推荐平台