提出了一个由零售领域专家撰写的购物推理基准(Shopping Reasoning Bench),包含525个任务和10863个重要性加权二元评分标准,用于评估多轮对话购物助手的推理能力,评估显示9个模型(GPT、Claude、Gemini系列)的整体通过率仅57-77%,多轮任务中性能随对话长度下降4-18个百分…
机构:Amazon
来源:arXiv 2606.12608 | AI4Papers 论文推荐平台