提出了OmegaUse-OfficeVal基准,用于评估LLM代理在长程办公套件任务上的经济性,包含100个任务,平均需要2.32小时人工,通过经济信号和基于代码的验证器进行评估,发现LLM显著更便宜更快但尚未达到人类交付质量。
机构:百度
来源:arXiv 2607.27155 | AI4Papers 论文推荐平台