提出DoWhatISay(DOWIS),一个首个多语言、平行 spoken/text prompt 数据集,用于在真实语音指令条件下评估语音大语言模型(SLLMs),覆盖9项任务和11种语言;实验表明文本提示普遍优于语音提示,尤其在低资源和跨语言场景中,而语音输出任务(如TTS、S2ST)中语音提示可缩小性能差距。
机构:CMU
来源:arXiv 2603.09881 | AI4Papers 论文推荐平台