AI2发布XYBench:8千余道真实问题考AI能否识破用户的错误前提
AI2联合卡内基梅隆、英伟达与约翰斯·霍普金斯大学发布XYBench,用8,115道来自Stack Overflow、Stack Exchange、人工整理与WikiHow的真实问题,检验AI助手能否识别用户提问背后的错误前提。在Stack Overflow问题上,五个被测模型给出表层请求解决方案的比例为75–86%,而给出真实目标解决方案的比例只有59–71%;即便把用户真实意图直接告诉模型,识别错误前提的比例也未必上升。