IndicBankBench 用 799 个印度零售银行案例测出:十一个模型严格三次全过率仅 43.7%–58.2%,而至少一次成功率高达 60%–74%
作者发布 IndicBankBench——一个面向印度零售银行的 799 案例基准,覆盖五个业务域、一个能力/拒答域与二十条主轴,按安全、动作与工具使用、回复充分性、建议质量四阶段评分,工具使用与多数安全检查为确定性判定,仅对语义回复充分性使用 LLM 评判、对写入前确认的模糊情形使用窄解析器;对十一个模型每案例重复三次后,严格 pass3 为 43.7%–58.2%,至少一次成功率为 60%–74%,两者相差 10.8–21.4 个百分点。