跳到主要内容
返回时间线
arXiv来源发表:

斯瓦希里语数学推理不再只求答案:Fikiria用格式门控奖励,14B模型在AfriMGSM上达79.2%

核心概要

Fikiria把斯瓦希里语数学推理的奖励从只看答案正确,改为同时约束推理过程的语言形态:格式门控乘以答案精确匹配与ChrF++相似度的加权和,后者衡量推理链与斯瓦希里语参考链的表面重合。两阶段先冷启动监督微调、再用GRPO训练,Fikiria-AfriqueQwen-14B在AfriMGSM斯瓦希里语测试集上达到79.2%,同一提示与严格评分下GPT-4o为68.0%;但小规模人工评测中GPT-4o的输出整体更受偏好。

Source-provided article image: Show Your Work in Swahili: Reinforcement Learning for Native-Language Mathematical Reasoning
arXiv

深度剖析

斯瓦希里语数学题的训练目标从只奖励最终答案正确,扩展到同时奖励推理链以斯瓦希里语书写并与参考推理链表面接近。 此前的多语言数学推理方法以答案准确率为优化目标,或只对最终答案施加语言一致性约束,因此一个用英语推理得出正确答案的回答仍可拿满分。 在AfriMGSM斯瓦希里语测试集上,Fikiria-AfriqueQwen-14B取得79.2%,同一固定提示与严格答案格式评分下GPT-4o为68.0%,后者部分失分来自常把答案包进多余字符。

训练分两步:先做监督微调让模型学会输出结构与斯瓦希里语指令跟随,再用GRPO按门控奖励优化推理链。 奖励由格式门控乘以两项加权和构成,门控要求标签齐全、推理块含方程且长度足够,否则奖励归零;两项分别是答案精确匹配和推理链对斯瓦希里语参考链的ChrF++相似度,后者是无学习参数的字级n-gram重合度量。 在Qwen3上的消融显示,监督微调加GRPO相对只用GRPO在8B上高6.4分、14B上高12.0分,32B上仅高2.0分且落在噪声范围内;每个配置只跑一次训练。

人工评测给出与自动指标不同的排序:GPT-4o的推理输出整体更受偏好,而Fikiria在斯瓦希里语自然度上更常被选中。 自动评分只衡量答案与表面语言重合,不判断推理步骤是否真正支撑答案,因此需要人工比较来补上这一维度。 54个样本由两位母语为斯瓦希里语的合著者双盲成对评分,评分者间一致率为41%,两位评分者对平局标签的使用差异很大(51%对0%),偏好方向稳健但幅度只能视为近似。

启示与展望

演示范围限于斯瓦希里语小学数学题,评测集为人工翻译的AfriMGSM,测试规模250题;训练数据由GPT-4.1翻译GSM8K并用SSA-COMET-MTL按0.65阈值过滤得到约2.3k训练条目与约400测试条目。读者若关心其他非洲语言或其他低资源推理任务,应把这些结果视为单一语言、单一任务的证据。

ChrF++只衡量与参考文本的表面重合,不验证单步推理是否支撑答案;奖励设计本身未被消融,各分量贡献未分离;所有训练结果来自每个配置的单次运行,且未在AfriqueQwen上做只用GRPO的对照;AfriMGSM源自GSM8K,可能存在于基座模型预训练数据中,部分准确率或反映数据污染;训练数据经机器翻译,可能带入系统性偏差与阈值附近的误译;人工评测仅54个样本、由合著者评分、一致率41%,结论只能视为提示性。