跳到主要内容
检索

# 置换鲁棒决策建模

1 篇关联报道

订阅更新
  1. arXiv

    候选独立块因果注意力让决策模型对候选排序不再敏感,同时保持决策质量

    该工作提出候选独立块因果注意力:在共享上下文与每个候选内部保留因果计算,同时阻断候选之间的信息流并重置候选位置;在 Gemma 3 1B、Qwen3 1.7B 与 Qwen3 4B 三个骨干上,与标准因果注意力和互补的不变性基线相比,该架构一致地降低了排列敏感性并保持有竞争力的决策质量,消融显示候选隔离是主要来源,位置重置补全了目标对称性,另有一项使用更多训练数据的 Qwen3-4B 研究进一步考察该架构的行为。

已读完全部报道