跳到主要内容
检索

# 库尔贝克-莱布勒散度

2 篇关联报道

订阅更新
  1. arXiv

    科学智能体不再只判真假:把假设换成互斥解释集,同预算下解出问题多67%

    科学发现智能体通常只检验单个假设,证据否定它时,智能体知道这条解释不太可能,却不知道哪条替代解释更受支持。Contrastive Discovery 把每一步发现改为围绕同一科学问题的一组互斥且穷尽的竞争解释,用证据在这组解释间重新分配信念的程度打分。在材料、天文、房贷歧视、网络讨论、软件工程实践和社会行为六个数据集上,以对比集引导搜索时,同等实验预算下解出的问题比逐点惊奇度基线多67%;38位专家的盲评在78%的已解问题上选择了同一解释。

  2. arXiv

    控制变量蒸馏实验显示:同策略 rollout 并非普遍更优,KL 方向与学习率才是主导因素

    该研究在强到弱蒸馏中独立改变 rollout 策略、token 级 KL 方向与学习率,跨 Llama 3 与 Qwen2.5 及科学、医学、算术推理任务发现:同策略 rollout 在最终准确率、灾难性遗忘和参数更新稀疏度上没有一致优势,前向 KL 对 rollout 策略稳健而反向 KL 更敏感并偏好学生生成的 rollout,学习率主导遗忘与稀疏度,同策略数据仅在向更难 Countdown 变体泛化时带来提升且该优势在后续 RLVR 后不可靠保留。

已读完全部报道