跳到主要内容
检索

# 下一词元预测

7 篇关联报道

订阅更新
  1. arXiv

    思维链为何能解没见过的多步题:同一步预测器反复复用,误差按步数亚线性累积

    思维链的分布外泛化被解释为组合式泛化:训练只给单步原子转移,目标任务却需要多步组合。理论把目标风险写成各单步风险之和乘以一个与步数无关的系数,并证明共享同一个预测器使估计项按步数的平方根倒数收缩,而非随步数线性增长。Atom-Task 与 GSM8K 实验支持短链到长链、以及未见操作组合上的迁移,同时显示显式状态跟踪不可缺少。

  2. aclanthology.org

    自回归训练不再只按从左到右预测:Max(MI(S;t))按互信息重排目标,算术平均准确率94.96%

    自回归语言模型通常按固定的从左到右顺序做下一词预测,Max(MI(S;t))改为在训练前按目标词与输入及已选目标的互信息排序,把信息量大的目标提前。在GPT式模型上,它在算术任务的平均准确率为94.96%,高于下一词预测的74.84%和逆序的86.29%,接近穷举24种顺序得到的97.33%上界;在WikiText-2上把平均困惑度从13.58降到10.77。方法只改训练目标的组织方式,模型结构与自回归解码不变。

  3. arXiv

    表征不必靠规模对齐:正视图让1.09亿参数文本编码器在PRH基准上超过720亿参数语言模型

    研究把“不同模态模型会收敛到同一世界表征”的柏拉图表征假说,在JEPA(联合嵌入预测架构)上变成可证明的定理:只要各模态的正样本对描述同一世界状态,分别训练的编码器就只差一个旋转。据此区分“正视图”与“坏视图”,在相同文本与编码器下正视图对齐最好;一个1.09亿参数的文本JEPA在PRH基准上达到.184,高于所评估的全部语言模型(最高720亿参数,.154)。

  4. arXiv

    流式联邦学习多通信反而更易过拟合:马尔可夫数据下泛化界随轮数按√R增长

    流式联邦学习让客户端从不断到达的数据流训练共享模型,但数据流往往有时间相关性。针对客户端数据服从马尔可夫过程的情形,一项分析用信息论与率失真方法给出了聚合模型期望泛化间隙的上界,并把它专门化到线性与自注意力下一词预测。上界显示:通信轮数增多会以约√(R/N)的量级放宽泛化保证,而时间相关性以混合时间的平方根进入;TinyStories 上的 GPT 式预训练与 ETTh2 电力预测实验都观察到训练、测试损失随轮数下降而泛化间隙变宽。

  5. researchsquare.com

    重症监护有了一个不用任务标签的生成式数字孪生:13个终点AUROC 0.83–0.98,20个预测器中排第一

    一个123.5M参数的生成式模型Didymos在五个国家七个重症数据库的409,297例住院上一次性训练,不使用任务标签,靠采样患者未来来回答预测问题。在留出数据上,它从模拟未来读出13个主要终点的AUROC为0.83–0.98,在20个预测器中平均排名第一,包括有标签训练的LightGBM与TabPFN-3.5。它模拟的治疗反应与九项观察对照中的八项一致,但在俄罗斯与中国两家未参与训练的医院,仍需用当地无标签住院做数分钟继续训练才能追平本地有监督模型。

  6. arXiv

    在原始视频上对语言模型做中期训练,视频基准平均提升2.9分、图像基准提升5.1分且文本能力不降

    该工作研究能否用无字幕、无文本损失的原始网络视频对预训练语言模型做中期训练:将视频帧编码为连续视觉token,让模型预测下一个视觉token,在YT-Temporal-1B的原始片段上中期训练Qwen3-1.7B,再与未做中期训练的模型施加相同的图文指令微调;结果视频基准平均提升2.9分、图像基准提升5.1分,文本平均分由48.0升至48.9,且预测字幕并不优于预测视觉token。

  7. PhysBrain 1.5:把语言、动作与未来世界状态统一进一个自回归词表的物理基础模型

    PhysBrain 1.5 以预训练 Qwen3-VL 为骨干并扩展专用动作与视觉状态 token,把语言回答、结构化空间输出、末端执行器轨迹与未来世界状态统一为离散 token 并在单一“下一 token 预测”目标下联合学习,预训练阶段的具身监督全部来自人类交互视频(自我中心、同步自我—外中心与全景记录,组织为以任务为中心的片段),监督微调再结合人类演示、真实机器人轨迹与仿真经验,在 28 个具身空间智能与规划基准上 8B 版本取得 72.5 的总体平均分,开源模型中排名第一,并与 GPT-6-Astra(73.3)和 Gemini 3.6 Flash(73.0)等领先闭源系统表现相当,在开源模型中于 14 个基准排名第一、10 个

已读完全部报道