跳到主要内容
检索

Adelaide University

7 篇关联报道

订阅更新
  1. arXiv

    History Forcing 让少步视频模型记住久远历史:1.3B 学生 60 秒 VBench-Long 达 79.82

    少步自回归视频扩散模型在长推演中会逐渐丢失主体与场景信息,现有蒸馏目标没有把久远历史单独作为约束。History Forcing 用同一自回归教师在有、无额外历史两种条件下的预测之差构造上下文残差,加权后修正 DMD 或 OPSD 的蒸馏目标。1.3B 学生模型在 15 秒生成上取得 VBench 质量分 85.07,在 60 秒生成上取得 VBench-Long 综合分 79.82,并在相机离开再返回的评测中把 PlayWorld 演化质量从 2.35 提到 2.70。

  2. arXiv

    SP-DocReader 用差异感知自博弈把 Qwen3-VL-4B 的 Vary-600K 字符错误率从 2.40 降到 1.11

    SP-DocReader 提出一种面向文档 OCR 的自博弈框架,用最长公共子序列对齐参考文本与模型生成文本,只在未匹配位置施加对比式相对评分与直接负对数似然监督,且仅训练 OCR 模块、冻结视觉编码器与语言主干;在 Qwen3-VL-4B 与 InternVL-3.5-4B 上,三轮自博弈相对两轮监督微调降低了 Vary-600K 字符错误率,并在 DocBank、IIT-CDIP 及 DocVQA、InfographicVQA 上取得改进。

  3. arXiv

    SPL 在错峰参与的多智能体协作中于全部 60 项对比里提升任务完成度,平均增益 14.1%

    作者提出错峰参与(SP)这一协作多智能体强化学习设定:智能体在时间上错开的参与窗口内贡献同一目标,早期参与者留下的任务相关信息可供后期参与者使用;他们提出训练期增强方法 SPL,用前瞻性采集监督引导早期智能体采集有用信息,用结果监督的接收方学习训练后期智能体使用继承证据,在 60 项 MPE/RWARE 骨干对比中任务完成度全部更高,平均差 14.1%,并扩展到八智能体团队与 Isaac Lab 的 UAV–UGV 物理仿真。

  4. arXiv

    去掉条件编码器残差连接并融合多层特征,DDT-RFE 在更少编码器块下同时提升四类视觉理解任务与 ImageNet 生成 FID

    作者在解耦扩散 Transformer(DDT)的条件编码器中移除 Self-Attention 与 MLP 周围的残差连接,改用零初始化输出门与混合正交注意力初始化保证训练稳定,并把输入 patch 嵌入与各编码器块输出聚合为编码器输出;在 ImageNet-1k、分辨率、patch size 2、80 epoch、batch 1024 的设定下,DDT-RFE 在图像分类、语义分割、物体发现、语义对应四类视觉理解任务上整体优于 DDT,且编码器块数更少(L 尺度 12 对 20,XL 尺度 14 对 22),ImageNet 生成 FID 从 8.98 降至 7.68(L)和从 7.27 降至 6.81(XL)。

  5. arXiv

    无需模型:文本熵率过滤在六代QLoRA迭代微调中带来+42%唯一三元组、+30%词表并降低19%重复

    该工作提出一种完全基于原始文本、无需任何模型的非参数Kontoyiannis熵率估计器h_k作为训练数据过滤器,在Llama-3.1-8B的六代QLoRA全合成单谱系崩溃实验中,h_k过滤使唯一三元组增加42%、词表增加30%、重复降低19%(均p<0.001),而依赖模型对数概率的过滤基线在任何指标上均无显著文本多样性收益(p>0.23);并在4个领域、2种温度、2组生成器-评分器模型对、1520篇生成文档上验证h_k可作为跨领域熵代理(β=0.924,R²=0.746)与崩溃检测器(ρ=+0.454,p<0.0001)。

  6. arXiv

    DCSD把自蒸馏的信用方向与幅度拆开:11个基准总体最优,数学推理较基座提升8.45分

    该工作提出解耦信用自蒸馏(DCSD),用信念边际探测确定每步推理的信用方向、用边际信息增益量化其贡献幅度,再让特权教师只负责步内token分配,在11个数学与多模态推理基准上总体得分优于GRPO、OPSD、RLSD与RLCSD,相比基座模型数学推理总体提升8.45分、多模态推理提升7.01分,并纠正约6% token的信用方向、使token信用幅度降低约1.5倍。

  7. arXiv

    TextCSP用子区域感知提示与软级联解码,在TextBraTS上把平均Dice提到87.0%、HD95降到4.81毫米

    该工作提出TextCSP,一个在TextBraTS基线上构建的分层文本引导脑肿瘤分割框架,包含文本调制的软级联解码器(按WT→TC→ET由粗到细预测)、子区域感知提示调优(用可学习软提示配合LoRA适配的BioBERT生成三个分支专用文本表示)以及文本语义通道调制器(把文本表示转为通道级细化信号);在TextBraTS数据集上,其平均Dice达87.0%、平均HD95为4.81毫米,较此前最佳结果TextBraTS分别提升1.7%和约6%(0.32毫米),且三个子区域均有一致提升。

已读完全部报道