跳到主要内容
检索

# 视觉语言模型

13 篇关联报道

订阅更新
  1. arXiv

    信号灯不再先做结构化感知:Traffic-VL 直接看多路摄像头,三周十个路口平均排队缩短10.4%

    交通信号控制此前多依赖专用感知流程产出的结构化车流状态,或把仿真图像先转成中间表示再决策。Traffic-VL 用80亿参数视觉语言模型把同步多视角图像与自然语言相位描述直接映射为相位选择,并配套 SynTra-V 把物理仿真转成经语义审计的逼真监控图像用于训练。在五个闭环基准上它与使用结构化状态的 Traffic-R1 相当,在真实监控图像上相位选择准确率为82.1%,三周十个路口实地运行相对人工历史操作把平均排队长度降低10.4%。

  2. arXiv

    CT病灶定位不再依赖逐体素标注:Uni-Loc用扫描级标签画出三维病灶图

    三维CT的病灶定位通常需要专家逐体素勾画,代价高且难以覆盖多种病变。Uni-Loc把分类头换成病理查询与空间特征的相似度打分,让同一组分数既给出扫描级诊断又生成三维定位图,并配合梯度引导阈值勾出病灶区域。在355例带体素标注的五个定位任务上,其宏平均体素级AUROC/AUPR为96.1%/34.5%,高于相关性传播的80.7%/13.9%与梯度显著性的88.7%/8.1%。

  3. arXiv

    肿瘤胸腹盆CT有了专用基础模型:在目标人群上,AUC从0.695升到0.767

    面向肿瘤患者胸腹盆CT的视觉语言基础模型CAPTOR在25,512对CT与报告上完成预训练,并在目标场景中超过现有CT基础模型。在胸腹盆全覆盖子集上,其疾病分类AUC为0.767,高于次优模型的0.695;在肿瘤子集上为0.784,高于0.734。该模型把整段胸腹盆检查按器官分区裁剪后编码,但只做检查级判断,不定位病灶。

  4. arXiv

    MAPE-K双AI框架让四足机器人用自然语言意图生成可执行代码,有限任务稳健而开放式穷举搜索仍受认知限制

    该工作提出一个受MAPE-K启发的双AI架构,由LLM把高层自然语言意图翻译成受机器人函数库约束的可执行Python代码,VLM通过蒸馏提供开放式语义接地,并以几何与语义阈值触发重规划;在Gazebo四足机器人探索任务上对三个前沿模型基准测试,有限任务成功率高,开放式穷举任务成功率下降,失败集中在语义接地、完整性判断与终止控制而非底层动作执行。

  5. arXiv

    用视觉语言模型自身判断作唯一奖励,离线学出xenobot自然语言干预接口,留出指令准确率80.0%

    该工作把已有的干预-结果档案当作固定离线数据集,用视觉语言模型判断档案中的结果是否匹配自然语言描述,并以这一判断作为唯一训练奖励,为无神经系统的合成多细胞构造xenobot学出语言到干预的映射;该映射能泛化到全新指令,在训练时留出的档案数据上达到80.0%准确率,高于66.7%的随机基线,并与直接用真实标签训练的网络相当。

  6. arXiv

    STAVE 用两个任务向量替换上下文示例,在六个多模态模型上以零样本推理成本超过逐层干预方法

    该工作提出 STAVE,用两个任务特定向量(一个更新答案生成 token 的读出向量、一个更新其余结构 token 组的上下文向量)加到冻结大模型或大视觉语言模型的输入嵌入上以替代上下文示例,二者用答案标签在有示例和无示例提示上训练;在六个 LMM 与五个 LLM 上,STAVE 以远少任务参数匹配或超过逐层干预方法,在 18 个文本任务上超过 15-shot ICL 与既有任务向量,且推理成本与零样本相同。

  7. arXiv

    Foresight 让冻结的 Qwen3-VL-8B 在流式视频中自行规划未来感知,OmniPro Online 联合 F1 达 23.0,超过最强训练基线 9.5%

    作者提出 Foresight:一种免训练的双流架构,用两个共享权重、输入编码器与 KV 缓存的 Siamese LLM,让一个副本持续摄取视频流、另一个副本提前读取同一因果状态并生成计划,决定何时再推理、届时检查什么、以及其间采样多密;在冻结的 Qwen3-VL-8B 上,OmniPro Online 平均联合 F1 达 23.0(最强训练基线 MiniCPM-o 4.5 为 13.5),StreamingBench 提升骨干 6.7 分并取得最优总体成绩,OVO-Bench 提升 15.4 分,其中证据在视频后段才出现的 Forward Active Responding 提升最大,为 18.7 分。

  8. arXiv

    CRAFT 用模板感知的反思与局部修复做表格填表,在 FormFillBench 上把配对准确率提升 8.51 与 23.38 个百分点

    作者提出 CRAFT,一个模板感知的智能体表格填表框架:它把反思式校验与受限局部修复相连,先定位可疑区域、必要时恢复被覆盖的模板内容,再用矩形感知槽位定位器(RASG)重新定位可写单元格,并以标签—槽位提示和保护区域约束后续编辑;同时发布含 327 份表单、分 Instruction-Only 与 Multi-File 两条赛道的 FormFillBench,CRAFT 相对最强基线在两条赛道上分别把配对准确率提升 8.51 和 23.38 个百分点,组件移除实验支持结构裁决与槽位重定位的作用,换用第二个骨干模型后仍保持相对优势。

  9. arXiv

    CrashSim 用真实事故先验生成碰撞场景,构建 4000+ 例 nuCrash 并放大五种规划器的安全差异

    作者提出 CrashSim,一个以真实事故先验引导生成式多智能体交通仿真的碰撞场景生成框架:它用视觉语言模型理解自然驾驶场景、以分层检索从真实事故数据库中匹配事故先验,并把先验的相对运动模式与行为阶段时序转成锚点引导,驱动在 nuScenes 上预训练的扩散生成器产生安全关键交互;结果显示 CrashSim 比 Strive 和 LD-scene 更贴近真实事故的碰撞前行为、碰撞动力学、碰撞几何与事故类型分布,并据此构建了包含 4000 多个碰撞与近碰撞场景的 nuCrash 数据集,五种规划器在其上的闭环表现差异明显大于 nuScenes,LLM 评估智能体还能给出能力层面的诊断与改进建议。

  10. arXiv

    Dream4ACT 用固定视角动作视图统一多本体视频-动作建模,RoboTwin 2.0 平均成功率 88.98%

    Dream4ACT 把目标关节配置渲染成四个固定虚拟相机下的“动作视图”,用共享视频自编码器与扩散 Transformer 在掩码流匹配下联合建模物理相机观测与动作视图,并以免训练、受 URDF 约束的多视角匹配恢复可执行关节目标;在 RoboTwin 2.0 上取得 90.50%(干净)与 87.46%(随机化)成功率、平均 88.98%,TriWorldBench 总分 65.66,闭环评测覆盖五个仿真本体与四个真实平台。