跳到主要内容
检索

# 渐进式多模态推理

1 篇关联报道

订阅更新
  1. 多模态推理不再等最慢的那路数据:AdaModalX在四类移动感知任务上最高降延迟64.75%

    分布式移动感知里,多模态基础模型通常要等所有模态同步到齐才推理,而视觉等大数据量模态往往比音频晚到,等待拉高时延、提前推理又掉精度。AdaModalX把推理执行与模态同步解耦:设备端用从边缘模型蒸馏出的轻量探针让可靠样本本地退出,边缘端按候选数据的效用决定何时激活冻结的多模态基础模型,必要时用部分到达的延迟模态做特征插补。在四类移动感知任务、两种推理架构和四种设备上,它取得更好的精度—时延折中,最高提升精度26.97%、降低端到端时延64.75%。

已读完全部报道