跳到主要内容
返回时间线
IEEE Transactions on Mobile Computing来源发表:

多模态推理不再等最慢的那路数据:AdaModalX在四类移动感知任务上最高降延迟64.75%

核心概要

分布式移动感知里,多模态基础模型通常要等所有模态同步到齐才推理,而视觉等大数据量模态往往比音频晚到,等待拉高时延、提前推理又掉精度。AdaModalX把推理执行与模态同步解耦:设备端用从边缘模型蒸馏出的轻量探针让可靠样本本地退出,边缘端按候选数据的效用决定何时激活冻结的多模态基础模型,必要时用部分到达的延迟模态做特征插补。在四类移动感知任务、两种推理架构和四种设备上,它取得更好的精度—时延折中,最高提升精度26.97%、降低端到端时延64.75%。

Source-provided article image: AdaModalX: Synchronization-Free MFM Inference for Distributed Multimodal Mobile Sensing via Progressive Data Orchestration
arXiv

深度剖析

多模态基础模型的推理可以不等所有模态到齐,而是随数据陆续到达逐步推进,在信息足够时就给出结果。 此前的多模态基础模型推理流程依赖同步的模态完整性,即使支持灵活模态组合的方法也仍以模态齐全为前提,响应速度被最慢的那一路数据流卡住。 在四类移动感知任务、两种多模态基础模型推理架构、四个数据集和四类移动设备上,与九种同步与异步基线比较,AdaModalX取得更好的精度—时延折中,最高精度提升26.97%、端到端时延降低64.75%。

系统把“何时推理”拆成设备端和边缘端两个运行时判断,而不是改动多模态基础模型本身的结构。 设备端运行一个从边缘侧多模态基础模型蒸馏出的轻量探针,用最高类相似度和它与次高相似度之间的间隔共同判断样本是否可靠,可靠样本在本地直接退出,只有不确定样本继续上传。 边缘端在完整模态到达后先评估候选效用,不足时用最 informative 的未完成模态的部分输入做特征插补再评估,效用达标才激活冻结的多模态基础模型;在事件检测任务上,同时启用设备端上传与边缘端按需激活使平均时延降低68.39%,而单独启用两者分别降低48.71%和42.43%。

启示与展望

演示范围是四类移动感知任务、两种多模态基础模型推理架构、四个数据集和四类移动设备,并包含一个由RGB相机、红外相机与IMU组成的智能家居活动识别案例;大规模评估主要是在受控网络条件下模拟模态异步到达。

作者指出大规模评估主要是在受控网络条件下模拟异步模态到达,后续工作才把方法扩展到更多架构、模态与设备,并在更大规模的真实部署中验证。