跳到主要内容
返回时间线
arXiv来源发表:

SLLCP 将冻结视觉语言模型的安全预测校准为预测集,在 15k CARLA 轨迹上把碰撞轨迹识别率从 4.6% 和 39.1% 提升到 89.6% 和 88.4%

核心概要

作者提出 Split Label-Localized Conformal Prediction(SLLCP),一种作用于冻结视觉语言模型之上的事后校准层,把不可靠的预测转化为概率校准的安全预测集,并在交换性假设下给出标签条件有限样本无分布覆盖保证;在来自未见场景的 15k 条 CARLA 轨迹上,SLLCP 以 Qwen 为骨干正确标记 89.6% 的致碰撞轨迹、以 Cosmos 为骨干标记 88.4%,而基础视觉语言模型分别只标记 4.6% 和 39.1%。

Source-provided article image: Localized Conformal Safety Monitoring with Vision-Language Models for Autonomous Driving
Fig. 1 · arXiv

深度剖析

提出 SLLCP,一种在冻结视觉语言模型之上进行事后校准的共形预测层,将模型对驾驶轨迹安全性的近似预测转换为概率校准的安全预测集。 既有经典方法受限于其预测模型的质量,而视觉语言模型虽能推理高层动作后果,其近似预测不适合自动驾驶这类安全关键应用;SLLCP 不重新训练模型,而是在其输出之上做数据驱动的校准。 摘要说明该层为 post-hoc 校准层,作用于 frozen VLM,并称其输出为 probabilistically calibrated safety prediction sets;未给出实现细节。

引入局部化程序,在计算不确定性阈值时对与当前观测驾驶场景相关的过往经验加权,以反映安全估计能力可能依赖具体场景这一事实。 把场景依赖性显式纳入阈值计算,而非对所有场景使用统一阈值。 摘要以 localized procedure 与 upweights relevant past experience 描述该机制;未给出加权方式或场景划分标准。

在交换性假设下提供标签条件的有限样本无分布覆盖保证。 为该方法给出理论覆盖性质,而非仅报告经验性能。 摘要明确表述为 label-conditional finite-sample distribution-free coverage under exchangeability;未给出定理编号或证明细节。

在来自未见场景的 15k 条 CARLA 轨迹上,SLLCP 以 Qwen 为骨干正确标记 89.6% 的致碰撞轨迹、以 Cosmos 为骨干标记 88.4%,而基础视觉语言模型分别只标记 4.6% 和 39.1%。 相对基础视觉语言模型,漏报的致碰撞轨迹大幅减少,且两个不同骨干上均观察到该效果。 摘要报告了 15k 条 CARLA 轨迹、未见场景、两个骨干的对比数字;未报告误报率、阈值设置或统计不确定性。

启示与展望

该工作面向自动驾驶中规划轨迹的安全监测,适用于以视觉语言模型作为安全预测来源、并希望在不重新训练模型的前提下获得校准预测集的场景;其局部化程序针对安全估计能力随观测驾驶场景变化的情形,覆盖保证在交换性假设下成立。摘要显示该方法已在两个不同骨干(Qwen、Cosmos)上验证,说明其作为事后层的骨干可替换性;评估环境为 CARLA 轨迹与致碰撞标记任务。

摘要未报告误报率、预测集大小、阈值设置、场景划分方式以及 15k 条轨迹的构成,因此无法判断校准在漏报与误报之间的取舍;覆盖保证依赖交换性假设,而未见场景评估与交换性之间的关系在摘要中未展开;两个骨干的基线差异较大(4.6% 与 39.1%),其来源在摘要中未说明。以上均为摘要层面尚未回答的问题。