跳到主要内容
返回时间线
arXiv来源发表:

Moto动作词表不由种子定:把猕猴前运动皮层几何压进离散动作码,留出形状上仍对齐

核心概要

Moto这类从无标注视频学离散动作词表的机器人模型,训练目标只约束帧重建,不约束哪种运动落到哪个码:两个独立种子训练出的分词器几乎不相关,同一模型改用bf16推理会重排74%的码。研究者把猕猴腹侧前运动皮层(PMv)画形状时的表征几何作为先验,用双流训练加直通相似度损失改写码的分配;在损失从未见过的五类形状上,PMv分词器与PMv的表征相似度高于已发布分词器和两个无先验训练,也高于100个随机运动学编码器的会话平均95分位0.42。

Source-provided article image: Brain-Aligned Latent Actions: Imposing Premotor Cortex Geometry on a Robot's Action Vocabulary
arXiv

深度剖析

从视频学到的离散动作词表,其“哪种运动对应哪个码”并不由训练目标固定,换种子或换数值精度就会重写大部分分配。 此前这类分词器只以帧重建误差为训练目标,词表分配被视为训练的自然产物;同一批1,280段CALVIN验证片段、10,240个码,两个独立种子训练出的Moto分词器调整兰德指数接近零,最佳一一重标号后仅4.1%的码一致,而随机配对为3.9%。 两个检查点都能很好地重建帧,说明重建达标可以伴随几乎无关的码分配;已发布分词器改用bf16推理时74%的码被重排,TF32为21%,而随机初始化分词器在bf16下只变2%。

把猕猴腹侧前运动皮层画形状时的表征几何当作先验,可以决定机器人动作词表如何分组运动。 视觉领域已有把测量到的脑结构施加到人工网络上的做法,但尚未用于机器人从视频学到的离散动作词表;这里的目标是PMv把笔画表示为可复用的类别化动作符号。 在损失从未见过的五类形状上,PMv分词器与PMv的表征相似度分析得分高于已发布Moto分词器和两个无先验训练,也高于100个随机运动学编码器的会话平均95分位0.42;运动学、语言和随机目标分词器均低于无先验训练。优势是会话平均意义上的,同种子的无先验训练在四个会话中的两个里高于PMv分词器。

对齐通过双流训练实现:分词器一边保持Moto的帧重建目标,一边在交替批次上编码猕猴笔画,并用直通相似度损失把码的使用几何拉向每个记录会话的PMv几何。 损失作用在每个输入选中哪个码,而不是连续特征,因为策略只看到离散码;若只对软分配施加损失,接近均匀的软分配可以用微小改动满足,输入未必换码。 前向传播使用硬最近码分配,梯度经负码距softmax回传;每个会话内按13个训练类别平均码使用,再与PMv的表征相异矩阵做线性中心化核对齐,并加一项码使用直方图熵惩罚。四个记录会话分别有49、40、55、52个PMv单元和307、241、348、399条笔画,从不合并。

启示与展望

已展示的范围是:在Moto分词器上,以一只猕猴四个PMv记录会话为目标,每个目标训练一次,在五类留出形状上测得与PMv的表征相似度;对齐证据全部来自猕猴笔画渲染成的帧对,而非机器人自身运动。下游操作测试已在复现Moto已发表结果的CALVIN流程上预先固定,四个分词器的第二阶段训练正在进行,结果将加入修订版。

笔画初始方向这一未经训练的运动学描述子超过PMv分词器,因此不能声称超出运动学结构;标签打乱的PMv对照的训练块含3到5个留出类别的神经模式,与PMv分词器的差距约1.2倍配对标准误,尚未分辨。每个目标只训练一次、四个会话来自一只猴子,留出集每会话仅五类、每个分数是十个距离上的秩相关,且PMv的主成分拟合使用了全部笔画。