跳到主要内容
检索

# 矢量量化

7 篇关联报道

订阅更新
  1. arXiv

    高能物理探测器数据压成离散词元:径迹与顶簇在约4–11倍压缩下守住1%喷注分辨率

    高能物理探测器数据可以被压成离散词元,径迹与顶簇词元化在约4–11倍压缩下把喷注分辨率守在1%以内,量能器单元仍略高于该目标。

  2. arXiv

    骨架动作识别装上量化插件:白盒攻击成功率从近100%降到个位数,精度与原模型相当

    自监督骨架动作识别的主流对比学习模型此前对对抗攻击几乎没有防御,输入或特征上的微小扰动就能让识别结果大幅失效。QCLR把量化做成可插拔模块,在编码流程的输入和特征两级把连续值映射到离散码本,既吸收小扰动又切断梯度传播;在NTU-60、NTU-120和PKU-MMD上接入SkeletonCLR、AimCLR、ActCLR后,PGD与SMART攻击成功率降到个位数,分类精度保持在与原模型相当的水平。

  3. arXiv

    Polytopal Neural Network 将隐表示约束在学习到的多面体上,在 ImageNet-1k 上保留 96.9% 的无约束精度

    作者提出 Polytopal Neural Network(PNN),在训练中把每层隐表示约束为学习到的原型(archetype)的凸组合,使解释坐标同时就是下一层接收的坐标;在图像分类与重建基准上,PNN 以很小的精度损失逼近无约束网络,在无监督重建中优于 VQ-VAE 与 Dirichlet VAE,并给出无需 EMA、承诺损失或直通估计器的 VQ 训练路径。

  4. arXiv

    学习潜在蛋白质语言:PLLM 将计算缩放斜率提升至 0.038,SLL 使验证困惑度降低 34%

    该工作提出两种可学习的离散潜在蛋白质语言:序列侧的 PLL 基于冻结的 ESM-2 编码器构建 4096 状态上下文词表,结构侧的 SLL 在 GCP-VQVAE Lite 上加入序列与置信度辅助监督并保持可解码为骨架坐标;在匹配的下游训练下,PLLM 的拟合计算缩放指数为 0.038,高于氨基酸自回归模型的 0.020,且将低于 1.5 比特残基组成熵阈值的样本比例降低 54%;用 SLL 替换原分词器使序列到结构预测的最佳验证困惑度降低 34%。

  5. arXiv

    AIR-MoE 用向量量化两阶段路由,在百万级细粒度专家下改善困惑度-FLOPs 权衡

    该工作提出 AIR-MoE,一种基于向量量化的倒排索引式两阶段 MoE 路由架构:第一阶段用 VQ 码字对 token 做粗筛选构建候选专家集,第二阶段仅在候选集内计算精确路由分数,从而在避免全专家打分的同时近似真实 top-K 路由,且不对专家参数施加结构约束;作者还给出 AIR-MoE 质量召回的下界,并在多达百万以上微小专家的场景中相对现有 MoE 路由器改善困惑度-FLOPs 权衡、相对最佳基线取得一致的困惑度提升。

  6. arXiv

    跨25个模型定位VQ视觉语言模型的L0注意力路由回路,仅消融该回路使开放生成物体幻觉相对下降31%

    该研究用激活修补在横跨八个LLM家族的二十五个模型上识别出VQ分词视觉语言模型共有的早期层(L0)注意力路由回路,提出三门槛诊断区分出十个携带该回路的模型并排除其余十五个,通过单变量架构替换(LLaVA-1.6 CLIP+MLP→VQ+Linear)证明向量量化是该病理性信号的来源,并显示只有L0消融能在开放生成中降低物体幻觉(CHAIR_i相对下降31%),而调优后的DoLA与VCD无此效果。

  7. arXiv

    StableVQ:把向量量化分词器的训练稳定性从“侥幸”变成“可保证”

    该工作提出 StableVQ,用三个不含可学习参数的组件——Dynamic STE、Region VQ Loss 与 Decoupled Schedule——把编码器-解码器与码本从相互纠缠的训练中解耦,使二者各自独立完成自身职责,从而在 ImageNet 上跨多种码本规模与初始化设置一致提升训练稳定性、码本利用率与重建质量。

已读完全部报道