跳到主要内容
检索

# RankQ-ViT框架

1 篇关联报道

订阅更新
  1. arXiv

    视觉Transformer不用原始数据也能量化:RankQ-ViT在ViT-B四比特权重下到82.44%

    视觉Transformer部署到边缘设备时,量化校准通常需要原始训练数据,而隐私限制使这些数据未必可得。RankQ-ViT改用块感知的秩提升目标生成校准样本:它不再只最大化块间相似度熵,而是通过自对比学习拉开不同图像块特征的方向,使生成图像的相似度矩阵秩接近真实图像。在ImageNet上,ViT-B的W4/A8量化取得82.44%的Top-1准确率,比RepQ-ViT高6.15个百分点;数据生成速度约为PSAQ-ViT v1的5倍。

已读完全部报道