跳到主要内容
返回时间线
arXiv来源发表:

视觉Transformer不用原始数据也能量化:RankQ-ViT在ViT-B四比特权重下到82.44%

核心概要

视觉Transformer部署到边缘设备时,量化校准通常需要原始训练数据,而隐私限制使这些数据未必可得。RankQ-ViT改用块感知的秩提升目标生成校准样本:它不再只最大化块间相似度熵,而是通过自对比学习拉开不同图像块特征的方向,使生成图像的相似度矩阵秩接近真实图像。在ImageNet上,ViT-B的W4/A8量化取得82.44%的Top-1准确率,比RepQ-ViT高6.15个百分点;数据生成速度约为PSAQ-ViT v1的5倍。

Source-provided article image: Beyond Similarity Entropy: A Rank-Guided Data-Free Quantization Framework for Vision Transformers
arXiv

深度剖析

无数据量化现在可以只靠预训练视觉Transformer自身生成校准样本,不再需要原始训练图像。 此前的PSAQ-ViT系列用块间相似度熵最大化来生成校准样本,熵只刻画相似度取值的分散程度。 在ImageNet上,ViT-B的W4/A8量化下RankQ-ViT取得82.44%的Top-1准确率,比RepQ-ViT的76.29%高6.15个百分点,比CLAMP-ViT的78.73%高3.71个百分点。

生成过程把图像块之间的特征方向拉开,让合成图像的相似度矩阵秩更高。 直接对相似度矩阵求秩并最大化需要每步做矩阵运算,开销过大,因此改用块级自对比损失间接提升秩。 同一区域内的图像块被拉近、不同区域的图像块被推远,浅层块施加更强的秩提升权重,以匹配真实图像中秩随深度下降的趋势。

生成样本先按秩和语义一致性筛选,再用于逐块重建量化模型。 不加筛选地使用全部生成样本会因生成过程不稳定而损害量化模型的学习。 在ImageNet上用DeiT-S做消融,同时使用JSD语义一致性与秩筛选时W4/A8达到77.86%、W8/A8达到79.59%,优于单独使用其中任一项。

启示与展望

演示范围是ImageNet、COCO、ModelNet40和ShapeNet上的图像分类、目标检测、实例分割与点云分类,覆盖ViT、DeiT、Swin Transformer和Point Transformer;作者提出后续将探索面向SAM等大规模基础模型的无数据量化。

在Swin-T的W4/A8上,CLAMP-ViT的80.28%高于RankQ-ViT的79.24%;在W4/A4的ViT-B上,RankQ-ViT为17.77%,仍远低于全精度84.53%;作者把CLAMP-ViT在Swin-T上的优势归因于其循环自适应数据生成,代价是运行时间显著更长。