两层级softmax采样被证明系统性偏置,S-2LS与SD-2LS修正后KL散度最多降低四个数量级
该工作证明两层级softmax(2LS)采样因忽略簇规模不均衡与簇内相似度离散度而系统性错配簇权重,破坏softmax对等相似度项的等概率不变性;作者提出S-2LS(按簇规模加权)与SD-2LS(再按簇内协方差做二阶矩修正),在五个大规模数据集上以与2LS相当或略高的开销获得更接近精确softmax的采样分布。
该工作证明两层级softmax(2LS)采样因忽略簇规模不均衡与簇内相似度离散度而系统性错配簇权重,破坏softmax对等相似度项的等概率不变性;作者提出S-2LS(按簇规模加权)与SD-2LS(再按簇内协方差做二阶矩修正),在五个大规模数据集上以与2LS相当或略高的开销获得更接近精确softmax的采样分布。
已读完全部报道