StaRSE把俄语句向量压进11.3 MiB:部署不再跑Transformer,CPU单句0.08毫秒
俄语句向量检索多了一个部署时不跑Transformer的选项:StaRSE把词方向存成符号位、词范数单独保存,句子向量由按范数缩放的符号方向做均值池化得到。它在RuMTEB上任务均值为51.16,比纳入比较的最强静态基线Potion multilingual的43.18高8.0分,同时以11.3 MiB的实测包体和0.08毫秒的平均CPU单句延迟运行;作为对照,质量最接近的上下文编码器ruBERT-tiny-turbo估计16位参数占用55.7 MiB、平均CPU延迟1.43毫秒。最终超参数是在完整RuMTEB均值上做探索性搜索选出的,因此该分数不是留出估计。