跳到主要内容
返回时间线
arXiv来源发表:

StaRSE把俄语句向量压进11.3 MiB:部署不再跑Transformer,CPU单句0.08毫秒

核心概要

俄语句向量检索多了一个部署时不跑Transformer的选项:StaRSE把词方向存成符号位、词范数单独保存,句子向量由按范数缩放的符号方向做均值池化得到。它在RuMTEB上任务均值为51.16,比纳入比较的最强静态基线Potion multilingual的43.18高8.0分,同时以11.3 MiB的实测包体和0.08毫秒的平均CPU单句延迟运行;作为对照,质量最接近的上下文编码器ruBERT-tiny-turbo估计16位参数占用55.7 MiB、平均CPU延迟1.43毫秒。最终超参数是在完整RuMTEB均值上做探索性搜索选出的,因此该分数不是留出估计。

Source-provided article image: StaRSE: Compact Russian Sentence Embeddings with a Sign-Coded Static Encoder
arXiv

深度剖析

俄语检索现在可以用一张查表加池化的静态词表生成句向量,部署时不再需要Transformer前向计算。 此前俄语静态表示基本停留在词级,多语言静态句向量模型又没有针对俄语词形和词汇覆盖做优化,而高质量句向量依赖上下文编码器逐句前向。 在RuMTEB上,StaRSE的任务均值为51.16,比纳入比较的最强静态基线Potion multilingual的43.18高8.0分,比ruBERT-tiny-turbo的53.76低2.6分。

压缩落在词表这一层:每个词的方向只保留符号,强度另存为一个标量范数,池化后的句子向量仍是实数。 直接把训练好的连续词表在事后取符号,会丢掉训练目标与推理表示之间的一致性。 在512维的同一架构下,对比学习微调后立即取符号的RuMTEB为49.33,先继续普通对比训练再取符号为50.09,而通过符号投影词表做量化感知后训练达到51.16。

符号化词表在推理端还依赖词范数,去掉范数或改为对句子向量取符号都会明显掉分。 最终检查点上的推理端负对照区分了两种压缩位置:压缩词方向,还是压缩池化后的句子向量。 保留词范数并输出实值池化向量时为51.16;去掉词范数改用无权重符号降到42.74;保留词范数但对池化句子向量取符号为47.33;两者都去掉为39.06。

启示与展望

演示范围是俄语句向量:RuMTEB的俄语任务、MLDR俄语长文档检索诊断,以及固定长度Cultura RU Edu句子上包含分词、池化和归一化的编码器延迟与包体测量;效率数字只覆盖编码器,不覆盖完整检索服务。

最终符号投影阶段的超参数是用完整RuMTEB均值做探索性Optuna搜索选出的,主分数因此带有选择偏差而非留出估计;大型对比训练为单种子,未测运行间噪声;数据构造与蒸馏对照使用不同训练预算,连续初始化与最终符号投影阶段使用不同数据配比,这些比较只能作诊断。