一条整数序列就能认出模型:NumPrint 上单次回答识别 51 个模型,准确率 92.72%
核心概要
模型 API 的用户通常只能凭声明的模型名判断响应来自哪个模型,而实际模型可能与声明不符。NumPrint 基准用中文、日文、英文提示让每个模型在一次回答中给出 294 个 1 到 355 的整数,共收集 51 个模型的 5,036 条回答;SMCT 把统计特征编码器与因果注意力编码器结合,在 51 类闭集识别中凭单条序列取得 92.72% 准确率和 91.10% 宏 F1,高于所比较的全部方法。
深度剖析
一条固定长度的十进制整数序列本身就能作为语言模型的指纹,用于在候选集合内判断回答来自哪个模型,而不依赖平台声明的模型名。 此前的整数序列指纹方法 lm-detector 的参考库混用了不同提示和不同请求长度,固定观测长度下可比样本太少;其表示以频率和粗略位置摘要为主,对相邻变化和前后依赖利用有限。 在 756 条测试回答、51 个类的闭集设定下,SMCT 凭一条 294 个整数的回答达到 92.72% 准确率和 91.10% 宏 F1,比最强基线 MLP 的 91.27% 准确率、89.57% 宏 F1 分别高 1.45 和 1.53 个百分点,比 lm-detector 的 88.89% 和 86.65% 分别高 3.83 和 4.45 个百分点。
识别同时利用两类信息:整条序列上的数值偏好统计,以及每个整数相对前面整数的生成顺序关系。 统计特征编码器把 944 维预定义统计量经单隐层前馈网络映射为类别得分,因果注意力编码器把每个整数嵌入为 64 维向量并做单层单头因果自注意力,再用学习到的加权读出汇总。 自适应分类模块按置信度对两个编码器的输出加权,并对每个类做线性校正;消融中移除统计编码器使准确率和宏 F1 分别下降 5.29 和 5.83 个百分点,移除因果编码器分别下降 1.45 和 1.53 个百分点。
启示与展望
演示范围是 NumPrint 收录的 51 个已知模型之间的闭集识别,数据为中文、日文、英文提示下各模型一次生成的 294 个 1 到 355 的整数;序列长度实验只截取已收集回答的前缀,并未比较直接请求不同长度的提示。
扩展到候选集合之外的模型需要未知模型检测并更新参考集;采集时的系统提示、生成设置、推理模式和对话上下文未被独立控制,这些因素如何改变数值指纹、识别能否在服务配置之间迁移尚不清楚。
