不重启、不改代码,调试器从运行中的GPU显存取出大模型逐层隐状态,拒绝判定AUROC达0.88
核心概要
对无法重启或修改的在线大模型服务,现有内存取证只能拿到权重、提示日志这类静态产物,取不到单次请求在GPU上短暂存在的逐层隐状态。一种基于非侵入式调试器的六阶段流程,借助PyTorch分配器时钟或内核启动时钟识别并读取显存中的张量分配,在33个开源解码器模型、九个架构类别上实现逐字节一致的恢复。把在常规框架激活上训练的线性探针用于这些恢复状态,在142条未参与调参的提示上区分拒绝与顺从,AUROC为0.876,但假阳性率为0.282。
深度剖析
运行中的大模型服务不必停机、不必改代码,也能取出单次请求在每一层留下的隐状态向量,用于事后分析这次请求。 此前的内存取证针对权重、提示日志等静态产物,或依赖已知框架对象来重建已部署模型,运行中推理产生的瞬时状态在标准日志和模型文件里不留痕迹。 在33个开源解码器模型、九个架构类别上,恢复出的字节与同步钩子参考逐字节一致,且选择器从未被告知层数。
做法是在目标进程上挂一个不改动它的调试器,用内存分配事件或内核启动事件当作时钟,在张量刚被写入完成的那一刻读出显存。 分配器时钟在PyTorch缓存分配器的申请与释放路径上设断点,记录每次张量出生和释放的大小与设备指针,再用两步规则从日志里挑出残差流。 在Hugging Face与vLLM eager模式下,Qwen2.5-0.5B-Instruct的228条提示在全部层上恢复,与钩子参考的最大差值为0.0。
恢复出的状态可以直接喂给已有的线性探针,得到请求级的拒绝判定,而不只是结构信息。 探针本身是已有技术,这里检验的是从活体显存取出的状态是否仍保留可读的语义信号。 在142条从未用于构建或调参的提示上,冻结探针的AUROC为0.876,平衡准确率0.777,准确率0.803,高于全部判为拒绝的0.725基线。
启示与展望
演示范围限于本地具备ptrace权限、可挂CUDA调试器的单卡环境,模型为不超过3.4B参数的解码器模型外加一个4比特7B模型,批大小为1、提示长度固定,精度为fp32或bf16(vLLM上为fp16)。结构属性(token数、隐藏维度、层数)在预注册的平台测试中逐项核对,计算层状态在实验室条件下与钩子参考比对,行为层结论只来自一个0.5B模型和两个小型留出集。
采集是非侵入但非无代价的:调试器在每次分配处暂停,挂上采集器后单条提示的预填充延迟从默认模式的9.6至10.7毫秒升到157至163秒,这些数字只在单块GPU上测得。分配器时钟在vLLM默认配置(编译加CUDA图)下失效,内核名规则只在三个新模型上做过样本外检验,且预填充不声称覆盖最后一层。行为层证据被作者列为初步:假阳性率0.282、校准误差0.160,XSTest安全子集准确率0.696,HarmBench子集仅18条提示。
