跳到主要内容
返回时间线
arXiv来源发表:

屏幕历史改按像素流增量编码:StreamEmbed 比整图编码至多快 3.7 倍,仍保住 98% 以上精度

核心概要

屏幕截图检索此前要么走 OCR 文本索引、丢掉只有像素才有的信息,要么对每张截图从头做视觉编码、单张耗时 2.33 秒。StreamEmbed 把截图当作连续流处理:只保留与邻居不同的像素块,并对跨截图未变的块复用缓存的键和值,再用一个小适配器把结果拉回完整截图的嵌入。在自建的 ScreenMemEval 上,它在 M2 Pro GPU 上比完整截图编码至多快 3.7 倍,同时保留超过 98% 的精度,并在相近延迟下比 OCR 索引高至多 6.3 个 Recall@10 点。

Source-provided article image: StreamEmbed: Real-Time Indexing from Pixels for Screenshot Retrieval
arXiv

深度剖析

屏幕历史现在可以按原生像素形式边到达边编码并建索引,而不必在“快但丢信息的 OCR 文本”和“准但太慢的整图视觉编码”之间二选一。 此前的开源工具把每张截图转成 OCR 文本再建索引,速度快但丢掉了布局和选中状态这类只有像素才显示的信息;直接对整张截图做视觉嵌入则每张要 2.33 秒,按每 5 秒一张计算会占用每小时 28 分钟的 GPU。 在 ScreenMemEval 上,以同一 Qwen3-VL-2B 骨干和同一训练数据比较,StreamEmbed 在 SME-H1、SME-H2、SME-Agent 上分别用 0.66、0.84、0.63 秒编码一张截图,比微调后的整图索引的 2.33–2.34 秒快 2.8–3.7 倍,R@10 只低 1.3、1.2、0.6 点。

加速来自只计算屏幕上真正变化的部分,而不是换更小的模型或降低分辨率。 屏幕内容在截图内部和截图之间高度重复:在屏幕录像中,67–77% 会变成视觉令牌的像素块要么与邻居完全相同,要么与上一张截图相比没有变化,而自然视频中这一比例只有 6–19%。 空间剪枝先去掉与左邻或上邻在 8/255 像素容差内重复的块,把计算削减 33–41%;时间复用再对跨截图未变的块沿用缓存的键和值,把剩余计算再削减 34–57%;两者叠加后每张截图的计算减少 57–71%。

剪枝和复用会让嵌入偏离完整截图的结果,一个合并进权重的小适配器把这一偏差补回来,且不增加推理延迟。 在 SME-Agent 上,剪掉所有冗余块造成的精度损失远大于两条人类历史,说明丢弃冗余块会移动嵌入的位置。 网格保留规则在每个固定区块中保留一个代表块,以每张约 0.15 秒的代价找回大部分损失;一致性适配器以完整截图为教师、以剪枝输入为学生做蒸馏,进一步找回精度,最终在三条历史上都把 StreamEmbed 控制在完整截图 1.3 个 R@10 点以内。

启示与展望

演示范围是 ScreenMemEval 的三条屏幕历史:两条来自 Windows 上的人类工作者,一条来自在 Ubuntu 上运行 GPT-6.1 Sol 的计算机使用智能体;延迟在 Apple M2 Pro 的 GPU 与 CPU 上测量,索引内存实验用加噪复制真实嵌入来模拟一至五年截图。

作者把从流本身学习该重算什么列为未来工作,说明当前的重算决策仍由像素差阈值和固定刷新规则决定;SME-Agent 是分布外来源,StreamEmbed 在该历史上比基础整图索引低 1.0 个 R@10 点,且剪枝在该历史上造成的精度损失明显大于两条人类历史。