跳到主要内容
返回时间线
arXiv来源发表:

静态分析警报直接插进生成过程:DeepSeek-V4.1-flash在RiskyPy上把功能且安全的程序从52.5%提到64.4%,token只多1.7倍

核心概要

静态分析器便宜且部署广泛,但此前只被放进多轮修复循环里,中间步骤多、成本高,也难以单独看出警报本身的作用。两种在生成过程中直接注入警报的策略把警报以代码注释或用户消息的形式交给模型,触发时回滚到被标记行之前再继续生成。在三个模型和三个Python基准上,这类实时引导的token开销是基线的0.9到1.9倍,而迭代方法最高达24.1倍;DeepSeek-V4.1-flash在RiskyPy上把功能且安全的程序占比从52.5%提高到64.4%,接近最好的迭代方法66.2%,但只用不到五分之一的token。

AI-generated editorial illustration: Static Analysis Guidance for Secure LLM Code Generation

深度剖析

静态分析警报可以在代码生成过程中直接交给模型,而不必等整段程序写完再进入多轮修复。 此前的PromSec和FDSP都把分析器放在迭代修复循环里,警报要经过中间步骤才到达模型,成本高且难以分离警报本身的效果。 在三个模型和三个Python基准上,两种实时引导策略的token开销是基线的0.9到1.9倍,迭代方法最高达24.1倍。

做法是让一个运行框架在模型每写完一行可解析的代码后调用分析器,一旦报警就把代码回滚到被标记行之前,再把警报内容交给模型继续生成。 Comment把警报写成代码注释插在意图注释之后,Steering把规则编号、CWE、消息和按规则预写的建议放进用户消息末尾,只重新生成回滚点之后的代码。 在RiskyPy上,DeepSeek-V4.1-flash用Steering把功能且安全的程序占比从52.5%提高到64.4%,token为基线的1.7倍;FDSP和Self-Refine分别达到66.2%和63.5%,但需要9.8倍和18.3倍的token。

启示与展望

结论来自三个开源权重模型(Qwen2.5-Coder-14B、Qwen2.5-72B-Instruct、DeepSeek-V4.1-flash)和三个Python基准,只覆盖黑盒、单代码片段的生成场景,分析器限定为Semgrep与Bandit的冻结规则集。

收益并不一致:没有任何策略在三个基准上都优于基线,两个Qwen2.5模型在需要重构代码的修复上经常把程序改坏;在SecEvalPlus上分析器最多只标记5.6%的功能但不安全的程序,引导可作用的空间很小;当警报与任务要求冲突时,模型在83个案例中有79个仍按分析器删掉了规范要求的网络绑定。