跳到主要内容
返回时间线
NVIDIA Technical Blog来源发表:

Spark里的UDF不再拖慢GPU:智能体把改写压到小时级,单个作业提速22倍

核心概要

NVIDIA为Apache Spark的cuDF插件发布了一套面向编码智能体的技能包,把用户自定义函数(UDF)改写为GPU可加速实现。UDF此前会打断Spark的声明式执行,迫使加速器把数据从列式转成逐行并回退到CPU,既付出数据往返开销,也放弃GPU算力。技能包把改写拆成测试、转换、基准测试和优化四个带验证反馈的环节,并提供项目模板与cuDF编程要点;一家大型消费科技公司用它把生产管线中30多个UDF转为GPU实现,其中一个影响3000多个作业的UDF在对应作业上取得22倍加速,改写迭代从数天或数周缩短到数小时。

Source-provided article image: How to Rewrite Apache Spark UDFs for GPU Acceleration with AI Agents
Figure 1 · NVIDIA 开发者技术博客

深度剖析

Spark作业里的UDF现在可以由编码智能体改写成GPU可加速的形式,而不必由工程师逐个人工重写。 此前UDF对加速查询引擎是不透明的,改写需要谨慎的API选择、语义验证和性能测量,是一项耗时的工作。 一家大型消费科技公司用这套流程把生产数据管线中的30多个UDF转换为GPU加速实现,改写后保留了原CPU UDF的行为,并去掉了原本GPU加速工作负载中的回退。

改写之所以可行,是因为UDF的逐行逻辑可以换成对整列数据同时操作的等价写法。 最直接的做法是把简单UDF替换成等价的Spark SQL表达式,让函数出现在Spark的表达式树中,由cuDF插件在查询规划时替换为GPU实现。 当SQL原语不够用时,UDF可以实现RapidsUDF接口的evaluateColumnar方法,直接接收GPU常驻的ColumnVector并组合cuDF的Java API操作;更复杂的逻辑还可以通过JNI调用自定义CUDA内核。

智能体承担改写工作,靠的是把每个阶段该做什么和该拿出什么证据都写进技能定义。 改写需要熟悉列式API,对向量化编程经验较少的实践者并不容易上手。 cuDF skills for Apache Spark把改写拆成测试、转换、基准测试和优化四个反馈循环,并提供含测试与基准测试框架、输出校验例程和构建配置的项目模板,以及cuDF内存管理与配置方面的建议。

启示与展望

这套技能包面向Apache Spark与NVIDIA cuDF插件的用户,用于把UDF改写为GPU可加速实现,覆盖从测试、转换、基准测试到优化的端到端开发。文中给出的生产案例是一家大型消费科技公司转换了30多个UDF,其中一个影响3000多个作业的UDF在对应作业上取得22倍加速。读者若想上手,可按文中说明从GitHub安装cuDF skills for Apache Spark,或使用npx skill installer。

22倍加速是单个作业中某个UDF的基准结果,文中未说明该数字在其它UDF或工作负载上的普遍程度。改写仍需要谨慎的API选择、语义验证和性能测量,列式API对向量化编程经验较少的实践者并不熟悉,因此技能包提供的是带护栏的流程而非自动保证。