跳到主要内容
检索

# Apache Spark 的 cuDF 技能

1 篇关联报道

订阅更新
  1. NVIDIA Technical Blog

    Spark里的UDF不再拖慢GPU:智能体把改写压到小时级,单个作业提速22倍

    NVIDIA为Apache Spark的cuDF插件发布了一套面向编码智能体的技能包,把用户自定义函数(UDF)改写为GPU可加速实现。UDF此前会打断Spark的声明式执行,迫使加速器把数据从列式转成逐行并回退到CPU,既付出数据往返开销,也放弃GPU算力。技能包把改写拆成测试、转换、基准测试和优化四个带验证反馈的环节,并提供项目模板与cuDF编程要点;一家大型消费科技公司用它把生产管线中30多个UDF转为GPU实现,其中一个影响3000多个作业的UDF在对应作业上取得22倍加速,改写迭代从数天或数周缩短到数小时。

已读完全部报道