跳到主要内容
返回时间线
Hacker News来源发表:

StarSling把CI优化交给智能体:Mastra最慢工作流从29分56秒降到5分06秒

核心概要

StarSling发布一套自带AI智能体的GitHub Actions运行器,每个CI任务跑在独立的Zen 5临时沙箱里,智能体分析工作流、运行日志和机器遥测,提出优化并在未改动的原工作流旁做对照测试,再由确定性判定确认差异显著后以PR形式提交。Mastra的最慢工作流从GitHub托管运行器的29分56秒降到StarSling上的5分06秒,官方称在若干开源仓库上平均墙钟时间提速10倍、运行器时间减少70%。智能体在累计约1万分钟用量后才开始自动开PR。

AI-generated editorial illustration: Launch HN: StarSling (YC P25) – Self-improving CI for agent-volume repos

深度剖析

StarSling把CI运行器和一组持续改进CI的AI智能体打包在一起,让每个CI任务获得独立的临时沙箱,并让智能体在运行器之上不断提交优化PR。 此前团队自建智能体时,大量智能体PR把任务队列积压到数小时,CI账单接近推理账单;GitHub托管运行器上Mastra最慢的工作流需要29分56秒。 Mastra现在每月合并超过1800个PR,其最慢工作流在StarSling上为5分06秒,相对GitHub托管运行器的29分56秒为5.87倍。

智能体循环读取工作流、运行日志和机器遥测,提出一项优化,把未改动的原工作流与改动后的版本并排运行,用确定性判定确认差异具有统计显著性,再把胜出版本连同基准数据作为PR提交。 这套循环名为CI harness,其判定环节不依赖模型主观判断,而是对并排运行的结果做统计显著性检验。 在开源仓库的基准测试中,StarSling称平均墙钟时间提速10倍、运行器时间减少70%,其中benchmark-gogs为12.8倍、benchmark-shellcheck为5.5倍、benchmark-chatwoot为3.9倍、benchmark-transfer.sh为11.7倍、benchmark-mirotalksfu为36.4倍。

智能体在better-auth中发现了一个存在11个月的性能瓶颈,修复后其中一个测试任务快了5.4倍。 该瓶颈在智能体介入前已存在11个月未被处理。 对应改动以better-auth仓库的PR 10762形式提交。

启示与展望

报道依据的是StarSling发布说明,覆盖其运行器、CI harness智能体循环、Mastra与better-auth两个案例以及五个开源仓库的基准;这些数字由发布方给出,适用于其自述的测试设置。

发布方称这些优化用户自己用提示词也能做到,并已公开skills;智能体在累计约1万分钟用量后才开始自动开PR,免费额度为2000分钟;CI Challenge承诺若省不到10%则赔付1000美元,具体资格与规则另见其博客。