Databricks推出Genie Migrate for Serverless:把经典集群作业迁移改成审阅并批准
核心概要
Databricks发布Genie Migrate for Serverless(Beta),一个在Genie中运行的智能体,把作业和笔记本从经典集群迁移到无服务器计算。此前这类迁移靠人工逐项试错:集群配置如何映射、哪些库可用、哪些Spark配置仍生效、需要哪种访问模式,都靠实践者记忆和反复运行报错来摸索。智能体先评估每个工作负载的可迁移性,再把计算配置、库环境、Spark配置和代码改写逐项以差异视图提交审阅,批准后才应用到克隆副本,原作业保持不变以便回退。
深度剖析
迁移工作从实践者手中转到平台上:智能体负责经典到无服务器的翻译,人只保留判断,即是否现在迁移、提议的改动是否合理、迁移后的运行是否健康。 此前迁移是手工的,经典集群配置到无服务器的映射知识、哪些库能解析、哪些Spark配置仍适用、工作负载需要哪种访问模式,都存在于实践者头脑中,并靠运行笔记本或作业、读取失败信息来试错。 Databricks称过去一年其无服务器用量成倍增长,如今数千客户在无服务器上运行笔记本和作业,而多数团队仍有想迁移的经典集群资产。
智能体按评估、翻译、可逆应用三步执行:先扫描作业和笔记本并标注每个工作负载的无服务器就绪状态,再把需要的基础设施和代码改动逐项以带标签的差异视图提出,最后在验证后应用。 差异视图是并排展示哪些会变、哪些不变,包括代码改写在内的每一处改动都要经审阅,未获批准不会写入。 应用前智能体会做确定性检查,确认翻译自洽、库依赖能在无服务器运行时解析、配置能干净生效;改动应用到克隆作业,可先按需运行一次确认健康再提升到原作业。
遇到不确定之处,智能体选择上报而不是删除,例如某个Spark配置是否仍需要,它会把该配置报告出来交给人决定。 静态扫描可能看不出某个配置被运行时加载的监听器依赖,静默删除会丢掉团队依赖的遥测数据。 批量迁移可通过Databricks CLI的compute-migrations命令组在后台对多个作业发起,无需打开Genie会话,批准后保留作业ID、调度和权限,需CLI 1.24.0及以上版本。
启示与展望
当前验证是静态的,只确认翻译自洽而不运行工作负载;来源说明更深的运行时校验将以沙箱验证形式随后提供,届时在隔离沙箱中运行迁移后工作负载并与经典基线比较输出。批量迁移目前支持作业,笔记本支持尚未提供;源真值位于工作区之外的负载,例如由Databricks Asset Bundles管理的作业或Git文件夹中的笔记本,暂不能迁移。
来源明确当前验证为静态,不运行工作负载,因此它确认翻译合理但未证明运行时正确;沙箱验证仍在与预览客户共同打磨。回退不会撤销无服务器运行期间已写入生产表的数据。来源未给出迁移成功率、耗时或错误率等量化结果。
