谷歌把机房维修交给图基础模型:GPU停机时间降18.3%,新硬件上线提前四个月
核心概要
谷歌部署的HardwareDx把数据中心机器维修从按平台手工维护的评分规则,改为在物理硬件拓扑图上预训练的基础模型,一个模型可跨GPU与TPU平台诊断故障部件并给出维修动作。生产A/B测试中,H100平台平均修复时间下降18.3%,TPU平台下降16.1%;新平台借助迁移学习可在硬件正式上市前达到生产可用。
深度剖析
数据中心硬件诊断从每个平台单独维护的规则系统,变成一套可跨平台迁移的图基础模型,同一模型在GPU和TPU两类计算架构上给出故障部件判断与维修动作。 此前的生产系统由数百条工程师维护的评分规则组成,按部件累加“坏度”分数并据此选择维修策略,每引入一款新硬件都要手工编写一套新规则。 在谷歌生产环境的机器级随机A/B测试中,HardwareDx相对这套规则系统把H100的平均修复时间降低18.3%、TPU降低16.1%,分析覆盖225个H100维修窗口和2567个TPU维修窗口。
模型把一台机器表示成一张图,部件和子部件是节点,传感器读数、测试症状和日志错误作为特征节点挂在产生它们的部件上,模型据此为每个可更换部件输出是否故障的二元判断。 方法上采用图注意力网络与图Transformer层交替堆叠,前者负责局部拓扑上的消息传递,后者让任意两个节点直接建立注意力,以覆盖跨越最多八跳的故障综合征和挂在“软件”节点上的非物理信号。 在TPU v7x平台上,该组合的组件级F1为0.990,高于仅用GATv2的0.985、仅用GIN的0.943和仅用Transformer的0.929;去掉LLM文本特征后F1降到0.444,去掉图结构改用扁平特征的GBDT为0.540。
启示与展望
已展示的范围是谷歌生产环境中H100与一款新TPU平台的机器级A/B测试,以及TPU v7x、H100、H200、B200等平台上的离线评估;系统已在50多个机器学习集群运行六个月,覆盖六种AI加速器平台。
作者说明“基础模型”在此指跨异构机器拓扑预训练的领域专用图架构,并非开放通用模型,也不完全自监督,下游微调仍依赖平台特定的拓扑、遥测模式和人工整理的维修轨迹;任务三的成功标签把中间步骤一律记为失败,可能惩罚必要的部分修复,并给同时执行的动作带来因果混淆。
