跳到主要内容
返回时间线
mastra.ai来源发表:

Mastra平台新增可观测性告警:智能体行为越界时,账单和用户还没反应就先通知你

核心概要

Mastra平台新增可观测性告警,可在模型成本超限、错误率上升或评测分数下降时向Slack、Discord、Microsoft Teams、邮件、webhook、PagerDuty或incident.io发送通知。此前用户只能自己盯Metrics页面,或导出trace到Datadog、Grafana等工具里另建告警;现在可直接在平台内按项目设定阈值,并选择按全部匹配流量或按单个智能体、工具、模型、用户分别检查。

Source-provided article image: Introducing Observability Alerts for Mastra Platform
mastra.ai

深度剖析

Mastra平台现在支持可观测性告警,当智能体的行为超出用户设定的限制时发出通知,即使服务本身运行正常。 此前平台已有事故告警,用于发现部署失败或服务崩溃;可观测性告警补上的是服务正常运行但行为越界的情形。 平台给出的触发条件包括错误率、错误数量、匹配trace或span的总数、延迟、首token时间、首chunk时间、各类token用量、花费以及所选评分器的平均分。

告警规则在平台内直接创建,用户选模板或从空白开始写查询和条件,设定阈值并选择通知去向。 此前用户需要自己查看Metrics页面,或导出trace到Datadog、Grafana这类工具中构建告警。 阈值可以跨全部匹配流量检查,也可以按每个智能体、工具、模型或用户分别检查;Backtest图表显示该规则在近期流量上会在何时触发和关闭,平台每五分钟检查一次已启用的规则。

启示与展望

该功能面向已把应用trace发送到Mastra平台的项目,告警在平台仪表盘内创建,通知可发往Slack、Discord、Microsoft Teams、邮件、webhook、PagerDuty或incident.io。

材料说明平台每五分钟检查一次已启用的规则,因此告警的时效以这一检查周期为准;材料未给出告警准确率或误报情况。