跳到主要内容
返回时间线
OpenAI News来源发表:

Astra for Law 更新后登顶 Harvey LAB-AA:120 项法律任务全对率 20.8%,幻觉率 0.03

核心概要

OpenAI 更新了法律模型配置 Astra for Law,并把它开放给所有 ChatGPT Enterprise 客户申请。该配置以 GPT-6.2 Astra 为底座,叠加扩展后的法律检索索引和检索、权衡判例、撰写答案的指令。在 Harvey LAB-AA 的 120 项法律任务上,它全对率为 20.8%,高于 GPT-6.2 Astra 的 15.0% 和 Muse Wonder Full 的 13.1%;每项任务平均 0.03 次实质性幻觉,与 GPT-6 并列最低。

AI-generated editorial illustration: Astra for Law leads in legal intelligence

深度剖析

Astra for Law 现在在 Harvey LAB-AA 上排名第一,该基准要求模型从头到尾完成一项法律任务,并在不虚构材料性主张的前提下满足任务的每一项要求。 此前该配置只提供给包括 Cooley、Ropes & Gray 和 Sullivan & Cromwell 在内的少数律所试用。 在 Artificial Analysis 版本的 120 项任务、覆盖 24 个法律领域的测试中,Astra for Law 在 20.8% 的任务上拿到满分,GPT-6.2 Astra 为 15.0%,Muse Wonder Full 为 13.1%。

这一配置把前沿模型与扩大的法律检索索引、以及研究问题、权衡判例和撰写答案的指令组合在一起,而不是单独训练一个法律模型。 自 9 月以来,法律检索索引扩大了 34%,新增超过 8000 万个 URL,覆盖英国、澳大利亚和加拿大等司法辖区。 索引目前覆盖超过 3.1 亿个 URL,并覆盖已发布的美国判例法 99.9% 以上;在 Harvey 自己的 LAB 上,GPT-6 Astra 的全要求达成率为 4.6%,GPT-6.2 Astra 为 14.6%,加上法律配置后升至 16.2%。

启示与展望

已展示的范围是 Harvey LAB-AA 的 120 项任务、Harvey 与 Grubel 共建的 LAB: USCL 简报写作评测,以及 Vals AI 法律研究基准上由执业律师出题的美国联邦与州法问题;读者应把它当作厂商公告披露的基准结果来读。

在 LAB: USCL 的“提供判例”版本中,Astra for Law 得 1,883 分、Opus 5.5 得 1,882 分,两者实际上持平,且图中标注的不确定范围重叠;Vals AI 基准上的满分率从约 46% 升到 53.8%,仍有近一半问题未拿到满分。