跳到主要内容
返回时间线
OpenAI News来源发表:

OpenAI开放内部模型给四家外部评估方:Apollo、METR、Transluce、Goodfire进驻现场查对齐

核心概要

OpenAI与Apollo Research、METR、Transluce、Goodfire四家独立评估机构签署协议,启动首阶段“嵌入式评估”:评估方进驻OpenAI办公场所,使用其设备,接触模型检查点、源代码、训练与评估数据、监控系统及研究人员,重点审查训练与内部使用阶段的对齐与防护措施。此前的外部测试多为阶段性、有限访问;这一轮把访问深度和持续时间同时拉长,但评估结果尚未公布。

AI-generated editorial illustration: Our first phase of embedded assessments

深度剖析

外部独立机构第一次以“嵌入式”方式进入OpenAI内部,对训练中和内部使用中的模型做对齐与防护评估,而不只是对已发布模型做外部测试。 此前的第三方评估以阶段性测试为主,OpenAI称本轮建立在既有第三方评估工作之上,并延续了近期对内部监控系统的试点评估和对Hugging Face事件的调查。 四份已签署的协议分别对应四家机构,各自承担明确任务:Apollo Research审查模型是否会隐蔽地违背开发者意图、防护能否发现;METR评估迄今最大规模强化学习训练中的失准行为并另做监控评估;Transluce审查后训练对齐评估的质量与覆盖;Goodfire用其平台分析模型内部。

评估方拿到的是与OpenAI自家研究员部分相同的内部资源,包括模型检查点、源代码、训练与评估数据、监控系统、技术文档,以及与负责该工作的研究员和工程师的讨论。 这种访问深度用于让评估方自行追查OpenAI可能没有预料到的失效,而不是只回答事先列好的问题。 需要接触敏感机密信息的评估方在OpenAI办公场所工作并使用OpenAI提供的设备,至少遵守与OpenAI员工相同的安全标准;员工访谈不做记录、不可发表或署名,评估方可另行申请OpenAI出具认证声明。

启示与展望

报道范围限于OpenAI公布的首阶段嵌入式评估安排:四家机构的评估对象、访问资源、现场与安全要求、监督与争议解决、员工访谈与认证、利益冲突与冷静期、发表与负责任披露期。评估结果、发现和结论均未公布,本文不涉及任何模型性能或安全性的实测判断。

OpenAI表示这些协议预计会随经验演变,早期阶段可能出现技术访问障碍、空间限制、安全协议变动等意外问题。与METR的第二次监控评估范围仍有待双方就评估范围达成一致;METR本轮对齐评估的范围小于其自身提案中设想的广泛失准调查;与Transluce约八周的后续评估定在2027年初,尚属意向。