OpenAI开放CSAM图像分类器:经审核组织可免费调用,并带AI生成专门信号
核心概要
OpenAI发布一款可检测儿童性虐待材料(CSAM)的图像分类器,并称这是首个广泛可用、能专门提示图像是否可能由AI生成的CSAM分类器。在用户上传图像的评估中,与现有防护相比,新分类器估计可少标记48%的图像,同时找到的虐待图像数量大致相当;被它标记的图像含虐待内容的可能性约为原来的两倍。该分类器通过API免费提供给经审核的组织,训练与评估得到美国国家失踪与受虐儿童中心协助。
深度剖析
面向儿童安全团队和平台审查人员的CSAM图像分类器开始以广泛可用的形式提供,并带有判断图像是否可能由AI生成的专门信号。 此前的防护已能拦截和上报虐待内容,但新工具针对的是此前未出现过的图像,并让审查人员优先处理更可能含虐待内容的图像。 在用户上传图像的评估中,与现有防护相比,新分类器估计少标记48%的图像,找到的虐待图像数量大致相当,被标记图像含虐待内容的可能性约为两倍。
分类器寻找虐待的视觉迹象,输出分数供审查人员排序,而不是直接给出最终判定。 分数用于决定哪些图像需要优先查看,从而把人工审查集中在更少、更可疑的样本上。 早期合作方的测试覆盖不同内容:fal在人工复核的生产图像中确认其高置信标记有72%为新型CSAM;invideo AI的测试中每四个被标记案例有一个导致封禁;SafetyKit在涉及儿童性化的绘画或动画中检出90%的案例。
启示与展望
这则报道依据的是OpenAI的发布说明,覆盖分类器的可用范围、评估数字、ChatGPT中的警告干预、面向开发者的CSAM指南,以及面向儿童安全执法单位的工具与培训计划。分类器仅通过API向经审核的组织开放,访问需申请;执法工具的使用取决于机构授权和项目要求。
发布方称早期测试“提示”分类器能帮助审查人员聚焦虐待图像并减少误报审查,这一表述保留了初步性质。分类器仍在根据使用者反馈继续改进,执法培训的后续版本计划在会议上提出,尚未描述具体内容。
