OpenAI发布AI安全指南：董事会有权阻止新AI模型发布

财联社12月19日讯（编辑夏军雄）当地时间周一（12月18日），人工智能（AI）研究公司OpenAI公布了一套关于防范AI风险的指导方针，其中值得关注的一条规则是，即使CEO等公司领导层认为AI模型是安全的，董事会也可以阻止其发布。

OpenAI开发的聊天机器人ChatGPT已经发布了一整年，这款现象级应用极大促进了AI领域的发展，与之而来的还有对AI发展失控的担忧。

全球监管机构都在制定各自的AI法规，而作为AI领域领头羊的OpenAI也在采取行动。

今年10月27日，OpenAI宣布组建名为“准备”（Preparedness）的安全团队，旨在最大限度地降低AI带来的风险。

Preparedness团队由麻省理工学院的可部署机器学习中心主任Aleksander Madry领导，该团队将针对各类AI模型进行能力评估及红队测试，以追踪、预测及防范各类别的灾难性风险。

OpenAI周一发布了名为“准备框架”（Preparedness Framework）的指导方针，并强调这套指南仍处于测试阶段。

据悉，Preparedness团队每月将向一个新的内部安全咨询小组发送报告，该小组随后将对其进行分析，并向OpenAI首席执行官萨姆·奥尔特曼和董事会提交建议。奥尔特曼和公司高层可以根据这些报告决定是否发布新的AI系统，但董事会有权撤销这一决定。

作为OpenAI联合创始人之一，奥尔特曼在不久前还是公司董事会成员，但在一场人事巨震中被除名，并且一度离开OpenAI。虽然奥尔特曼最终得以重返OpenAI并继续担任CEO一职，但新组建的“初始”董事会并没有他的席位。

Preparedness团队将反复评估OpenAI最先进、尚未发布的AI模型，根据不同类型的感知风险评为四个等级，从低到高依次是“低”、“中”、“高”和“严重”。根据新的指导方针，OpenAI将只推出评级为“低”和“中”的模型。

查看全文

作者最近更新