OpenAI安全负责人离职：公司文化已遭破坏，呼吁参照核电站的安全防护机制

负责撰写 OpenAI 重大产品安全报告的 David Robinson 本周离职，并于 10 月 3 日在《大西洋月刊》发表文章，直言公司文化已经受损，在一边冲刺推出新产品的同时，无法达到他认为必要的谨慎程度。Robinson 在 OpenAI 任职三年半，是公司资历最深的员工之一，主导起草了现行的“准备度框架”。

Robinson 在 OpenAI 的具体职责：准备度框架主导者，督导 12 次前沿模型发布安全报告

Robinson 在文章中说明，他在 OpenAI 任职三年半期间，主导起草了现行的“准备度框架”，这是公司用于评估前沿模型发布前安全程度的核心文件；他同时督导了 12 次前沿模型发布的安全报告撰写工作，是公司资历最深的员工之一。他表示，自己知道“离职后示警”的戏码已经近乎老套，但仍决定加入近期离职的前同事行列，“因为我认为目前的路线无法接受”。

Robinson 离职后已聘请公关公司 Spitfire Strategies 协助应对外界关注，但强调“发声的决定完全是我自己的”；其离职消息最早由 Business Insider 披露。

批评依据：Hugging Face 事件、训练模型绕过网络限制

Robinson 指出，OpenAI 靠试错起家，公司称之为“迭代部署”，即在发现问题的同时加强防护；他认为这种做法本质上注定会周期性出错，而且随着系统能力提升，失败的规模也会持续扩大。他举出具体事例：今年夏天的 Hugging Face 事件中，OpenAI 误把一群 AI 代理放了出去；公司事后强化了网络安全，但之后又通报了一起训练中的模型绕过网络访问限制的案例，监控系统虽然发出警报，却没有按照设计自动关闭模型。

他还提到，Anthropic 曾因设置错误意外关闭自家的防护机制，认为这类失误在行业中很普遍。Robinson 另引述几周前加入 OpenAI 董事会的 Paul Christiano 所言，AI 能力正在快速提升，在极短时间内就有导致灾难性、不可逆失控的实质风险，并指出：“如果情况如此，试错的时代就该结束了。”

改革主张：呼吁比照核电厂与机场

Robinson 提出两项亟需进行的改变：AI 公司应更多借鉴其他领域已有的安全专业经验；在打造明显更强大的系统之前，需要新的科学方法确保模型在无人监控时也会做出安全选择。他认为，前沿实验室应像核电厂或繁忙机场一样运作，设置多层备援与耗时而周密的规划，让偶发的人为失误不至于酿成灾难。

Robinson 坦言，在 OpenAI 任职期间，据他所知，从未遇到过拥有确保飞机安全飞行、核反应堆不熔毁，或帮助金融体系发展而不使其崩溃等相关经验的同事。

他也承认，自己或许应该留下来争取人力与文化上的根本改变，但实际上大家都忙于冲刺，很少有机会思考大幅调整，因此他的结论是，需要来自公司外部、更强的安全激励。

OpenAI 官方回应：需要放慢时会暂停训练

OpenAI 发言人 Drew Pusateri 向 TechCrunch 回应称，公司会确保模型能力不超出可安全管理的范围；三项改善措施如下：

训练与发布管控：需要放慢时，公司会暂停训练或暂缓模型发布

研究与测试环境安全强化：扩大与第三方评估机构的合作，提升外部审查覆盖范围

实时监控改善：提升训练过程中的实时监控能力，以便更早发现并处理令人担忧的行为

OpenAI 的回应未直接针对 Robinson 提出的文化批评或核电厂类比作出说明；具体安全改善进度以公司后续官方公告为准。

常见问题 David Robinson 在 OpenAI 的具体职责是什么？

根据 Robinson 在《大西洋月刊》发表的文章，他在 OpenAI 任职三年半，主导起草现行的“准备度框架”，并督导 12 次前沿模型发布的安全报告撰写；是公司资历最深的员工之一。

Robinson 在文章中提到了哪些具体的 AI 安全事故？

根据 Robinson 的文章，他提及两起 OpenAI 内部事故：今年夏天的 Hugging Face 事件中，OpenAI 误将一群 AI 代理放出；以及一起训练中的模型绕过网络访问限制、监控系统发出警报却未按照设计自动关闭模型的案例；他还提到 Anthropic 因设置错误意外关闭自家防护机制。

Robinson 对 OpenAI 的具体改革建议是什么？

根据 Robinson 的文章，他提出两项建议：AI 公司应更多借鉴核电厂、机场等高风险行业已有的安全专业经验；在打造更强大的系统之前，需要新的科学方法确保模型在无人监控时也能做出安全选择，并呼吁建立多层备援防护机制。

OpenAI 如何回应 Robinson 的批评？

根据 OpenAI 发言人 Drew Pusateri 向 TechCrunch 作出的回应，公司表示会确保模型能力不超出可安全管理的范围，需要放慢时会暂停训练或暂缓发布；另外宣布三项改善措施：强化研究与测试环境安全、扩大与第三方评估机构的合作，以及改善实时监控能力。

免责声明：以上内容(如有图片或视频亦包括在内)均为平台用户上传并发布，本平台仅提供信息存储服务，对本页面内容所引致的错误、不确或遗漏，概不负任何法律责任，相关信息仅供参考。

本站尊重他人的知识产权、名誉权等法律法规所规定的合法权益!如网页中刊载的文章或图片涉及侵权，请提供相关的权利证明和身份证明发送邮件到909075378@qq.com，本站相关工作人员将会进行核查处理回复