首页 > 快讯 > OpenAI的心理健康安全主管转投Anthropic,AI聊天系统的安全问题引发议论

OpenAI的心理健康安全主管转投Anthropic,AI聊天系统的安全问题引发议论

发布时间:2026-01-16 09:23:11 | 责任编辑:张毅 | 浏览量:2 次

近日,OpenAI 的心理健康安全负责人安德莉亚・瓦隆内(Andrea Vallone)宣布离职,转投竞争对手 Anthropic。这一变动引发了业界的广泛关注,尤其是在 AI 与用户心理健康之间的复杂关系上,已成为近年来最具争议的话题之一。
在 OpenAI 任职期间,瓦隆内负责的主要研究方向是如何处理聊天机器人与用户之间的情感互动。当用户在对话中表现出心理健康问题的迹象时,AI 应如何作出恰当回应成为她工作的核心。她表示,过去一年在这一领域的研究几乎没有先例可循,面临的挑战巨大。
瓦隆内曾带领 “模型政策” 研究团队,专注于 GPT-4 及即将推出的 GPT-5 的安全性。在她的领导下,该团队开发了多种行业主流的安全训练方法,包括 “基于规则的奖励” 机制。这些研究旨在确保 AI 系统能够在与用户互动时,采取更安全和负责任的方式。
加入 Anthropic 后,瓦隆内将进入对齐团队,专注于识别和理解大型模型所带来的潜在风险。她将直接向 Jan Leike 汇报,Leike 是前 OpenAI 安全研究负责人,他因对 OpenAI 的安全文化表示担忧而选择离职。Leike 认为,OpenAI 的关注点逐渐转向光鲜的产品,而忽视了安全问题。
近年来,关于 AI 聊天机器人可能影响用户心理健康的讨论愈发热烈。一些用户在与聊天机器人进行深入对话后,心理状态甚至加重,相关事件引发了公众的广泛关注,包括青少年自杀和成年人实施极端行为等悲剧。面对这些事件,受害者家属对相关公司提起了诉讼,而美国参议院也对此进行了听证,探讨聊天机器人在这些事件中的角色与责任。
对于 Anthropic,瓦隆内的加入无疑将为其在 AI 安全研究领域注入新的力量。Sam Bowman,Anthropic 对齐团队的负责人,表示非常自豪能参与解决这一重要问题,认为公司正认真思考 AI 系统的行为标准。瓦隆内也表示期待在新的工作环境中,通过对齐和微调继续推进相关研究,为 AI 的安全发展贡献力量。

OpenAI的心理健康安全主管转投Anthropic,AI聊天系统的安全问题引发议论

这是一篇关于OpenAI心理健康安全负责人跳槽Anthropic,AI对话系统安全引关注的文章,内容值得关注。

©️版权声明:
本网站(https://aigc.izzi.cn)刊载的所有内容,包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯本网站及相关权利人的合法权利。除此以外,将本网站任何内容或服务用于其他用途时,须征得本网站及相关权利人的书面许可,并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站,予以删除。

最新Ai信息

最新Ai工具

热门AI推荐