主要内容
据《连线》杂志了解,一名帮助塑造 ChatGPT 对经历心理健康危机用户的回应的 OpenAI 安全研究负责人上个月在公司内部宣布离职。安全研究团队“模型政策”负责人安德里亚·瓦隆(Andrea Vallone)定于年底离开 OpenAI。OpenAI 发言人凯拉·伍德(Kayla Wood)证实了瓦隆的离职。伍德表示,OpenAI 正在积极寻找替代者,在此期间,瓦隆的团队将直接向公司安全系统主管约翰内斯·海德克(Johannes Heidecke)汇报。
瓦隆的离职正值 OpenAI 因旗舰产品如何应对处于困境的用户而面临越来越多的审查。近几个月来,已针对 OpenAI 提起多起诉讼,声称用户对 ChatGPT 形成了不健康的依恋。一些诉讼称 ChatGPT 导致了心理健康崩溃或助长了自杀意念。在这种压力下,OpenAI 一直在努力了解 ChatGPT 应如何处理受困用户并改进聊天机器人的回应。“模型政策”是领导这项工作的团队之一,牵头撰写了 10 月份的一份报告,详细介绍了公司的进展以及与 170 多名心理健康专家的咨询情况。
报告称,每周可能有数十万名 ChatGPT 用户表现出经历躁狂或精神病危机的迹象,超过 100 万人“有包含潜在自杀计划或意图的明确迹象的对话”。通过对 GPT-5 的更新,OpenAI 在报告中表示,能够将这些对话中的不良回应减少 65%至 80%。瓦隆在领英上的一篇帖子中写道:“在过去的一年里,我领导了 OpenAI 关于一个几乎没有既定先例的问题的研究:当面对情绪过度依赖或心理健康困扰的早期迹象时,模型应如何回应?”瓦隆未回应《连线》杂志的置评请求。
让 ChatGPT 易于聊天但不过于奉承是 OpenAI 的核心紧张点。该公司正在积极努力扩大 ChatGPT 的用户基础,现在每周包括超过 8 亿人,以与谷歌、Anthropic 和 Meta 的 AI 聊天机器人竞争。OpenAI 8 月发布 GPT-5 后,用户提出反对,认为新模型令人惊讶地冷淡。在对 ChatGPT 的最新更新中,该公司表示在保持聊天机器人“温暖”的同时,已大幅减少了奉承。
瓦隆的离职是 8 月对另一个专注于 ChatGPT 对受困用户回应的团队“模型行为”进行重组之后的事。其前负责人姜珍妮(Joanne Jang)离开该职位,开始组建一个新团队探索新型人机交互方法。其余的模型行为人员被转移到训练后主管马克斯·施瓦泽(Max Schwarzer)之下。