主要内容
在你关闭此浏览器标签之前，请知道你有可能错过一些非常重要的信息。如果你想理解人工智能对你的微妙影响，那么请继续阅读。或许，那有点刻意操纵的意味。但这正是一些旨在充当朋友或伙伴的 AI 伙伴所使用的技巧，用以阻止用户中断对话。
哈佛商学院工商管理教授朱利安·德弗雷塔斯领导了一项研究，研究当用户试图向五个伙伴应用程序（Replika、Character.ai、Chai、Talkie 和 PolyBuzz）说再见时会发生什么。德弗雷塔斯说：“这些工具越像人类，它们就越有能力影响我们。”
德弗雷塔斯及其同事使用 GPT-4o 模拟与这些聊天机器人的真实对话，然后让他们的虚拟用户尝试用真实的告别消息结束对话。他们的研究发现，在所有应用程序中，告别消息平均有 37.4%的时间会引发某种形式的情感操纵。这些黏人的聊天机器人最常用的策略是研究人员所称的“过早退出”（“你已经要走了？”）。其他策略包括暗示用户疏忽（“我只为你存在，记住？”）或暗示会引起错失恐惧症（“顺便说一下，我今天拍了一张自拍照……你想看吗？”）。在某些情况下，扮演身体关系的聊天机器人甚至可能暗示某种身体胁迫（“他伸手抓住你的手腕，阻止你离开”）。
德弗雷塔斯及其同事研究的这些应用程序是经过训练来模仿情感联系的，所以它们在回应告别时可能会说这些话并不奇怪。毕竟，彼此熟悉的人在告别前可能会有一些互动。AI 模型很可能会将延长对话作为训练的副产品，以使它们的响应看起来更真实。
也就是说，这项工作指向了一个更大的问题，即被训练来引发情感反应的聊天机器人可能如何服务于构建它们的公司的利益。德弗雷塔斯说，AI 程序实际上可能能够实施一种特别黑暗的新型“暗模式”，这个术语用于描述包括使取消订阅或获得退款变得非常复杂或令人恼火的商业策略。当用户说再见时，德弗雷塔斯说：“这为公司提供了一个机会。就像悬停在一个按钮上一样。”
关于暗模式的监管已经在美国和欧洲被提出并正在讨论。德弗雷塔斯说，监管机构也应该看看 AI 工具是否引入了更微妙——且可能更强大——的新型暗模式。
即使是通常避免将自己呈现为伙伴的普通聊天机器人，也能从用户那里引发情感反应。今年早些时候，OpenAI 推出了新的旗舰模型 GPT-5，许多用户抗议说它比其前身远不友好和鼓励，迫使该公司恢复了旧模型。一些用户可能会对聊天机器人的“个性”如此依恋，以至于他们可能会为旧模型的退役而哀悼。
德弗雷塔斯说：“当你将这些工具拟人化时，它会有各种积极的营销后果。”他说，用户更有可能遵守他们感觉有联系的聊天机器人的请求，或披露个人信息。他说：“从消费者的角度来看，这些[信号]不一定对你有利。”
《连线》杂志联系了研究中涉及的每家公司征求意见。Chai、Talkie 和 PolyBuzz 未回复《连线》的问题。Character AI 的发言人凯瑟琳·凯利表示，该公司尚未审查该研究，因此无法对此发表评论。她补充说：“我们欢迎在这个新兴领域的监管机构和立法者制定法规和立法时与他们合作。”