主要内容
《AI 聊天机器人泄露用户提示引担忧》
新研究显示，为幻想和性角色扮演对话设计的几个 AI 聊天机器人几乎实时地将用户提示泄露到网络上。研究表明，一些泄露的数据显示人们创建了详细描述儿童性虐待的对话。
生成式 AI 聊天机器人的对话几乎是即时的——你输入提示，AI 就会响应。然而，如果系统配置不当，就可能导致聊天内容被暴露。3 月，安全公司 UpGuard 的研究人员在扫描网络寻找配置错误时发现了约 400 个暴露的 AI 系统，其中 117 个 IP 地址在泄露提示。UpGuard 研究与洞察主管 Greg Pollock 表示，绝大多数似乎是测试设置，而其他的包含与教育测验或非敏感信息相关的通用提示。
Pollock 说：“有少数几个与其他的非常不同。”其中三个正在运行角色扮演场景，人们可以与各种预定义的 AI“角色”交谈，例如一个名为 Neva 的人物被描述为一名 21 岁的女性，与其他三名女性住在大学宿舍，“害羞且经常看起来悲伤”。其中两个角色扮演设置明显带有性内容。Pollock 谈到泄露的提示时说：“基本上都用于某种性露骨的角色扮演，有些场景涉及与儿童发生性关系。”
在 24 小时内，UpGuard 收集了 AI 系统泄露的提示以分析数据并试图确定泄露源。Pollock 表示，该公司每分钟收集新数据，累计约 1000 个泄露提示，包括英语、俄语、法语、德语和西班牙语。Pollock 说无法确定哪些网站或服务在泄露数据，可能是个人而不是公司在使用小型 AI 模型。数据中不包括发送提示的人的用户名或个人信息。
UpGuard 的研究称，在收集的 952 条消息中（可能只是该模型使用情况的一瞥），有 108 个叙述或角色扮演场景。Pollock 补充说，其中 5 个场景涉及儿童，包括 7 岁的儿童。Pollock 说：“大型语言模型正被用于大规模生产，然后降低与儿童性虐待幻想互动的门槛。显然，对此没有任何监管，技术使用的现实与监管目标之间似乎存在巨大差距。”
上周，《连线》杂志报道称，一个韩国的图像生成器被用于创建 AI 生成的儿童虐待内容，并在一个开放数据库中暴露了数千张图像。该网站背后的公司在《连线》杂志联系后关闭了该生成器。世界各地的儿童保护组织表示，在许多国家非法的 AI 生成儿童性虐待材料正在迅速增长，这使得他们的工作更加困难。英国反儿童虐待慈善机构也呼吁制定新法律，打击“模拟与儿童进行性交流的犯罪”。
UpGuard 发现的 400 个暴露的 AI 系统有一个共同点：它们都使用名为 llama.cpp 的开源 AI 框架。该软件允许人们相对容易地在自己的系统或服务器上部署开源 AI 模型。然而，如果设置不当，可能会无意中暴露发送的提示。随着各种规模的公司和组织部署 AI，正确配置使用的系统和基础设施对于防止泄露至关重要。过去三年中生成式 AI 的快速改进导致 AI 伴侣和系统的爆炸式增长，这些系统看起来更“人性化”。例如，Meta 已经对 AI 角色进行了实验。