主要内容
董事会正敦促大型语言模型和 AI 助手提高生产力。然而，使 AI 有用的相同特性——浏览实时网站、记住用户上下文以及连接到商业应用程序——也扩大了网络攻击面。Tenable 研究人员以“被黑客攻击的 GPT”为题发布了一组漏洞和攻击，展示了间接提示注入和相关技术如何能够实现数据外泄和恶意软件持久化。据该公司发布的一份咨询报告显示，一些问题已得到修复，而其他问题在 Tenable 披露时据报道仍可被利用。
从 AI 助手的操作中消除固有风险需要治理、控制和操作方法，将 AI 视为用户或设备，在一定程度上，该技术应接受严格的审计和监控。Tenable 的研究展示了可能将 AI 助手转化为安全问题的故障。间接提示注入将指令隐藏在助手浏览时读取的网络内容中，触发用户从未打算的数据访问。另一个途径涉及使用前端查询植入恶意指令。业务影响显而易见，包括需要事件响应、法律和监管审查，以及采取措施减少声誉损害。
已经有研究表明，助手可以通过注入技术泄露个人或敏感信息，AI 供应商和网络安全专家必须在问题出现时进行修补。技术行业的任何人都熟悉这种模式：随着功能的扩展，故障模式也会增加。将 AI 助手视为面向互联网的实时应用程序——而不是生产力驱动因素——可以提高弹性。
在实践中如何管理 AI 助手：
1. 建立 AI 系统注册表：按照 NIST AI RMF 手册，列出在公共云、本地和软件即服务中使用的每个模型、助手或代理。记录所有者、目的、功能（浏览、API 连接器）和访问的数据域。即使没有这个 AI 资产列表，“影子代理”也可能以无人跟踪的权限存在。影子 AI 是一个重大威胁，例如微软曾鼓励用户在工作中部署家庭 Copilot 许可证。
2. 为人类、服务和代理分离身份：身份和访问管理将用户账户、服务账户和自动化设备混为一谈。访问网站、调用工具和写入数据的助手需要不同的身份，并受最小特权的零信任策略约束。映射代理到代理的链（谁要求谁做什么，通过哪些数据，何时）是确保一定程度问责制的最低要求。值得注意的是，代理 AI 容易产生“创造性”输出和行动，但不像人类员工那样受纪律政策的约束。
3. 按上下文限制风险功能：根据每个用例，选择让 AI 助手进行浏览和独立行动。对于面向客户的助手，除非有充分理由和合法依据，否则设置较短的保留时间。对于内部工程，使用 AI 助手，但仅在有严格日志记录的隔离项目中使用。如果助手可以访问文件存储、消息传递或电子邮件，请对连接器流量应用数据丢失预防。以前的插件和连接器问题表明，集成会增加暴露。
4. 像任何面向互联网的应用程序一样进行监控：将助手动作和工具调用捕获为结构化日志。对异常情况发出警报：浏览到不熟悉领域的突然激增；尝试总结不透明代码块；异常的内存写入突发；或超出策略边界的连接器访问。将注入测试纳入预生产检查。
5. 培养人类能力：培训开发人员、云工程师和分析师识别注入症状。鼓励用户报告奇怪行为（例如，助手意外地）。