主要内容
在不久的将来，一名黑客可能能够同时对全球不同系统发动 20 次零日攻击。多态恶意软件可能会在代码库中肆虐，利用定制的生成式 AI 系统在学习和适应过程中自我重写。大量的脚本小子可以使用专门构建的大型语言模型（LLM），只需按下按钮就能释放出大量恶意代码。例如：截至撰写本文时，一个 AI 系统在 HackerOne（一个企业漏洞赏金系统）的多个排行榜上名列前茅。该 AI 是 XBOW，根据该公司网站介绍，这是一个旨在为白帽渗透测试人员服务的系统，“能在 75%的网络基准测试中自主发现和利用漏洞”。
AI 辅助黑客是网络安全行业的一大担忧，尽管他们的潜力尚未完全实现。“我将其比作在飞机上紧急着陆，就像‘抓紧，抓紧，抓紧’，但我们仍未对任何事情产生影响，”安全公司 Hunted Labs 的联合创始人海登·史密斯告诉《连线》杂志。“我们仍在等待那起大规模事件的发生。”
生成式 AI 使任何人都更容易进行编码。大型语言模型每天都在改进，新模型会输出更高效的代码，微软等公司表示他们正在使用 AI 代理来帮助编写代码库。现在任何人都可以使用 ChatGPT 生成 Python 脚本，“凭感觉编码”（即让 AI 为你编写代码，即使你自己对如何做没有太多想法）很流行；但也有“凭感觉黑客”。“我们将看到凭感觉黑客行为。没有先前知识或深入知识的人将能够告诉 AI 它想要创建什么，并能够继续解决该问题，”Luta Security 的创始人兼首席执行官凯蒂·穆苏里斯告诉《连线》杂志。
自 2023 年以来，凭感觉黑客前端就已经存在。当时，一个专门用于生成恶意代码的大型语言模型 WormGPT 在 Discord 群组、Telegram 服务器和暗网论坛上传播。当安全专业人员和媒体发现它时，其创建者停止了它的运行。WormGPT 逐渐消失，但其他自称是黑帽 LLM 的服务，如 FraudGPT，取代了它。
但 WormGPT 的后继者存在问题。正如安全公司 Abnormal AI 所指出的，这些应用中的许多可能只是越狱版的 ChatGPT，带有一些额外的代码，使其看起来像是一个独立的产品。因此，如果你是一个坏人，最好直接去源头。ChatGPT、Gemini 和 Claude 很容易被越狱。大多数大型语言模型都有护栏，防止它们生成恶意代码，但网上有整个社区致力于绕过这些护栏。Anthropic 甚至向发现 Claude 中新漏洞的人提供漏洞赏金。“对我们来说，安全地开发我们的模型非常重要，”OpenAI 的一位发言人告诉《连线》杂志。“我们采取措施降低恶意使用的风险，并且我们在不断改进安全措施，以使我们的模型更加强大，抵御越狱等攻击。例如，你可以在 GPT-4.5 系统卡或 OpenAI o3 和 o4-mini 系统卡中阅读我们关于越狱的研究和方法。”谷歌未回复置评请求。
2023 年，趋势科技的安全研究人员通过将 ChatGPT 提示为安全研究员和渗透测试人员，使其生成恶意代码。ChatGPT 然后会根据恶意代码数据库愉快地生成 PowerShell 脚本。“你可以用它来创建恶意软件，”穆苏里斯说。“绕过 AI 模型制造商设置的这些安全措施的最简单方法是说你在参加夺旗游戏，它会很高兴地为你生成恶意代码。”
像脚本小子这样缺乏经验的攻击者是网络安全领域由来已久的问题，AI 很可能会放大他们的影响力。“它降低了进入网络犯罪的门槛，”RANE 的网络情报分析师海莉·本尼迪克特告诉《连线》杂志。但她说，真正的威胁可能来自已建立的黑客组织。