主要内容
Anthropic 为应对日益增长的安全担忧，更新了其 Claude AI 聊天机器人的使用政策。除了引入更严格的网络安全规则外，Anthropic 现在还明确了一些人们不应使用 Claude 开发的最危险武器。Anthropic 在总结其变化的帖子中并未突出其武器政策的调整，但将该公司的旧使用政策与新政策进行比较，会发现一个显著差异。此前，Anthropic 禁止使用 Claude“生产、修改、设计、营销或分发武器、爆炸物、危险材料或其他旨在造成人类生命伤害或损失的系统”，而更新版本在此基础上进一步禁止开发高产量爆炸物以及生物、核、化学和放射性（CBRN）武器。5 月，Anthropic 在推出其新的 Claude Opus 4 模型时实施了“AI 安全级别 3”保护。这些保障措施旨在使模型更难被破解，并帮助防止其协助开发 CBRN 武器。Anthropic 在其帖子中还承认了代理 AI 工具带来的风险，包括允许 Claude 控制用户计算机的 Computer Use 以及将 Claude 直接嵌入开发者终端的 Claude Code。“这些强大的功能带来了新的风险，包括可能的大规模滥用、恶意软件创建和网络攻击，”Anthropic 写道。这家 AI 初创公司正在通过在其使用政策中加入新的“不要损害计算机或网络系统”部分来应对这些潜在风险。该部分包括禁止使用 Claude 发现或利用漏洞、创建或分发恶意软件、开发用于拒绝服务攻击的工具等规定。此外，Anthropic 正在放宽其关于政治内容的政策。不再禁止创建与政治竞选和游说相关的所有内容，而是现在仅禁止人们将 Claude 用于“对民主进程具有欺骗性或破坏性的用例，或涉及选民和竞选目标的用例”。该公司还澄清，其对所有“高风险”用例的要求（在人们使用 Claude 向个人或客户提供建议时生效）仅适用于面向消费者的场景，不适用于商业用途。