主要内容
Anthropic 详细阐述了其安全策略，旨在让其广受欢迎的 AI 模型 Claude 保持有益性，同时避免延续危害。这项工作的核心是 Anthropic 的保障团队，他们并非普通的技术支持团队，而是由政策专家、数据科学家、工程师和威胁分析师组成，了解恶意行为者的思维方式。
Anthropic 的安全方法并非单一的壁垒，更像是一座具有多层防御的城堡。从制定正确的规则开始，到在实际中追踪新威胁结束。首先是使用政策，这基本上是 Claude 应如何使用和不应如何使用的规则手册，在选举诚信和儿童安全等重大问题以及在金融或医疗等敏感领域负责任地使用 Claude 方面提供了明确指导。
为制定这些规则，团队使用了统一危害框架，这有助于他们思考任何潜在的负面影响，从身体、心理到经济和社会危害。他们还邀请外部专家进行政策漏洞测试，这些在恐怖主义和儿童安全等领域的专家通过提出棘手问题来尝试“突破” Claude，以发现其弱点。例如在 2024 年美国选举期间，在与战略对话研究所合作后，Anthropic 意识到 Claude 可能会提供旧的投票信息，因此添加了一个横幅，引导用户使用 TurboVote，这是一个可靠的最新非党派选举信息来源。
Anthropic 的保障团队与训练 Claude 的开发人员密切合作，从一开始就构建安全。这意味着决定 Claude 应该做和不应该做的事情，并将这些价值观嵌入到模型本身。他们还与专家合作以确保正确。例如，通过与危机支持领导者 ThroughLine 合作，他们教会 Claude 如何谨慎处理关于心理健康和自我伤害的敏感对话，而不是仅仅拒绝交谈。
在 Claude 的任何新版本上线之前，都会通过三种关键类型的评估进行测试。安全评估：这些测试检查 Claude 是否在棘手的长时间对话中遵守规则。风险评估：对于网络威胁或生物风险等高风险领域，团队会进行专门测试，通常会得到政府和行业合作伙伴的帮助。偏见评估：这与公平性有关，他们检查 Claude 是否为每个人提供可靠和准确的答案，测试政治偏见或基于性别或种族等因素的偏斜响应。这种严格的测试有助于团队了解训练是否有效，并告知他们在发布之前是否需要构建额外的保护措施。
一旦 Claude 投入使用，自动化系统和人工审查员会共同留意问题。主要工具是一组称为“分类器”的专门 Claude 模型，这些模型经过训练可以实时发现特定的政策违规行为。如果分类器发现问题，它可以触发不同的行动，例如引导 Claude 的响应远离生成有害内容，如垃圾邮件。对于屡犯者，团队可能会发出警告甚至关闭账户。团队还会关注大局，使用隐私友好工具发现 Claude 的使用趋势，并使用分层汇总等技术发现大规模滥用行为，如协调的影响力活动。他们一直在寻找新的威胁，深入研究数据并监控恶意行为者可能出没的论坛。然而，Anthropic 表示，它知道确保 AI 安全并非一蹴而就。