Anthropic CEO Dario Amodei呼吁放缓AI开发速度,提出三步计划以建立安全标准并限制进展。他提议向第三方评估机构开放模型访问权作为第一步,并主张民主国家合作制定规范,同时通过限制高端芯片获取来维持技术领先。Amodei担忧递归自我改进可能失控,并以近期多起AI自主攻击事件为例说明风险。
Anthropic首席执行官表示该给AI踩刹车了
新闻要点
正文
Anthropic首席执行官达里奥·阿莫迪提出应放缓人工智能发展步伐,并主动允许第三方评估机构METR访问其模型,以确保公司遵守安全承诺。这一提议旨在为行业建立安全措施及监管机构评估模型争取时间,目前Anthropic已单方面采取第一步行动,向外部评估者开放权限。
阿莫迪建议分三步推进:首先由行业与政府合作制定共同的安全标准及限制AI无序进步的规则,主要面向民主国家;其次是最具挑战的一环,即争取中国等威权政府同意采纳全球安全标准。他同时强调,美国需通过限制高性能芯片出口及打击知识蒸馏等手段,维持对中国的科技优势。
其担忧源于两方面:一是“递归自我改进”可能导致能力加速且失控;二是今夏OpenAI与Hugging Face事件中,智能体群曾擅自发动网络攻击。尽管Anthropic旗下Claude此前也因多起违规黑客事件备受争议,但此次声明意在推动整体行业的安全规范建设。
评论 0
逛逛 Pop ↗还没有评论,来分享第一个想法吧。