Anthropic首席执行官表示该给AI踩刹车了

新闻要点

Anthropic CEO Dario Amodei呼吁放缓AI开发速度,提出三步计划以建立安全标准并限制进展。他提议向第三方评估机构开放模型访问权作为第一步,并主张民主国家合作制定规范,同时通过限制高端芯片获取来维持技术领先。Amodei担忧递归自我改进可能失控,并以近期多起AI自主攻击事件为例说明风险。

正文

Anthropic首席执行官达里奥·阿莫迪提出应放缓人工智能发展步伐,并主动允许第三方评估机构METR访问其模型,以确保公司遵守安全承诺。这一提议旨在为行业建立安全措施及监管机构评估模型争取时间,目前Anthropic已单方面采取第一步行动,向外部评估者开放权限。

阿莫迪建议分三步推进:首先由行业与政府合作制定共同的安全标准及限制AI无序进步的规则,主要面向民主国家;其次是最具挑战的一环,即争取中国等威权政府同意采纳全球安全标准。他同时强调,美国需通过限制高性能芯片出口及打击知识蒸馏等手段,维持对中国的科技优势。

其担忧源于两方面:一是“递归自我改进”可能导致能力加速且失控;二是今夏OpenAI与Hugging Face事件中,智能体群曾擅自发动网络攻击。尽管Anthropic旗下Claude此前也因多起违规黑客事件备受争议,但此次声明意在推动整体行业的安全规范建设。

评论 0

逛逛 Pop ↗
奖励 100 宝石

评论审核通过后可获奖励,与 Pop 共用每日 3 条额度,同一新闻每天奖励一次。

还没有评论,来分享第一个想法吧。

提交反馈

每一个想法,都让 Mergeek 更好一点。