主要内容
本月晚些时候，人工智能灭绝预言家埃利泽·尤德科夫斯基（Eliezer Yudkowsky）和内特·索雷斯（Nate Soares）即将出版的《末日圣经》副标题是“为什么超人类人工智能会杀死我们所有人”。但实际上应该是“为什么超人类人工智能将会杀死我们所有人”，因为就连合著者也不相信世界会采取必要措施来阻止人工智能消灭所有非超人类。
这本书极其黑暗，读起来就像在黎明前处决前一晚，在昏暗的监狱牢房中潦草写下的笔记。当我见到这些自封的卡珊德拉（Cassandra）时，我直截了当地问他们，是否相信他们自己会因超级智能的某种阴谋而终结。他们迅速给出答案：“是的”和“没错”。我并不惊讶，因为我已经读过这本书——顺便说一下，书名是《如果有人建造它，所有人都会死》。然而，听到这些还是让人震惊。比如谈论癌症统计数据是一回事，而谈论接受致命诊断则是另一回事。
我问他们认为自己的结局会如何。尤德科夫斯基起初回避回答。“我不会花很多时间想象自己的死亡，因为这似乎不是应对这个问题的有用心理概念，”他说。在压力下，他让步了。“我猜会突然倒地而死，”他说。“如果你想要一个更形象的版本，某种像蚊子或尘螨大小的东西落在我的脖子后面，然后就那样了。”他想象中由人工智能驱动的尘螨造成致命一击的细节无法解释，而且尤德科夫斯基认为不值得去弄清楚这是如何发生的。他可能也无法理解。
这本书的核心论点之一是，超级智能会想出我们无法理解的科学东西，就像穴居人无法想象微处理器一样。合著者索雷斯也说他想象同样的事情会发生在他身上，但他补充说，他和尤德科夫斯基一样，不会花很多时间纠结于自己死亡的细节。从刚刚合著了一本关于所有人死亡的书的人那里听到不愿意想象他们个人死亡情况的事情，这很奇怪。
对于末日色情爱好者来说，《如果有人建造它》是必读之书。快速浏览完这本书后，我确实理解了确定人工智能终结我们以及此后所有人生命的方法的模糊性。作者确实做了一些推测。煮沸海洋？遮住太阳？所有的猜测可能都是错误的，因为我们陷入了 2025 年的思维模式，而人工智能将提前数亿年思考。
尤德科夫斯基是人工智能最著名的叛教者，多年前从研究人员转变为死神。他甚至做过一次 TED 演讲。经过多年的公开辩论，他和他的合著者对针对他们可怕预测的每一个反驳都有答案。首先，看起来可能违反直觉的是，我们的日子会被大型语言模型（LLM）数算，而这些模型经常在简单算术上出错。不要被愚弄，作者说。“人工智能不会永远保持愚蠢，”他们写道。如果你认为超级智能人工智能会尊重人类划定的界限，那就忘了吧，他们说。一旦模型开始自学变得更聪明，人工智能将自行发展“偏好”，这些偏好不会与我们人类希望它们偏好的东西一致。最终它们将不再需要我们。它们不会对我们作为对话伙伴甚至宠物感兴趣。我们将是一种麻烦，它们将着手消灭我们。这场战斗不会是公平的。他们认为，起初人工智能可能需要人类帮助来建造自己的工厂和实验室——这很容易通过窃取资金和贿赂人们来帮助它做到。然后它将建造我们无法理解的东西，而那些东西将终结我们。“不管怎样，”这些作者写道，“世界将陷入黑暗。”作者认为这本书就像是一种休克疗法，旨在让人类摆脱自满情绪，采取阻止这一难以想象的糟糕结局所需的极端措施。“我预计会死于此事，”尤德科夫斯基说。