专访Geoffrey Hinton： 我有轻微的悲观，这也是我担心超级AI的原因

就在他宣布退出谷歌的重磅消息的四天前，我在伦敦北部一条漂亮街道上的房子里见到了杰弗里·辛顿（Geoffrey Hinton）。辛顿是深度学习的先驱，他帮助开发了现代人工智能核心的一些最重要的技术，但在谷歌工作了十年后，他将辞职，专注于他现在对人工智能新的担忧。

由于被 GPT-4 等新的大型语言模型的能力所震惊，辛顿认为他开创的技术可能伴随着严重的风险，并且希望提高公众对这些风险的认识。

在我们的谈话开始时，我在厨房的桌子旁坐下来，辛顿开始踱步。多年来受到慢性背痛的困扰，辛顿几乎从不坐下来。在接下来的一个小时里，我看着他从房间的一端走到另一端，我的头随着他说话而转动，我感觉他有很多话要说。

这位 75 岁的计算机科学家因其在深度学习方面的工作而与杨立昆（Yann LeCun）和约书亚·本吉奥（Yoshua Bengio）共同获得了 2018 年图灵奖，他说他已经准备好改变方向。“我已经太老了，做不了需要记住很多细节的技术工作，”他告诉我，“其实我还是可以的，但没有以前那么好了，这很令人讨厌。”

（来源：LINDA NYLIND / EYEVINE VIA REDUX）

但是，这并不是他离开谷歌的唯一原因。辛顿想把时间花在他所描述的更有哲理的工作上。对他来说，接下来的工作将关注虽小但却十分真实的危险，即人工智能将变成一场灾难。

离开谷歌将使他能够说出自己的想法，而不用像谷歌高管那样必须进行自我审查。他说：“我想谈论人工智能的安全问题，而不必担心它与谷歌的业务有什么相互影响。（而）只要谷歌支付报酬，我就不能这样做。”

这并不意味着辛顿对谷歌有任何不满意。这可能会让你吃惊，他说：“有很多关于谷歌的好东西我想说，如果我不在谷歌了，这些事实就更可信了。”

辛顿说，新一代的大型语言模型，特别是 OpenAI 在 3 月发布的 GPT-4 让他意识到，机器正朝着比他想象的要聪明得多的方向发展，而他对这一情况可能发生的情况感到害怕。

“这些东西与我们完全不同，”他说，“有时我认为这就像外星人登陆了，而人们还没有意识到。”

基石

辛顿最出名的成果是他在 1980 年代与同事很好地应用了反向传播的技术。简而言之，这是一种允许机器自主学习的算法。从计算机视觉系统到大型语言模型，它支撑着今天几乎所有的神经网络。

直到 2010 年代，通过反向传播训练的神经网络的力量才真正产生了影响。辛顿与几个研究生的合作成果表明，在让计算机识别图像中的物体上，他的技术比其他任何技术都好。他们还训练了一个神经网络来预测一个句子中的下一个字母，这也是今天大型语言模型的前身。

这些研究生中的一个是伊利亚·苏茨克沃（Ilya Sutskever），他后来成为 OpenAI 的联合创始人，并领导 ChatGPT 的开发。辛顿说：“我们得到的第一个暗示是，这个东西可能是出乎意料的。但我们花了很长时间才意识到，它需要在巨大的规模下进行才行。”

早在 20 世纪 80 年代，神经网络是一个笑话。当时的主导思想即所谓的符号人工智能，是指有智能参与的处理符号，如文字或数字。

但是，辛顿并不相信。他研究了神经网络，即大脑的软件抽象，其中的神经元和它们之间的连接由代码表示。通过改变这些神经元的连接方式，即改变用来表示它们的数字，神经网络可以在飞行中重新接线。换句话说，神经网络可以被用来进行学习。

“我的父亲是一位生物学家，所以我是用生物术语思考的，”辛顿说，“而符号推理显然不是生物智能的核心。”

乌鸦可以解决难题，但它们没有语言。它们不是通过存储和操纵符号串来完成的，而是通过改变大脑中神经元之间的连接强度来实现的。因此，通过改变人工神经网络中的连接强度来学习复杂的东西是可能的。

一个全新的智能

40 年来，辛顿一直认为人工神经网络是模仿生物网络的糟糕尝试。现在，他认为这一状况已经改变了。他认为，在试图模仿生物大脑的过程中，我们已经想出了更好的办法。他说：“当你看到这一点时是很可怕的，这是一个突然的翻转。”

辛顿的担心会让很多人觉得是科幻小说的内容，但是他详细介绍了他的担忧。

正如它们的名字所示，大型语言模型是由具有大量连接的大规模神经网络制成的。但与大脑相比，它们是微小的。我们的大脑有 100 万亿个连接，辛顿说，大型语言模型大约有0.5万亿，最多一万亿。然而 GPT-4 知道的东西比任何一个人都多几百倍。因此，也许它实际上有一个比我们好得多的学习算法。

与大脑相比，人们普遍认为神经网络不善于学习，因为需要大量的数据和能量来训练它们。另一方面，大脑可以迅速掌握新的想法和技能，而使用的能量只有神经网络的一小部分。

人们似乎有某种魔力，辛顿说，好吧，只要你把这些大型语言模型中的一个拿出来，并训练它做一些新的事情，这个论点就会被抛弃，因为这些模型可以极快地学习新的任务。

准确来说，辛顿说的是少量学习，在这种情况下，经过预训练的神经网络，如大型语言模型，只需给几个例子，就可以被训练成做一些新的事情。例如，他指出，其中一些语言模型可以将一系列的逻辑语句串成一个论点，尽管它们从未被直接训练过这样做。

他说，在学习这样一项任务的速度上，将预先训练好的大型语言模型与人类进行比较，人类的优势就消失了。

那么，如何看待大型语言模型编造了这么多的东西呢？人工智能研究人员将其称为 幻觉（尽管辛顿更喜欢混淆一词，因为它是心理学的正确术语），这些错误通常被视为技术的致命缺陷。产生这些错误的趋势使聊天机器人变得不可信，而且许多人认为，这表明这些模型对他们所说的话没有进行真正的理解。

辛顿对此也有一个答案：胡说八道是一个特点，而不是一个错误。他说：人们总是胡言乱语。半真半假和记错的细节是人类对话的标志：胡言乱语是人类记忆的一个标志，这些模型正在做的事情就像人一样。

辛顿说，不同的是人类通常会或多或少地有意进行混淆。在辛顿看来，编造东西并不是问题所在，计算机只是需要多一点练习。

我们还期望计算机要么是正确的，要么是错误的，而不是介于两者之间的。辛顿说，当一台计算机这样做时，我们认为它犯了一个错误。但是当一个人这样做的时候，这就是人们工作的方式。问题是大多数人对人类的工作方式有着无法改变的错误看法。

当然，大脑仍然比计算机做得更好：驾驶汽车、学习走路、想象未来。而且，大脑是在一杯咖啡和一片吐司上完成的，即大脑的运作只需要少量的能量。他说：当生物智能在进化的时候，它没有机会接触到核电站。

但辛顿的观点是，如果我们愿意支付更高的计算成本，那么有一些关键的方法可以让神经网络在学习方面击败生物系统。此外，值得停下来考虑一下，所付出的成本在能源和碳排放方面会带来什么影响。

学习只是辛顿论证的第一条线索。第二条是关于交流。他说：如果你或我学到了一些东西，并想把这些知识传授给其他人，我们不能只给他们一份拷贝。但我可以有一万个神经网络，每个都有自己的经验，它们中的任何一个都可以立即分享它们所学到的东西。这是一个巨大的区别，就好像我们有一万个人，只要有一个人学到了什么，我们所有人都知道。

所有这些加起来是什么？辛顿现在认为，世界上有两种类型的智能：动物大脑和神经网络。这是一种完全不同的智能形式，他说这是一种新的、更好的智能形式。

不得不说，这是一个巨大的主张。但是，人工智能是一个两极分化的领域：很容易找到会嘲笑它的人，而其他人则会点头表示同意。

人们对这种新的智能形式带来的后果也有分歧，如果它存在的话，将是有益的还是灾难性的？他说：你认为超级智能到底是好是坏，在很大程度上取决于你是一个乐观主义者还是一个悲观主义者。如果你让人们估计坏事发生的风险，比如你家里有人得重病或被车撞的几率是多少，乐观主义者可能会说 5%，悲观主义者可能会说保证会发生。但是轻度悲观者会说几率可能在 40% 左右，而且他们通常是对的。

辛顿的看法是什么？“我有轻微的抑郁，”他说，“这就是为什么我很害怕。”

辛顿担心，这些工具能够想出办法来操纵或杀死那些对新技术没有准备好的人类。

“对于这些东西是否会比我们更聪明，我突然转换了观点，”他说，“我认为它们现在已经非常接近了，它们在未来会比我们更聪明。那么，我们如何在这种情况下生存？”

他特别担心，人们可以通过注入自己的想法，来使得人工智能工具倾斜一些最重要的关于人类经历的天平，特别是选举和战争。

辛顿认为，AI 的下一步是有能力创建自己的子目标，即执行一项任务所需的临时步骤。他问道，当这种能力被应用于本质上不道德的东西时会发生什么？

已经有一些实验性项目，如 BabyAGI 和 AutoGPT，将聊天机器人与其他程序（如网络浏览器或文字处理器）连接起来，使它们能够将简单的任务串联起来。当然，这些步骤很微小，但它们预示着一些人想把这项技术带入的方向。辛顿说，即使一个坏的执行者没有手握这些机器，对于次级目标而言仍然有其他担忧。

这里有一个几乎总是有助于生物学的次级目标：获得更多的能量。因此，可能发生的第一件事是这些机器人会说，“让我们获得更多的能量，让我们把所有的电都汇聚到我的芯片上。”另一个伟大的子目标将是制造更多自己的副本。这是不是听起来不错？

然而，这也许不好。Meta 公司的首席人工智能科学家杨立昆同意这个前提，但并不同意辛顿的担心。杨立昆说：毫无疑问，在所有人类聪明的领域，机器将在未来变得比人类更聪明。这是一个关于何时和如何的问题，而不是一个关于是否的问题。

但他对事情的发展方向有完全不同的看法。“我相信，智能机器将为人类带来新的复兴，一个新的启蒙时代，”杨立昆说，“我完全不同意机器将支配人类的观点，更不用说摧毁人类，仅仅是因为它们更聪明。”

“即使在人类物种中，我们中最聪明的人也不是最具有支配力的人，”杨立昆说，“而最具支配力的人绝对不是最聪明的人，我们在政治和商业领域有无数这样的例子。”

加拿大蒙特利尔大学教授、蒙特利尔学习算法研究所科学主任约书亚·本吉奥觉得自己是不可知论者。他说：“我听到有人诋毁这些恐惧，但我没有看到任何坚实的论据能让我相信不存在杰夫认为的那种规模的风险。但是，恐惧只有在促使我们采取行动时才是有用的。”

他说，过度的恐惧可能会使人瘫痪，所以我们应该尝试将辩论保持在理性的水平上。

向上看

辛顿的优先事项之一是尝试与技术行业的领导者合作，看看他们是否能够走到一起，就风险是什么以及如何应对这些风险达成一致。他认为国际化学武器禁令可能是如何遏制危险人工智能的发展和使用的一个模式。他说：这不是万无一失的，但总的来说，人们不会使用化学武器。

本吉奥同意辛顿的观点，即这些问题需要尽快在社会层面上解决。但是本吉奥说：“人工智能的发展速度超过了社会能够跟上的速度。这项技术的能力每隔几个月就会跃进一次；然而，立法、监管和国际条约则需要几年时间。”

这让本吉奥怀疑，我们的社会目前的组织方式，在国家和全球层面，是否能够应对挑战。本吉奥说：“我相信我们应该对我们星球上的社会组织存在不同模式的可能性持开放态度。”

辛顿真的认为他能让足够多的当权者关注到他的担忧吗？他也不知道。几周前，他看了电影《不要往上看》，在这部电影中，一颗小行星向地球飞去，没有人能够就如何处理它达成一致意见，每个人都死了，这寓意着世界最终未能解决气候变化问题。

他说：“我认为人工智能也是如此，其他难以解决的大问题也是如此，（毕竟）美国甚至同意十几岁的男孩可以持有突击步枪。”

辛顿的论点令人警醒。我同意他对人们在面临严重威胁时集体无力行动的惨淡评估。同样真实的是，人工智能有可能造成真正的伤害，例如破坏就业市场、巩固不平等、使性别歧视和种族主义恶化等等。我们需要关注这些问题，但我仍然无法从大型语言模型跳到机器人霸主，也许我是个乐观主义者。

当辛顿看到我要离开的时候，春天的天空已经变得灰暗潮湿。“好好享受吧，因为你可能没剩多久了，”他说。然后他笑了笑，关上了门。