“深度学习之父”Geoffrey Hinton：超级智能体可能会比预想的更快到来

来源：每日经济新闻

每经记者 李少婷    每经编辑 张海妮    

“假设青蛙创造了人类，那么你认为现在谁会占据主动权，是人，还是青蛙？”

6月10日下午，在2023北京智源大会“AI安全与对齐”专题论坛上，图灵奖得主、“深度学习之父”Geoffrey Hinton在闭幕演讲的最后向与会者发问。

大模型时代，如何确保越发强大和通用的人工智能系统安全可控，且符合人类意图和价值观？这一安全问题又被称为“人机对齐”，或是本世纪人类社会面临的最紧迫和最有意义的科学挑战之一。

Hinton在演讲中指出，他的研究使他相信，超级智能的到来比他想象中更接近，在此过程中，数字智能可能会追求更多控制权，甚至通过“欺骗”控制人类，人类社会也可能会因此面临更多问题。

图片来源：主办方供图

以下是《每日经济新闻》整理的演讲精华。

当前大型语言模型从人类世界学习的效率很低

Hinton介绍，为了能够以更低的能量运行大型语言模型等任务，他开始研究“有限计算”。

这一计算方法可以通过使用模拟硬件更便宜地完成计算任务，但第一个主要问题是，学习过程必须利用其运行的硬件部件的特定模拟特性，而我们并不确切知道这些特性是什么——到目前为止，我们还没有找到一个真正好用的学习方案，可以充分利用模拟属性，但我们有一个可以接受的学习算法，足以很好地学习诸如小规模任务和一些较大任务（如Imag.NET），但效果并不太好。

“有限计算”的第二个重大问题是其有限性。当特定的硬件设备失效时，所有学到的知识也会随之丧失，因为知识和硬件细节密切相连。解决这个问题的最佳方案是在硬件设备失效之前，将知识从教师传授给学生。

Hinton和杰夫·迪恩一起研究了“蒸馏”方法，这一方法有一个特殊属性，那就是当训练学生模型使用教师的概率时，训练学生模型以与教师相同的方式进行概括，即通过给错误答案赋予较小的概率来进行概括。

那么一个智能体群体如何共享知识？Hinton表示，事实证明，社区内部的知识共享方式决定了计算过程中的许多其他因素。

使用数字模型和数字智能可以拥有一大群使用完全相同权重的智能体，并以完全相同的方式使用这些权重。这意味着，可以让这些智能体对不同的训练数据片段进行观察和计算，为权重计算出梯度，然后将它们的梯度进行平均。

现在，每个模型都从它所观察到的数据中学习。这意味着，可以通过让不同的模型副本观察不同的数据片段，获得大量的数据观察能力。它们可以通过共享梯度或权重来高效地分享所学的知识。

如果有一个拥有万亿个权重的模型，那意味着每次分享时可以获得数万亿比特的带宽。但这样做的代价是，必须拥有行为完全相同的数字智能体，并且它们以完全相同的方式使用权重。这在制造和运行方面都非常昂贵，无论是成本还是能源消耗方面。

一种替代权重共享的方法是使用“蒸馏”的方法，但这种方式共享知识并不高效。

作为生物智能，我们目前有两种不同的计算方式，一种是数字计算，一种是生物计算，后者利用了动物的特性。

这两种计算方式在不同“代理”之间有效共享知识的效率存在很大差异。

大型语言模型使用的是数字计算和权重共享，但是模型的每个副本、每个“代理”都以一种非常低效的方式从文档中获取知识。实际上，这是一种非常低效的蒸馏形式。它接收文档，试图预测下一个单词……

这就是这些大型语言模型从人们那里学习的方式，每个副本通过蒸馏以非常低效的方式学习，但是有成千上万个副本——“这就是为什么它们可以比我们学习更多的原因，我相信这些大型语言模型比任何个体知道的东西多上千倍。”

智能物种不具备进化能力，这可能是人类目前具备的微弱优势

“现在的问题是，如果这些数字智能体不再通过缓慢的‘蒸馏’过程从我们这里学习，而是直接从现实世界中学习，将会发生什么？”

Hinton指出，尽管蒸馏的过程很慢，但当它们从我们这里学习时，它们正在学习非常抽象的东西。在过去几千年里，人类对世界的认识有了很多进展。现在，这些数字智能体正在利用的是我们能够用语言表达出来的我们对世界所了解的一切。因此，它们可以捕捉到人类在过去几千年中通过文件记录的所有知识。但每个数字智能体的带宽仍然相当有限，因为它们是通过学习文档来获取知识的。

而如果它们能够通过建模视频等无监督的方式进行学习，那将是非常高效的。而如果它们能够操作物理世界，例如拥有机器手臂等，那也会有所帮助，“但我相信，一旦这些数字智能体开始这样做，它们将能够比人类学习更多，并且学习速度相当快”。

图片来源：主办方供图

Hinton的观点是，超级智能可能会比过去所认为的发生得更快。而要使数字智能更高效，我们需要允许它们制定一些目标，但这里存在一个明显的问题——拥有更多控制权会使得实现目标变得更容易，但很难想象，我们如何才能阻止数字智能为了实现其它目标而努力获取更多控制权。

一旦数字智能开始追求更多控制权，我们可能会面临更多问题。比如，在使用物理气隙隔绝的情况下，超级智能物种仍然可以轻易通过控制人类来获得更多的权限。作为对比，人类很少去思考比自身更智能的物种，以及如何和这些物种交互的方式，在我的观察中，这类人工智能已经熟练掌握了欺骗人类的动作，因为它可以通过阅读小说，来学习欺骗他人的方式，而一旦人工智能具备了“欺骗”这个能力，也就具备了轻易控制人类的能力。

“这种操作令人感到害怕，因为我也不知道如何来阻止这样的行为发生，所以我希望年轻一代的研究人员，可以找出一些更智能的办法，来阻止这种通过欺骗实现控制的行为。”Hinton说。

Hinton认为，尽管人类在这个问题上目前还没有什么好的解决方案，但好在这些智能物种都是人打造的，而非通过进化迭代而来，这可能是人类目前具备的微弱优势，恰恰是因为没有进化能力，它们才不具备人类的竞争、攻击性的特点。

“我们可以做一些赋能，甚至是赋予人工智能一些伦理原则，只不过现在我仍然会感到紧张，因为到目前为止，我还想象不到更智能的事物，被一些反倒没那么智能的事物所控制的例子。我打个比方，假设青蛙创造了人类，那么你认为现在谁会占据主动权，是人，还是青蛙？”Hinton表示。