成分学习是机器学习的未来

> Source

机器学习距1950年代已经走了很长一段路，当时，人们设计了用于简单机器学习算法的统计方法，并引入了贝叶斯方法进行概率建模。 接近二十世纪，基于艾伦·图灵（Alan Turing）在计算机技术上的进步，对支持向量机和基本神经网络等模型的研究随着反向传播的发现而激增。 几年后，大规模计算的可用性已被大规模的神经网络所取代，这些神经网络可以在围棋上击败世界冠军，产生逼真的艺术并进行阅读。 从历史上看，机器学习的进步一直受到计算能力的推动。

随着在经典计算中使计算机芯片变得越来越强大的动力开始枯竭（位接近它们可能的最小分子大小），机器学习开发不再能够依靠计算能力的稳定增长来开发更强大的功能。 和有效的模型。 作为响应，机器学习正在转向成分学习。

成分学习基于这样一个想法，即一个模型无法做到所有。 当深度神经网络仅用于一项任务（例如，识别恶性或良性癌细胞或将图像分类为狗或猫）时，它们可以表现良好。 不幸的是，在神经网络中已经观察到的事情是它们只能很好地完成一件事。 随着人工智能的应用日益复杂，单一的神经网络只会越来越大，这说明了神经元越来越多的新并发症。

如前所述，这种持续增长的能力已经到了死胡同。 通过将这些神经网络中的几个进行组合以执行完整任务的各个部分，该模型作为一个整体，在执行这些复杂任务时会表现得更好，同时又保持了合理的计算空间。 当一项任务分解为多个神经网络时，每个单独的网络都可以专注于各自的领域，而不是需要全部由一个网络覆盖。 这类似于要求总统（或总理）在劳动，国防，卫生和其他部门秘书的支持下做出决定。

例如，考虑以下任务：为高档餐厅创建一个与用户互动的聊天机器人，该聊天机器人可以执行常见的任务，例如查询菜单或进行预订，以及进行闲聊。

对话可以清楚地分为三个部分：欢愉和闲谈，信息检索和行动。 我们可以选择一个更分布式的系统，而不是采用一个机器学习模型来处理以前的交互并输出响应，

一个神经网络可以推断出手头有什么任务-如果用户正在引导对话，期望获得愉悦，信息或行动，则将任务分配给专门的网络。 通过使用分布式模型而不是诸如编码器-解码器网络或文本GAN *之类的东西，可以实现两个好处：

· 精度更高。 由于将任务委派给三个单独的模型，每个模型专门研究自己的领域，因此提高了模型的性能。

· 更快的运行时间。 尽管训练分布式模型通常比较困难，但是进行预测时分布式模型要快得多，这对于需要快速响应的项目来说必不可少。 这是因为可以将分布式模型视为"分裂"奇异模型，因此信息仅通过与当前任务有关的有用神经元传递，而无需流经整个网络。

*编码器/解码器网络和GAN由多个网络组成，也许可以将其视为组成模型本身。 在这种情况下，仅将它们视为单数是因为组合模型在其上扩展以使其更有效。 所描述的结构化构成模型更多是"构成-构成模型"。

或者，考虑使用GAN（生成模型）代替传统的数据增强方法，该方法在许多情况下不适合上下文并提供过多的有害噪声。 通过不断将新生成的GAN数据汇入模型，解决了两个问题：

· 类标签不均匀。 数据收集的一个巨大问题是模型倾向于以与标签中相同的比例进行预测。 如果cat-dog数据集中75％的标签为" dog"，则模型也会在大多数情况下建议使用" dog"。 通过使用GAN，可以创建其他图像来消除类不平衡。

· 过度拟合。 GAN通常是通过数据扩充来解决的问题，它提供了一种在通用上下文数组中表现更好的解决方案。 例如，名人脸部的扭曲可能会导致图像无法与其类别联系在一起。 另一方面，GAN提供了过拟合所需的其他变化，并且可以更有效地提高模型学习的效率。

或者，例如，考虑一个双模型系统，该系统更建设性地允许模型学习容易学习的（原始难度评估模型可以高置信度/概率来解决）样本，并且仅在深度神经网络之后才引入更困难的训练样本 掌握了以前的知识。

通过先建立基础概念，然后微调权重以获取更困难的数据样本，这种渐进式难度学习可能比传统的学习方法更有效。 这个想法依赖于组成模型框架，它由通过逻辑流程链接的两个或多个子模型组成。

应该注意的是，成分学习与整体方法有所不同，因为a）成分学习中的模型执行不同的任务，并且b）基于上下文的关系是成分学习的关键部分，整体方法中不存在这种关系。

成分学习比标准建模困难得多，后者需要选择正确的算法并准备数据。 在组合系统中，有无数种方法可以构造每个模型之间的关系，而所有方法都取决于上下文。 从某种意义上说，构建成分学习模型是一门艺术。 确定使用哪种类型的模型以及之间的关系需要额外的编码，创造性思维以及对模型本质的基本理解，但是在处理AI在2020年及未来需要解决的复杂问题时，这将带来巨大的回报。

人工智能的未来在于成分学习。

(本文翻译自Andre Ye的文章《Compositional Learning is the Future of machine Learning》，参考：
https://medium.com/swlh/compositional-learning-is-the-future-of-machine-learning-22b56ad09edc)