生成式AI的五大模型：VAEs、GANs、Diffusion、Transformers、NeRFs

为任务选择正确的GenAI模型需要了解每个模型使用的技术及其特定能力，下面请了解VAEs、GANs、Diffusion、Transformers和NerFs五大GenAI模型。

以前，大多数人工智能模型都专注于更好地处理、分析和解释数据。直到最近，在所谓的生成神经网络模型方面的突破带来了一系列用于创建各种内容的新工具，从照片和绘画到诗歌、代码、电影剧本和电影。

顶级 AI 生成模型概述

研究人员在 2010 年代中期发现了新的生成 AI 模型的前景，当时开发了变分自编码器（VAEs）、生成对抗网络（GAN） 和扩散模型（Diffusion）。2017年问世的转换器（Transformers）是一种突破性的神经网络，可以大规模分析大型数据集以自动创建大型语言模型（LLM）。2020 年，研究人员引入了神经辐射场 （NeRF），这是一种从 3D 图像生成 2D 内容的技术。

这些快速发展的生成模型是一项正在进行的工作，因为研究人员所做的调整通常会导致巨大的进步，而且显著的进展并没有放缓。“模型架构在不断变化，新的模型架构将继续开发，”在加州大学伯克利分校任教的怀特说。

每个模型都有其特殊的能力，目前，扩散模型（Diffusion）在图像和视频合成领域表现异常出色，转换器模型（Transformers）在文本领域表现良好，GAN 擅长用合理的合成样本来扩充小数据集。但是选择最佳模型始终取决于特定的用例。

所有的模型都不相同，人工智能研究人员和ML（机器学习）工程师必须为适当的用例和所需的性能选择合适的一个，并考虑模型在计算、内存和资本方面可能存在的限制。

特别是转换器模型，推动了生成模型的最新进展和兴奋。“人工智能模型的最新突破来自对大量数据的预训练模型，以及使用自我监督学习来训练没有明确标签的模型，”数字化转型咨询公司UST的首席人工智能架构师Adnan Masood说。

例如，OpenAI的生成式预训练转换器系列模型是该类别中最大，最强大的模型之一，比如模型之一GPT-3包含175亿个参数。

顶级生成式 AI 模型的主要应用

Masood解释说，顶级生成AI模型使用不同的技术和方法来生成新数据。主要功能和用途包括：

• VAE使用编码器-解码器架构来生成新数据，通常用于图像和视频生成，例如生成用于隐私保护的合成人脸。
• GAN 使用生成器和鉴别器来生成新数据，通常用于视频游戏开发中以创建逼真的游戏角色。
• Diffusion添加然后消除噪声以生成具有高细节水平的高质量图像，从而创建近乎逼真的自然场景图像。
• Transformer可以有效地并行处理顺序数据，以进行机器翻译、文本摘要和图像创建。
• NeRF提供了一种使用神经表示的3D场景重建的新方法。

下面让我们更详细地介绍每种方法。

VAE

VAE于2014年开发，旨在使用神经网络更有效地编码数据。

人工智能分析平台Sisense的AI负责人Yael Lev表示，VAE学会更有效地表示信息。它们由两部分组成：一个编码器（encoder），使数据更小，另一个解码器（decoder），使数据恢复到原始形式。它们非常适合从较小的信息中创建新示例，修复嘈杂的图像或数据，在数据中发现异常内容并填充缺失的信息。

然而，VAE也倾向于产生模糊或低质量的图像，UST的Masood说。另一个问题是，潜在空间（用于捕获数据结构的低维空间）错综复杂且具有挑战性。这些弱点可能会限制VAE在高质量图像或对潜在空间的清晰理解至关重要的应用中的有效性。VAE的下一次迭代可能会侧重于提高生成数据的质量，提高训练速度并探索其对顺序数据的适用性。

GANs

GANs于2014年开发，用于生成逼真的面部和打印数字。GAN 将创建真实内容的生成神经网络与用于检测虚假内容的判别神经网络对立起来。“逐步的，两个网络融合产生与原始数据无法区分的生成图像”普华永道全球人工智能负责人Anand Rao说。

GAN 通常用于图像生成、图像编辑、超分辨率、数据增强、风格传输、音乐生成和深度伪造创建。GAN的一个问题是，它们可能会遭受模式崩溃，其中生成器产生有限和重复的输出，使它们难以训练。Masood说，下一代GAN将专注于提高训练过程的稳定性和融合性，将其适用性扩展到其他领域，并开发更有效的评估指标。GAN也很难优化和稳定，并且对生成的样本没有明确的控制。

Diffusion

扩散模型由斯坦福大学的一组研究人员于2015年开发，用于模拟和反转熵和噪声。扩散技术提供了一种模拟现象的方法，例如盐等物质如何扩散到液体中，然后逆转它，此相同模型还有助于从空白图像生成新内容。

扩散模型是当前图像生成的首选，它们是流行的图像生成服务的基本模型，例如Dall-E 2，Stable Diffusion，Midjourney和Imagen。它们还用于管道中生成语音、视频和 3D 内容。此外，扩散技术还可用于数据插补，其中预测和生成缺失数据。

许多应用将扩散模型与LLM配对，用于文本到图像或文本到视频生成。例如，Stable Diffusion 2 使用对比语言-图像预训练模型作为文本编码器，它还添加了用于深度和升级的模型。

Masood预测，对稳定扩散等模型的进一步改进可能侧重于改进负面提示，增强以特定艺术家风格生成图像的能力，并改善名人图像。

Transformers

转换器模型是由google Brain的一个团队于2017年开发的，旨在改善语言翻译，它们非常适合以与给定顺序不同的顺序处理信息，并行处理数据并使用未标记的数据扩展到大型模型。

它们可用于文本摘要、聊天机器人、推荐引擎、语言翻译、知识库、超个性化（通过偏好模型）、情感分析和命名实体识别，以识别人、地点和事物。它们还可用于语音识别，如OpenAI的耳语，视频和图像中的对象检测，图像字幕，文本分类活动和对话生成。

尽管Transformers具有多功能性，但它们确实存在局限性。它们的训练成本可能很高，并且需要大型数据集。由此产生的模型也相当大，这使得识别偏差或不准确结果的来源变得具有挑战性。马苏德说：“它们的复杂性也使得解释其内部运作变得困难，阻碍了它们的可解释性和透明度。

Transformer模型架构

NeRF

NeRF 于 2020 年开发，用于将光场的 3D 表示捕获到神经网络中，第一次实施非常缓慢，需要几天时间才能捕获第一个3D图像。

然而，在 2022 年，英伟达的研究人员找到了一种在大约 30 秒内生成新模型的方法。这些模型可以表示3D对象 - 具有相当的质量 - 以几兆字节为单位，而其他技术可以占用千兆字节。它们有希望能够带来更有效的技术来捕获和生成元宇宙中的 3D 对象。英伟达研究总监亚历山大·凯勒（Alexander Keller）说，NeRFs“最终可能对3D图形的重要性与数码相机对现代摄影的重要性一样重要。

Masood说，NeRF在机器人，城市测绘，自主导航和虚拟现实应用方面也显示出巨大的潜力。然而，NERF的计算成本仍然很高，将多个 NERF 组合成更大的场景也很具有挑战性，今天NeRF唯一可行的用例是将图像转换为3D对象或场景。尽管存在这些限制，Masood预测NeRF将在基本图像处理任务中找到新的角色，例如去噪，去模糊，上采样，压缩和图像编辑。

GenAI生态系统进行时

重要的是要注意，这些模型正在进行中，研究人员正在寻求改进单个模型以及将它们与其他模型和处理技术相结合的方法。Lev预测，生成模型将变得更加通用，应用程序将扩展到传统领域之外，用户还可以更有效地指导AI模型，并了解它们如何更好地工作。

在多模态模型上也有工作正在进行中，这些模型使用检索方法来调用针对特定任务优化的模型库。他还希望生成模型能够开发其他功能，例如进行API调用和使用外部工具，例如，根据公司的呼叫中心知识微调的LLM将提供问题的答案并执行故障排除，例如重置客户调制解调器或在问题解决时发送电子邮件。

事实上，今天流行的模型架构最终可能会在未来被更高效的东西所取代。“当新架构出现时，也许Diffusion和Transformer模型将不再有用，”怀特说。我们在Diffusion上看到了这一点，因为它们的引入使得长短期记忆算法和RNN（递归神经网络）对自然语言应用的方法不太有利。

有人预测，生成AI生态系统将演变为三层模型，基础层是一系列基于文本、图像、语音和代码的基础模型，这些模型摄取大量数据，基于大型深度学习模型构建，并结合了人类判断。接下来，特定于行业和功能的领域模型将改善医疗保健、法律或其他类型的数据的处理。在顶层，公司将使用专有数据及其主题专业知识来构建专有模型。这三个层将颠覆团队开发模型的方式，并将迎来模型即服务的新时代。

如何选择生成式 AI 模型：首要注意事项

根据Sisense的Lev的说法，在模型之间进行选择时的首要考虑因素包括以下内容：

您要解决的问题。选择已知适用于您的特定任务的模型。例如，将转换器用于语言任务，将 NeRF 用于 3D 场景。

数据的数量和质量。Diffusion需要大量良好的数据才能正常工作，而VAE则在数据较少的情况下工作得更好。

结果的质量。GAN 更适合清晰和详细的图像，而 VAE 更适合更平滑的结果。

训练模型的难易程度。GAN可能很难训练，而VAE和Diffusion更容易。

计算资源要求。NeRF和Diffusion都需要大量的计算机能力才能正常工作。

需要控制和理解。如果您想更好地控制结果或更好地了解模型的工作原理，VAE 可能比 GAN 更好。