<返回更多

当下主流AI大语言模型LLM的发展简史

2023-04-04  网易号  网络一线牵
加入收藏

今年以ChatGPT代表的AI大语言模型开始崛起,并且让AI重新进入并且开始影响甚至是改变人们的日常生活。chatGPT的强大足以让人们已经相信AI取代人已经开始走上日程,那么这波由LLM引起AI发展过程是如何的呢,其实以下一张图就可以说明:

openAI时间线


GPT-1(2018)——GPT-2——GPT-3 ——Codex——WebGPT——InstructGPT——ChatGPT——GPT-4
GPT-3是一个由OpenAI开发的自然语言处理模型,它包含1750亿个参数,能够完成许多任务,如文本生成、翻译、摘要等。
Codex是Github于2021年推出的一个基于GPT-3的代码生成模型,可以自动生成代码。
WebGPT是一款基于GPT-3的网络浏览器,可以直接执行某些任务,例如打开网站或搜索内容。
InstructGPT是一种基于GPT-3的模型,可以分析一段文本,并按照指令来执行操作,例如制作饭菜或组装物品。
ChatGPT是一款基于GPT-3的聊天机器人模型,可以与人类进行自然对话,回答问题和提供建议。
GPT-4是未来可能会推出的下一代GPT,预计会拥有更多的参数和更强大的自然语言处理能力。

谷歌时间线


Transformer(2017年)——BERT——BERT Large——T5——FLAN——Gopher——mT5———LaMDA——GLaM——PaLM——Bard
这是一组自然语言处理模型的名称。从左到右,它们是:
T5:基于Transformer架构的预训练语言模型,具有广泛的应用。
GShard:谷歌开发的分布式训练架构,可以加速大规模模型的训练。
mT5:多语言的T5模型,具有处理全球多种语言的能力。
LaMDA:谷歌研发的语言理解和对话模型,可以进行多轮对话和理解实体之间的关系。
GLaM:谷歌开发的神经组合模型,可以将不同类型的输入进行组合,提高模型的性能。
Bard:谷歌最新AI聊天机器人,采用配有情感分析和知识图谱技术的模型,可以进行自然对话。
谷歌开源分支
FLAN:Facebook研发的自然语言处理模型,采用元学习技术进行训练,具有快速学习能力。
Flan-T5:结合了Facebook的FLAN模型和T5模型的预训练模型,具有高效且灵活的性能。
Flan-PaLM:结合了Facebook的FLAN模型和Baidu的PaLM模型的预训练模型,具有更好的生成效果。

百度时间线

Ernie (2019-3)——Ernie 3.0(2021-1)——Ernie 3. 0 Titan——(ERNIE bot)文心一言

Ernie 3.0是百度发布的第三代预训练模型,它采用了更大规模的语料库和更强的模型结构,能够实现更准确、更复杂和更丰富的自然语言处理任务。
而Ernie 3.0 Titan则是2021年11月百度发布的最新版本,进一步提高了模型的性能和效果。
从时间线和出品的产品来看都是谷歌一支独秀,结果今年让OpenAI弯道超车了,其成功之道还是值得我们深思的。
另外国内除了百度,基本上就秀个bata版本出来就没有然后了,所以现在很不好追。

谷歌和OpenAI时间线的对比:

从图上看出,无论是发展历史还是发不出产品都是谷歌占绝度优势,OpenAI唯一占优可能就是比较专注一条链,而谷歌则是百花齐鸣,弄了很多产品,甚至是开源很多模型出来,虽然暂时是OpenAI借助东家微软暂时占了上风,但是将来究竟鹿死谁手还不好说。

最后一张图总结OpenAI的成功之道:

AI从上个世纪50年代就开始出现,80年的风风雨雨,期间几度爆发有几度跌落,这次不知道是波峰还是下一个波谷?

声明:本站部分内容来自互联网,如有版权侵犯或其他问题请与我们联系,我们将立即删除或处理。
▍相关推荐
更多资讯 >>>