今年以ChatGPT代表的AI大语言模型开始崛起,并且让AI重新进入并且开始影响甚至是改变人们的日常生活。chatGPT的强大足以让人们已经相信AI取代人已经开始走上日程,那么这波由LLM引起AI发展过程是如何的呢,其实以下一张图就可以说明:
openAI时间线
GPT-1(2018)——GPT-2——GPT-3 ——Codex——WebGPT——InstructGPT——ChatGPT——GPT-4
GPT-3是一个由OpenAI开发的自然语言处理模型,它包含1750亿个参数,能够完成许多任务,如文本生成、翻译、摘要等。
Codex是Github于2021年推出的一个基于GPT-3的代码生成模型,可以自动生成代码。
WebGPT是一款基于GPT-3的网络浏览器,可以直接执行某些任务,例如打开网站或搜索内容。
InstructGPT是一种基于GPT-3的模型,可以分析一段文本,并按照指令来执行操作,例如制作饭菜或组装物品。
ChatGPT是一款基于GPT-3的聊天机器人模型,可以与人类进行自然对话,回答问题和提供建议。
GPT-4是未来可能会推出的下一代GPT,预计会拥有更多的参数和更强大的自然语言处理能力。
谷歌时间线
Transformer(2017年)——BERT——BERT Large——T5——FLAN——Gopher——mT5———LaMDA——GLaM——PaLM——Bard
这是一组自然语言处理模型的名称。从左到右,它们是:
T5:基于Transformer架构的预训练语言模型,具有广泛的应用。
GShard:谷歌开发的分布式训练架构,可以加速大规模模型的训练。
mT5:多语言的T5模型,具有处理全球多种语言的能力。
LaMDA:谷歌研发的语言理解和对话模型,可以进行多轮对话和理解实体之间的关系。
GLaM:谷歌开发的神经组合模型,可以将不同类型的输入进行组合,提高模型的性能。
Bard:谷歌最新AI聊天机器人,采用配有情感分析和知识图谱技术的模型,可以进行自然对话。
谷歌开源分支
FLAN:Facebook研发的自然语言处理模型,采用元学习技术进行训练,具有快速学习能力。
Flan-T5:结合了Facebook的FLAN模型和T5模型的预训练模型,具有高效且灵活的性能。
Flan-PaLM:结合了Facebook的FLAN模型和Baidu的PaLM模型的预训练模型,具有更好的生成效果。
百度时间线
Ernie (2019-3)——Ernie 3.0(2021-1)——Ernie 3. 0 Titan——(ERNIE bot)文心一言
Ernie 3.0是百度发布的第三代预训练模型,它采用了更大规模的语料库和更强的模型结构,能够实现更准确、更复杂和更丰富的自然语言处理任务。
而Ernie 3.0 Titan则是2021年11月百度发布的最新版本,进一步提高了模型的性能和效果。
从时间线和出品的产品来看都是谷歌一支独秀,结果今年让OpenAI弯道超车了,其成功之道还是值得我们深思的。
另外国内除了百度,基本上就秀个bata版本出来就没有然后了,所以现在很不好追。
谷歌和OpenAI时间线的对比:
从图上看出,无论是发展历史还是发不出产品都是谷歌占绝度优势,OpenAI唯一占优可能就是比较专注一条链,而谷歌则是百花齐鸣,弄了很多产品,甚至是开源很多模型出来,虽然暂时是OpenAI借助东家微软暂时占了上风,但是将来究竟鹿死谁手还不好说。
最后一张图总结OpenAI的成功之道:
AI从上个世纪50年代就开始出现,80年的风风雨雨,期间几度爆发有几度跌落,这次不知道是波峰还是下一个波谷?