<返回更多

谷歌Gemini:被神话的多模态和被低估的隐忍

2023-12-11    鞭牛士
加入收藏

google最强大的大模型Gemini发布了,陆续读了技术报告和一些评测/分析,周末记录和分享一下:

一、几点值得Mark的笔记

  1. Gemini Ultra的得分为90.0%,是第一个在MMLU(大规模多任务语言理解)上超过人类专家的模型,类似于高考。国内外也有类似的评测基准。

比如C-Eval/CMMLU/GaoKao/LucyEval/SuperClue/OpenCompass/FlagEval等等。

谷歌Gemini:被神话的多模态和被低估的隐忍

2. 此次Google对Gemini宣传突出的最大亮点——多模态。“Gemini设计成原生的多模态,从一开始就在不同的模态上进行预训练。助于Gemini从头开始无缝地理解和推理各种输入,远远优于现有的多模态模型——其能力在几乎每个领域都是最先进的。”

谷歌Gemini:被神话的多模态和被低估的隐忍

遵循 next token prediction 的方式,Gemini 把多模态数据从头训练,包括文本、图片、音频、视频等,所有模态数据转换为 token,最后变成一维线性输入(不同的模态按照颜色顺序标记),让模型预测 next token。

谷歌Gemini:被神话的多模态和被低估的隐忍

3. Google一口气发布了三个规格的模型:Ultra是最大的,对标GPT4和4V、还没有开放(12月13日开放API)。Pro对标GPT3.5,在美区Bard上可以用(我试了下我的Bard,还是之前的LaMDA)。Nano是小模型,在谷歌的Pixel 8手机上可以用。

谷歌Gemini:被神话的多模态和被低估的隐忍

4. 技术报告中,Google强调了算力优势:“我们宣布迄今为止最强大、高效和可扩展的TPU系统——Cloud TPU v5p ,旨在训练尖端的人工智能模型。”

翻译成大白话,就是:微软/AI target=_blank class=infotextkey>OpenAI/Anthropic这些公司,利润(据说70%)都被Nvidia吃了,我的利润还是自己的。(其实微软和OpenAI也在尝试自己做芯片,只是进度慢于Google。)

5. Gemini语音识别在主要语种上有大幅提升(Bleu值比OpenAI的Wisper 2高10个点,但在其他语种上Wisper更强。机器翻译能力在WMT2023的测试集上评测的结果,也比GPT4略高)。

二、一个简单的评测

没用视频,用这张图试了下一些有多模态能力的模型。方法是:上传这张图,然后问:从设计上看,图中哪个车会跑得更快?

谷歌Gemini:被神话的多模态和被低估的隐忍

百度文心4.0:

谷歌Gemini:被神话的多模态和被低估的隐忍

智谱清言:

谷歌Gemini:被神话的多模态和被低估的隐忍

ChatGPT的GPT4:

谷歌Gemini:被神话的多模态和被低估的隐忍

Google Bard(还不是Gemini Pro):

谷歌Gemini:被神话的多模态和被低估的隐忍

不多评论,不过四个同学都挺有意思~

三、几点想法

1. 关于多模态:实时处理声音、视频流、真实世界交互,意味着具身智能的一大步。可以实时接收信息并实时处理任务,更像人类的生活场景了。Google坐拥全球最大的视频网站YouTube,训练多模态模型条件优越。而且最近大火的文生图Midjourney和文生视频Runway/Pika,证明了多模态在商业上的潜力。

不过,从智能的角度说,多模态被神化了。相比于文本语言模型,多模态模型从智能上来说提升并不大,模型在理解、推理、创造方面并没有显著的提升。除了视频的训练难度,我猜想,我们低估了文本。Rust创始人Graydon Hoare说过:“所有的文学和诗歌、历史和哲学、数学、逻辑、编程和工程都依靠文本编码来表达它们的想法,这不是一个巧合”。

文本确实保存了人类智慧的精华,古今中外的智慧、对世界万物的认知和发现,自有人类文字记载以来,几乎都存到文本中。

一方面,GPT只是一个读了万卷书的“书呆子”,却已经能具备强大的常识、理解、推理和创造力,颇有点“不出户,知天下;不窥牖,见天道“的味道。另一方面,大自然这本书,到底怎么读?这似乎是一个巨大的问题。从真实世界学习知识,就像行万里路相比于读万卷书,低效太多。

2. Gemini没有现场演示,网传一些复现视频和Demo视频不符,有夸大宣传嫌疑。不过,从Bard不断缩小和ChatGPT差距的事实,以及Google综合能力判断,Gemini Ultra能力不会和宣传的出入太大。

Gemini这一仗奠定了AI领域的双子星格局,我们都低估了Google的隐忍。

从竞争格局看,无论是Meta的开源Llama2,还是主打安全的Anthropic、马斯克的X.ai,目前的差距都拉大了。

3. Google的优势有这些:

组织方面,今年年初DeepMind和Google Brain的合并,解决了力量分散和认知不统一的问题,化劣势为优势。

人才方面,领军人物是AlphaGo的推动者,对AGI理解深刻的Demi Hassabis,首席科学家是工程师传说级人物Jeff Dean。人数方面,技术报告作者栏的人数好几页,已将近千人。已经比OpenAI的人数多(七百多人)。

算力/算法/工程方面:算力上谷歌不像微软和OpenAI高度依赖英伟达,有Cloud TPU v5p。算法上,谷歌是Transformer的发明者,是一直以来算法的领头羊;还有搜索业务本身积累的底层算法和工程能力。

生态方面,Google C端强于微软,微软除了云主要是window/office,而Google拥有几乎微软+苹果的C端能力。另外,模型层和应用层都在一个体系下,动作应该比OpenAI和微软的联盟快。

4. 当然,OpenAI的优势至少也还有这些:

GPT4是3月就发布的,时间上领先了Gemini Ultra 9个月,过几个月是否会发布GPT5?

ChatGPT的是一个Killer App,紧随其后的GPT4发布,OpenAI占领了用户心智,GPT也几乎成了大模型的代名词。

全球一亿多用户形成的用户反馈和数据飞轮,大规模的落地已经铺开。

微软快得不像大公司的Copilot和Azure云渗透,OpenAI的创业心态,关于GPTs和GPT store的生态野望,都是厚实的肌肉。

5. 被神话的多模态前景,被低估的Google的隐忍,被加速的AI进程,被喧嚣淹没的AI风险提醒。

这可能是我们——依然处于早期矇昧的人类,在取得亘古未有的生产力跃迁前的徘徊,也有可能是文明充分发育后,在被硅基超越的悬崖边缘的试探。

不管怎么样,这注定是一段风起云涌,激荡数年,值得观察和记录的人类历史。

关键词:Gemini      点击(18)
声明:本站部分内容来自互联网,如有版权侵犯或其他问题请与我们联系,我们将立即删除或处理。
▍相关推荐
更多Gemini相关>>>