<返回更多

混元大模型终于亮相,全链路自研降低大模型幻觉,腾讯慢工出细活

2023-09-08  时代在线网  
加入收藏
图源:视觉中国

备受市场期待的腾讯自研通用大模型“混元”,终于浮出水面。

在9月7日举办的2023腾讯全球数字生态大会上,腾讯混元大模型正式亮相,并宣布通过腾讯云对外开放。

据腾讯集团高级执行副总裁、腾讯云与智慧产业事业群CEO汤道生介绍,混元大模型拥有超千亿参数规模,预训练语料超2万亿tokens,具有强大的中文理解与创作能力、逻辑推理能力,以及可靠的任务执行能力,并在解决大模型常见的“幻觉”问题上取得了明显进步。

混元大模型与其他大模型的效果对比,图片来源:腾讯方面提供

此时国内首批大模型应用刚刚通过备案上线,更大规模的市场终于向这一新兴技术开放,国产大模型的混战因此开始进入全新的竞争阶段,卷应用而不是卷技术,成为业界共识。

混元大模型,同样以“实用级”大模型自居。腾讯方面指出,混元大模型从实践中来,其技术积累来自腾讯丰富的应用场景,且经过多个业务场景充分磨炼,是多次迭代之后的通用技术底座,更能满足应用需要。

并要向实践中去。据汤道生透露,目前,腾讯云、腾讯广告、腾讯游戏、腾讯金融科技、腾讯会议、腾讯文档、微信搜一搜、QQ浏览器等超过50个腾讯业务和产品,已经接入腾讯混元大模型测试,并取得初步效果。

与此同时,汤道生指出,混元大模型还将作为腾讯云MaaS服务的底座,客户不仅可以直接通过API调用混元,也可以将混元作为基底模型,开发不同产业场景的应用。

从这个角度来看,腾讯再一次展露出它的狡黠。在一场又一场激烈的战役之中,这家互联网大厂或许并不会在第一个抵达战场,但它会花更长的时间排兵布阵、筹备军粮,在最关键的时刻,用最好的状态冲向沙场。

慢工出细活

在大模型战场上,混元大模型似乎来得有些迟。

早在6个月前,百度就曾发布文心一言。阿里通义千问、科大迅速星火、华为盘古等一众大模型紧跟百度的步伐,在接下来的两三个月时间内密集发布。赛迪顾问数据显示,截至 2023 年 7 月,中国累计已经有130个大模型问世。

市场因此担心,腾讯会错失先发优势,在后续竞争中处于被动地位。

但在腾讯内部,有着完全不一样的看法。早在今年5月,腾讯董事会主席马化腾就曾对外指出,我们认为这是几百年不遇的、类似发明电的工业革命一样的机遇。我们也一样在埋头研发,但是并不急于早早做完,把半成品拿出来展示。

“对于工业革命来讲,早一个月把电灯泡拿出来在长的时间跨度上来看是不那么重要的。关键还是要把底层的算法、算力和数据扎扎实实做好。”

相比国内部分厂商直接调用国外开源模型进行训练的方法,腾讯自研大模型因此走向一条更难但更为正确的道路。

据腾讯集团副总裁蒋杰介绍,混元大模型从第一个token开始从零训练,掌握了从模型算法到机器学习框架,再到AI基础设施的全链路自研技术。

腾讯集团副总裁蒋杰,图片来源:腾讯方面提供

冷启动、从零开始,腾讯自研大模型所需时间因此被大大拉长。但也正是得益于此,腾讯才能在一些困扰业界的问题上找到突破口。

如此前不断被讨论的大模型“幻觉”问题。正是因为正确率无法保证,大模型实际的应用场景才会被局限在容错率高、任务简单的休闲场景,无法进一步深入。腾讯为此在算法层面进行了一系列自研创新,提高了模型可靠性和成熟度。

如针对大模型容易“胡言乱语”的问题,腾讯优化了预训练算法及策略,让混元大模型的幻觉相比主流开源大模型降低了30%至50%;通过强化学习的方法,让模型学会识别陷阱问题,可以拒绝回答不恰当的用户问题;通过位置编码优化,提高了超长文的处理效果和性能。

此外,腾讯的研发团队还提出了思维链的新策略,能够让大模型能够像人一样结合实际的应用场景进行推理和决策。

与此同时,蒋杰指出,腾讯的自研机器学习框架Angel让训练速度相比业界主流框架提升1倍,推理速度比业界主流框架提升1.3倍。

混元大模型因此更能理解上下文的含义,并且有长文记忆能力,可以流畅地进行专业领域的多轮对话。而在文学创作、文本摘要、角色扮演等内容创作上,混元大模型做到充分理解用户意图,并高效、准确的给出有时效性的答复。

在发布会上,蒋杰用中国信通院《大规模预训练模型技术和应用的评估方法》的标准符合性测试结果,来展现混元大模型的能力水平。

在该项评测中,混元大模型共测评66个能力项,在“模型开发”和“模型能力”两个重要领域的综合评价均获得了当前的最高分。在主流的评测集MMLU、CEval和AGI-eval上,混元大模型均有优异的表现。

全面拥抱大模型

在互联网江湖内,腾讯一直以对产品的精细化调整闻名。这家以社交产品起家的大厂,愿意为一些极其细致的问题做长期持续的投入,将产品做到极致。在国产大模型这场混战之中,腾讯再度展现出其“产品经理”的底色。

“我们研发大模型的目标不是在评测上获得高分,而是将技术应用到实际场景中。腾讯将全面拥抱大模型。”蒋杰如此表示。

腾讯将要全面拥抱大模型,图片来源:腾讯方面提供

目前,腾讯已经在丰富的内部场景和应用上,对混元大模型进行了反复锤炼。目前,腾讯云、腾讯广告、腾讯游戏、腾讯金融科技、腾讯会议、腾讯文档、微信搜一搜、QQ浏览器等超过50个腾讯业务和产品,已经接入腾讯混元大模型测试,并取得初步效果。

发布会上,蒋杰具体展示了腾讯会议、腾讯文档、腾讯广告等多个业务接入腾讯混元大模型后的实际应用情况。

比如腾讯会议基于混元大模型打造了AI小助手,只需要简单的自然语言指令,就能完成会议信息提取、内容分析等复杂任务,会后还能生成智能总结纪要。据实测,在指令理解、会中问答、会议摘要、会议待办项等多个方面,混元大模型均获得较高的用户采纳率。

在文档处理方面,腾讯混元大模型支持数十种文本创作场景,在腾讯文档推出的智能助手功能中已有应用。同时,混元还能够一键生成标准格式文本,精通数百种Excel公式,支持自然语言生成函数,并基于表格内容生成图表,目前这些功能正在内测阶段,将在成熟后面向用户开放。

在广告业务场景,腾讯混元大模型支持智能化的广告素材创作,能够适应行业与地域特色,满足千人千面的需求,实现文字、图片、视频的自然融合。此外,基于混元大模型的能力,广告智能导购能够帮助商家在企业微信等场景,提升服务质量和服务效率。

与此同时,微信的腾讯混元助手小程序也已经开放内测申请,目前正在排队审核期。该助手支持AI问答,可以回答各类问题,也能处理多种任务,如获取知识、解决数学问题、翻译、提供旅游攻略、工作建议等,可以看作是小程序版的“ChatGPT”。

不过在会后群访环节中,蒋杰透露,混元大模型已经向相关部门备案,且已获批。但目前混元大模型的C端基本还是以内部应用和结合一定场景做尝试为主。

基于行业场景的B端需求,仍是混元大模型目前落地的主要方向。今年6月,腾讯云推出了MaaS解决方案,提供涵盖模型预训练、模型精调、智能应用开发等一站式的行业大模型服务。

近期,腾讯云也全面接入Llama 2、Bloom等20多个主流模型,和混元大模型一样,都支持直接部署调用。客户可以根据实际需求,基于混元大模型或开源大模型,打造自己专属的行业大模型。

关键词:混元大模型      点击(10)
声明:本站部分内容来自互联网,如有版权侵犯或其他问题请与我们联系,我们将立即删除或处理。
▍相关推荐
更多混元大模型相关>>>