混元大模型终于亮相，全链路自研降低大模型幻觉，腾讯慢工出细活
图源：视觉中国
备受市场期待的腾讯自研通用大模型“混元”，终于浮出水面。
在9月7日举办的2023腾讯全球数字生态大会上，腾讯混元大模型正式亮相，并宣布通过腾讯云对外开放。
据腾讯集团高级执行副总裁、腾讯云与智慧产业事业群CEO汤道生介绍，混元大模型拥有超千亿参数规模，预训练语料超2万亿tokens，具有强大的中文理解与创作能力、逻辑推理能力，以及可靠的任务执行能力，并在解决大模型常见的“幻觉”问题上取得了明显进步。
混元大模型与其他大模型的效果对比，图片来源：腾讯方面提供
此时国内首批大模型应用刚刚通过备案上线，更大规模的市场终于向这一新兴技术开放，国产大模型的混战因此开始进入全新的竞争阶段，卷应用而不是卷技术，成为业界共识。
混元大模型，同样以“实用级”大模型自居。腾讯方面指出，混元大模型从实践中来，其技术积累来自腾讯丰富的应用场景，且经过多个业务场景充分磨炼，是多次迭代之后的通用技术底座，更能满足应用需要。
并要向实践中去。据汤道生透露，目前，腾讯云、腾讯广告、腾讯游戏、腾讯金融科技、腾讯会议、腾讯文档、微信搜一搜、QQ浏览器等超过50个腾讯业务和产品，已经接入腾讯混元大模型测试，并取得初步效果。
与此同时，汤道生指出，混元大模型还将作为腾讯云MaaS服务的底座，客户不仅可以直接通过API调用混元，也可以将混元作为基底模型，开发不同产业场景的应用。
从这个角度来看，腾讯再一次展露出它的狡黠。在一场又一场激烈的战役之中，这家互联网大厂或许并不会在第一个抵达战场，但它会花更长的时间排兵布阵、筹备军粮，在最关键的时刻，用最好的状态冲向沙场。
慢工出细活
在大模型战场上，混元大模型似乎来得有些迟。
早在6个月前，百度就曾发布文心一言。阿里通义千问、科大迅速星火、华为盘古等一众大模型紧跟百度的步伐，在接下来的两三个月时间内密集发布。赛迪顾问数据显示，截至 2023 年 7 月，中国累计已经有130个大模型问世。
市场因此担心，腾讯会错失先发优势，在后续竞争中处于被动地位。
但在腾讯内部，有着完全不一样的看法。早在今年5月，腾讯董事会主席马化腾就曾对外指出，我们认为这是几百年不遇的、类似发明电的工业革命一样的机遇。我们也一样在埋头研发，但是并不急于早早做完，把半成品拿出来展示。
“对于工业革命来讲，早一个月把电灯泡拿出来在长的时间跨度上来看是不那么重要的。关键还是要把底层的算法、算力和数据扎扎实实做好。”
相比国内部分厂商直接调用国外开源模型进行训练的方法，腾讯自研大模型因此走向一条更难但更为正确的道路。
据腾讯集团副总裁蒋杰介绍，混元大模型从第一个token开始从零训练，掌握了从模型算法到机器学习框架，再到AI基础设施的全链路自研技术。
腾讯集团副总裁蒋杰，图片来源：腾讯方面提供
冷启动、从零开始，腾讯自研大模型所需时间因此被大大拉长。但也正是得益于此，腾讯才能在一些困扰业界的问题上找到突破口。
如此前不断被讨论的大模型“幻觉”问题。正是因为正确率无法保证，大模型实际的应用场景才会被局限在容错率高、任务简单的休闲场景，无法进一步深入。腾讯为此在算法层面进行了一系列自研创新，提高了模型可靠性和成熟度。
如针对大模型容易“胡言乱语”的问题，腾讯优化了预训练算法及策略，让混元大模型的幻觉相比主流开源大模型降低了30%至50%；通过强化学习的方法，让模型学会识别陷阱问题，可以拒绝回答不恰当的用户问题；通过位置编码优化，提高了超长文的处理效果和性能。
此外，腾讯的研发团队还提出了思维链的新策略，能够让大模型能够像人一样结合实际的应用场景进行推理和决策。
与此同时，蒋杰指出，腾讯的自研机器学习框架Angel让训练速度相比业界主流框架提升1倍，推理速度比业界主流框架提升1.3倍。
混元大模型因此更能理解上下文的含义，并且有长文记忆能力，可以流畅地进行专业领域的多轮对话。而在文学创作、文本摘要、角色扮演等内容创作上，混元大模型做到充分理解用户意图，并高效、准确的给出有时效性的答复。
在发布会上，蒋杰用中国信通院《大规模预训练模型技术和应用的评估方法》的标准符合性测试结果，来展现混元大模型的能力水平。
在该项评测中，混元大模型共测评66个能力项，在“模型开发”和“模型能力”两个重要领域的综合评价均获得了当前的最高分。在主流的评测集MMLU、CEval和AGI-eval上，混元大模型均有优异的表现。
全面拥抱大模型
在互联网江湖内，腾讯一直以对产品的精细化调整闻名。这家以社交产品起家的大厂，愿意为一些极其细致的问题做长期持续的投入，将产品做到极致。在国产大模型这场混战之中，腾讯再度展现出其“产品经理”的底色。
“我们研发大模型的目标不是在评测上获得高分，而是将技术应用到实际场景中。腾讯将全面拥抱大模型。”蒋杰如此表示。
腾讯将要全面拥抱大模型，图片来源：腾讯方面提供
目前，腾讯已经在丰富的内部场景和应用上，对混元大模型进行了反复锤炼。目前，腾讯云、腾讯广告、腾讯游戏、腾讯金融科技、腾讯会议、腾讯文档、微信搜一搜、QQ浏览器等超过50个腾讯业务和产品，已经接入腾讯混元大模型测试，并取得初步效果。
发布会上，蒋杰具体展示了腾讯会议、腾讯文档、腾讯广告等多个业务接入腾讯混元大模型后的实际应用情况。
比如腾讯会议基于混元大模型打造了AI小助手，只需要简单的自然语言指令，就能完成会议信息提取、内容分析等复杂任务，会后还能生成智能总结纪要。据实测，在指令理解、会中问答、会议摘要、会议待办项等多个方面，混元大模型均获得较高的用户采纳率。
在文档处理方面，腾讯混元大模型支持数十种文本创作场景，在腾讯文档推出的智能助手功能中已有应用。同时，混元还能够一键生成标准格式文本，精通数百种Excel公式，支持自然语言生成函数，并基于表格内容生成图表，目前这些功能正在内测阶段，将在成熟后面向用户开放。
在广告业务场景，腾讯混元大模型支持智能化的广告素材创作，能够适应行业与地域特色，满足千人千面的需求，实现文字、图片、视频的自然融合。此外，基于混元大模型的能力，广告智能导购能够帮助商家在企业微信等场景，提升服务质量和服务效率。
与此同时，微信的腾讯混元助手小程序也已经开放内测申请，目前正在排队审核期。该助手支持AI问答，可以回答各类问题，也能处理多种任务，如获取知识、解决数学问题、翻译、提供旅游攻略、工作建议等，可以看作是小程序版的“ChatGPT”。
不过在会后群访环节中，蒋杰透露，混元大模型已经向相关部门备案，且已获批。但目前混元大模型的C端基本还是以内部应用和结合一定场景做尝试为主。
基于行业场景的B端需求，仍是混元大模型目前落地的主要方向。今年6月，腾讯云推出了MaaS解决方案，提供涵盖模型预训练、模型精调、智能应用开发等一站式的行业大模型服务。
近期，腾讯云也全面接入Llama 2、Bloom等20多个主流模型，和混元大模型一样，都支持直接部署调用。客户可以根据实际需求，基于混元大模型或开源大模型，打造自己专属的行业大模型。
