<返回更多

腾讯混元大模型亮相:全链路自主研发

2023-09-09  砍柴网  
加入收藏

9月7日,在2023腾讯全球数字生态大会上,腾讯首次公开了完全自主研发的通用大语言模型——腾讯混元大模型。得益于全链路自研技术,腾讯混元大模型能够理解上下文的含义,并且有长文记忆能力,可以流畅地进行专业领域的多轮对话。

腾讯从2021年开始,曾先后推出了千亿、万亿级参数模型。经过多年时间的持续研发投入和积累,以及在实际应用中不断地自主研发创新,腾讯目前已经完全掌握了从模型算法到机器学习框架,再到AI基础设施的全链路自研技术。腾讯混元大模型的诞生,也是腾讯在大模型领域多年的积累和探索的成果。

据了解,混元大模型是从第一个token开始从零训练的。通过采用预训练“探真”技术、动态锯齿状注意力机制、位置编码优化、原创思维链策略等创新的大模型算法,使得大模型事实幻觉率相比主流开源大模型减少30%—50%,并让大模型能够真正像人一样识别问题陷阱,并结合实际的应用场景进行推理和决策。

此外,混元大模型还使用了自研的机器学习框架Angel,使得训练速度相比业界主流框架提升1倍,推理速度比业界主流框架提升1.3倍。

得益于在算法、学习框架等各个层面进行的一系列自研创新,混元大模型已经具备良好的可靠性和成熟度,其上下文理解、长文记忆能力和逻辑推理能力表现优秀。

在中国信通院《大规模预训练模型技术和应用的评估方法》的标准符合性测试中,混元大模型共测评66个能力项,在“模型开发”和“模型能力”两个重要领域的综合评价均获得了当前的最高分。在主流的评测集MMLU、CEval和AGI-eval上,混元大模型均有优异的表现,特别是在中文的理科、高考题和数学等子项上表现突出。

腾讯混元大模型是一个从实践中来,到实践中去的实用级大模型。它不仅展示了腾讯在大模型领域的技术实力和创新能力,更体现了腾讯在将人工智能技术应用到实际场景中的探索和实践。通过与产业数据和场景相结合,混元大模型为解决产业痛点带来了全新的思路和方案。

关键词:混元大模型      点击(6)
声明:本站部分内容来自互联网,如有版权侵犯或其他问题请与我们联系,我们将立即删除或处理。
▍相关推荐
更多混元大模型相关>>>