对话京东大模型“掌门人”何晓冬：京东布局大模型有哪些新思考？

文 丨 新浪科技 周文猛

在担任京东集团副总裁、京东探索研究院院长、智能服务与产品部总裁的同时，何晓冬同时也在中国计算机学会（CCF）内也身兼数职，担任CCF企工委副主任和CTO Club主席职位。

近日，由中国计算机学会主办的2023中国计算机大会（CNCC2023）召开前夕，新浪科技《科创100人》专访了何晓冬，就CNCC2023大会筹备情况及大模型产业机遇等问题进行交流。沟通中，何晓冬指出：“ChatGPT的通用性让人感到惊艳，让全球科技行业以为这就是通用人工智能（GAI）的雏形，但目前看来，这一技术在多模态智能方面仍存在很长的局限，并未真正实现‘智能涌现’。”

相比于通用大模型，何晓冬更看好垂直领域大模型，强调“布局大模型应结合具体场景，从产业价值出发”。结合在京东长期从事研究和技术管理的经验，何晓冬总结了从技术探索到产业落地的“五步走”策略，并进一步指出，保持对技术趋势的前瞻性，是CTO们的基本素养，企业技术高管需从全局价值出发，兼顾好当前和未来的发展。

“大模型应该产业化才能产生价值，而且在落地产业的时候必然会遇到很多问题，这样才能不断迭代进步。”何晓冬表示。在他看来，“企业拥抱大模型产业机遇，还是要长期主义，坚定长期投入。”

ChatGPT是GAI原始雏形，但多模态智能还未成功

随着基于GPT3.5大模型的ChatGPT面世并引发轰动，关于大模型和通用人工智能的讨论便成了业界关注的焦点。那么，大模型与AGI的关联性吗？大模型是如何开启通用人工智能道路的？

在何晓冬看来，事实上自深度学习出现以后，该技术所具备的能够将不同模态、不同知识体系统一的潜力，便让全球科技行业看到了通用人工到来的前兆。但一直到GPT3.0大模型技术的出现，业界才逐渐相信了基于“大模型+深度神经网络”这一组合，能够推动通用人工智能的发展。

“尤其是ChatGPT的出现，通过人类反馈学习和微调等方式，让人类能够与大模型进行很流畅的交互，这开始让业界信服这条道路的可行。”何晓冬表示。他强调指出，ChatGPT最具魅力的一点在于，它实现了人与GPT大模型的自然交流。

“之前的大模型虽然能力很强大，但它跟人的交互很痛苦，只能做一些续写的工作，其他功能没有。就像一个很聪明的天才，但是不能把自己知道的都说出来，经过这么几年的发展，它能够听懂也能说出自己知道的东西了，所以能迅速地在各个领域展现出它快速的学习能力和强大的开发能力。”何晓冬表示。

何晓冬指出，虽然ChatGPT并不是每一个细节、每一个专有领域都能够做得尽善尽美，但它却能够接得住人类的大多数问题，它的通用性让人感到非常地惊艳，这也让大家觉得这个可能就是GAI的一个最原始雏形。

当然，何晓冬也指出，通用人工智能的发展还有很长的路要走。比如，ChatGPT还是以单模态文字为主，它虽然有画图的能力，但这个能力往往是通过调用其他模块实现的，并未真正的实现多模态智能涌现。

2018年，何晓冬便开始研究多模态技术，他写作的多模态研究论文也在业界引发近4600次引用。何晓冬指出，“通过用一个语言模型去调动另外一个图文生成模型，确实可以生成图像，但这只在功能上实现多模态，事实上真正意义上多模态是如何把视觉信号、视觉信息跟语言和语义信息进行深度融合。”

包括GPT大模型在内，其实所有的涌现都是在建造一个知识结构，把所有的事物的知识通过文字、语义的形式形成一个知识网络，然后让它能够对各种各样的提问给一个比较合理的回答。“理论上视觉信息中每个物体和物体之间的关系动作，甚至包括颜色、姿态、空间关系以及时间关系，都蕴含着大量的知识。但目前的知识网络还是在文字层面，通过调用一个简单的API实现的多模态，并没有真正实现语言信息和视觉信息的融合，所以从智能涌现角度来说，现在还没有达到这个程度。”何晓冬表示。

何晓冬预测，也许明年或下一代的GPT大模型就能够做到。多模态的智能涌现一旦突破了，将会有一个很惊艳的效果。“自然语言自然是有语义的，但其实视觉也有语义，从视觉最底层的像素，再往上构造成物体，再往上就变成语义，然后再往上就是整体的融合。我感觉是如果能达到那一步应该会有很多的想象空间，可能真的能够把整个宇宙数字化了。”

产业化难点是与场景结合

从数字智能，到具身智能乃至于实体世界的智能，大模型带来的可能性令各界满怀憧憬，但在具体的落地过程中，大模型如何与具体的产业数据、场景特性和文化相结合起来，往往也困扰着诸多企业。

在何晓冬看来，如今的大模型，与当年的搜索引擎技术是相似的。搜索引擎出来后，也存在着通用和垂直之说，诸如谷歌、百度等通用搜索，但其实在各类垂直的头部App内，其实也都有自己的搜索引擎，包括京东、淘宝、美团等。在这些平台上，当你希望搜索与这些平台属性高度相关的产品或服务时，往往能比通用搜索取得更好的效果。

“从技术的角度而言，一个技术必须结合场景才能做的最好。大模型不仅仅是一个界面，它还会涉及许多非常专业决策，需要将各类数据、知识打通结合才能真正发挥价值，所以只有把这种技术跟具体的场景深度结合，才能更好地提供服务。”何晓冬表示。

当前阶段，如果从应用角度出发的话，何晓冬更看好垂直大模式的发展。一说到垂直模型，大家就会想到以前根据一个场景训练标配数据训练模型的情况。事实上，大模型时代的垂直大模型，无论是模型参数还是需要训练的数据，都是很大的，多数在千亿至万亿参数之间。

在何晓冬看来，一个产业大模型或垂直大模型，除了有通用的知识能力外，还应该有很强的产业专属的数据知识和推理能力。“某种意义上，我认为现在是你得先有通用数据，加上产业相关垂直数据，使得你的大模型能够直接构造一个通用+产业的知识网络，通用和垂直不是互斥的。”何晓冬表示。

相比垂直模型，京东更倾向于把自己的大模型技术成为“产业大模型”，而这样做的目的，便是为了防止一提到垂直模型，大家往往便会把它定义为一个小且垂直的模型。

在何晓冬看来，大模型应该产业化才能产生价值，而且在落地产业的过程中必然会遇到很多问题。只有在落地的过程中不断地结合具体场景的数据、业务需求不断打磨，才能使得模型不断地进一步强化、变得经济可控，产生真正的价值。

企业CTO如何拥抱大模型变革？

大模型打开了走向通用人工智能的技术实现路径，也带来了人工智能大工业化发展的新机遇。面对技术带来的颠覆式产业变革，作为产业技术的负责人，CTO需要着眼全局，在急速变革的数智化时代抓住技术带来的新机会，才能作出关键的技术与管理决策。

在何晓冬看来，大模型时代，有两类应用将存在新的机会。第一，因大模型出现而带来的全新应用。例如，智能助手，之前虽然大家都在提千人千面的智能助手，但在对话交互方面，却依然存在局限。第二，已有APP的重新升级改造，诸如获取信息、娱乐购物等人类的需求千古不变，只是每一次技术的出现，这些需求都可以被重新满足一遍。

面对大模型技术带来的全新机会，何晓冬结合自己在京东从事技术管理的实践经验，总结了“企业CTO拥抱大模型产业”从技术探索到落地的“五步走”策略：

第一步，技术探索。标志性事件可能是写几篇能够被顶级会议接受的论文，甚至可能还会有很大的学术影响力，这是探索的第一步，也是很重要的一步。

第二步，要形成一个稳定可用的能力。尽可能地将论文API或者模块化，成为可以被其他部门调动的能力，能够稳定地按一个特定的预期质量输出结果，需要有一定的工程投入了。

第三步，对核心业务形成支撑。最好能找到一个关键的业务，并对这个业务形成支撑。比如京东最新的人机对话技术，会在京东的智能客服上应用，因为京东智能客服是一个非常关键的业务，是整个电商环节里面不可缺少的一环，每天有大量的流量，有大量流量、用户反馈，使得产品的应用情况就能更好地打磨和升级改造。

第四步，变成一个独立的产品。把它做成一个标准化的产品，这样才能对更多的客户进行赋能和推广。

第五步，形成商业化落地。产品最后走上市场商业化的时候，总会遇到各种各样新的需求、反馈或者意见，甚至于面临用户是否愿意买单的情况。用户不会为技术买单，而是为产品价值买单，只有找到最有商业价值的地方，深度地打磨并走向商业化，才能够真正成功。

在何晓冬看来，企业 CTO乃至于核心高管，应当具备的素质便是技术的前瞻意识和创新意识，这是企业技术高管的基本素质。在此之外，在如何做业务管理时要懂得从价值出发，在保持对未来的观望时，也要兼顾好当下发展需要。