下一代视频编码技术的云视频应用探索
本文由华为云资深产品专家左雯在LiveVideoStackCon2020线上峰会的演讲内容整理而成，本文从视频编解码技术的趋势、难点和挑战以及华为云视频产品的编解码关键技术实践与成果两方面介绍下一代视频编解码技术优化应用的探索。
文 / 左雯
整理 / LiveVideoStack
大家下午好，非常荣幸参加LiveVideoStack首届音视频线上峰会。先自我介绍一下，我叫左雯，来自华为云，是云视频服务的产品经理。在做产品经理之前，一直从事视频编解码算法研究优化、转码产品架构设计等工作！今天参加这个专题目的有两个，一个是想通过这次峰会，向大家分享一下华为云视频对下一代视频编码技术发展的想法和应用成果，另一个是像各位专家学习，相互交流，促进下一代视频编码技术的快速发展，推动云视频这个行业的发展。
今天分享的主题包括三个部分，首先是华为云视频对视频行业发展趋势的一些看法，以及这些趋势对下一代视频编码技术提出的挑战；其次从标准角度来介绍下一代视频编码技术以及华为相关工作；最后从云视频应用角度来具体介绍华为云在视频编码技术上的一些实践和探索。希望能给大家带来干货和技术启发。
1. 视频行业趋势
5G、云、AI已经成为ICT行业甚至是整个社会的发展趋势，促使整个视频行业需求和技术不断演进，推动整个视频行业不断升级。如图所示，视频生命周期的每个环节都在更新升级，包括视频生产、视频处理、视频传输和视频消费。
- 视频生产：多源数据的采集，包括超高清、VR、自由视角、3D建模和视频渲染。
- 视频处理：基于AI让视频处理更实时、智能和准确，包括各种编码方式。
- 视频传输：超低时延的传输，云边协同等等。
- 视频消费：智能终端的深度结合提供视频服务的最佳体验。
视频行业本质是对媒体数据的处理，背后是算力、存储、网络、AI的支撑，同时视频行业又推动着5G、云、AI的不断前行，相辅相成！
视频演进带动了算力、存储、带宽需求的大幅增长。简单来看，视频分辨率越来越高，从高清到超高清再到8K/VR。算力增长 24倍，存储增长12倍，带宽增长 20倍。这些需求通过云，也只有通过云才能很好的满足，实现高质量的视频体验。云原生视频是行业趋势，视频将成为云的基础服务能力。
前面说的是行业的整体趋势，下面说一下具体场景。互联网视频发展已经历两个阶段，第一阶段从08年到13年，以长视频VOD、点播观看为热点；第二阶段，从13年到19年，也就是去年，其实还在延续，以直播、短视频为热点；第三阶段，也就是下一代会以什么为热点？我们认为因为5G、云、AI的推动，视频将进入实时互动、VR/AR时代。
互动视频方式从IM向实时音视频过渡。直播连麦，主播PK，直播带货，视频分发方式的升级，百毫秒级超低时延实时互动视频成为趋势。
VR/AR，360度视角带来沉浸式体验革命，用户从看视频向玩视频过渡，体验提升的同时，视频传输能力也从兆级向十兆甚至百兆级单流带宽提升。
RTC实时音视频会成为5G时代基础设施的核心控制点，RTC应用很广泛，它的市场年增长率是30%左右，而且这项技术不仅能赋能直播、游戏等泛娱乐行业，更能在在线医疗、教育、金融等大视频行业渗透。现有的实时音视频市场正处于爆发期，玩家很多，但由于它是非云厂商，难以持续发展。原因之一是它的技术门槛比较高，特别是像音视频编码或者整个RTC网络的构建，另一点是目前各家均采用私有协议的方式接入，各家互通、客户的自由切换都比较困难。在RTC视频业务产品上，我们认为音视频编码处理将是各家构建技术壁垒和性能差异化竞争力的关键之一。
另外一个应用场景就是Cloud VR，我们一直认为VR是5G技术发展下的关键场景。VR发展是一波三折的，但在目前来看，之前碰到的一些问题正在逐渐改善。从终端的角度来看，之前的终端很贵，但是目前千元终端机已经逐渐来临，而且体验也会越来越好。除了设备终端，VR此前还面临内容缺失的重大问题，而VR直播很大程度上缓解了内容缺乏的问题。
虽然困境在逐步改善，但VR目前还面临着新的问题。互联网VR业务很难形成商业闭环，主要原因在于VR业务带来了收入增加，但与此同时带宽增加更多，VR追求的高质量体验需要通过更高带宽来实现，高带宽势必会带来高成本，而高成本就会导致商业无法闭环。在这样的前提下，很多玩家都会通过降低体验来开展VR，比如说内容采用4K以下，码率采用10兆以下，终端采用卡片机来体验VR，虽然这样可以将VR的业务打通，但体验效果是很差的，也导致付费用户非常少，产业发展比较缓慢。所以在VR的发展上，我们认为通过视频压缩编码以降低带宽是关键，是可以帮助实现商业闭环的一个环节。
从前面讲述视频行业趋势不难看出，用户体验升级、视频产业升级、商业成本等驱动着视频全方位升级，分辨率从高清到8K，帧频从30帧到120帧，视场角从不到90度到360度，SDR到HDR等，这些参数升级推动视频压缩编码技术不断演进，追求压缩比是永恒不变的！
另外，前车之鉴，HEVC/H.265，其实是很优秀的编码技术，但因为前期不友好的专利政策，市场占有率一直不高13%。还好目前有所好转！整个行业急需压缩比更高、生态更完善、专利政策更合理的视频编码技术。
提升压缩比有两条路线，这也是各厂商正在做的。
- 标准技术路线，作为基础内核，H.266、AV1、AVS3、AI编码
- 非标技术路线，依赖基础标准，结合人眼感知特征，感知编码、内容编码、ROI编码
2. 下一代视频编码技术
下面将从这两个角度来介绍华为云视频在下一代视频编码技术上的一些工作。这些技术得力于华为2012媒体技术院全力支持。
2.1 下一代视频编码标准技术
从上图看出，下一代的视频编码标准大概分为三个阵营或者三个类型：
- 国际标准：由MPEG、VVC联合推动的像VVC/H.266还有EVC；
- 国内标准：国内标准组织正在推出或已经推出的AVS3的phase1、AVS3的phase2，两者主要差别在于AVS3的第1阶段标准瞄准H.266，第二阶段的标准则是瞄准未来,可能会加入一些智能编码的技术；
- 谷歌牵头的AOM联盟推出的AV1，是一个开源技术。
下一代的视频编码技术仍是采用传统的演进思路——在经典架构上做模块增强。在H.266CFP时，华为联合其他几家公司提了P41提案，在PSNR和MOS评估方面都是排名第一，这个提案也是后面基础。华为在VVC里的核心专利数量已属于第一阵营，这是一个了不起的成就，也说明了国内的视频压缩编码基础研究实际上不弱于欧美传统的公司。
上图是以VVC为例，对其新增的增强工具进行盘点。纵轴是每个工具的压缩收益，横轴是每个工具编解码复杂度，编码复杂度的权重可能会更高一点。VVC在块划分、帧内预测、帧间预测、熵编码、变换量化等多个模块上进行了增强，其中主要的增强是帧内、帧间预测、块划分、滤波的增强以及机器学习工具演进带来的收益。VVC暂时没有引入深度学习这一类编码工具。
图中还有三个用红圈标出来的工具，这是VVC中公认trade off比较好的三个工具点。蓝色的是ALF，这是大家比较熟悉的自适应环路滤波，其实它在H.265的时代就已经有了， H.266将它引入标准中；绿色的是仿射运动预测，这个主要是由华为提出的；橙色的是量化技术。
EVC标准的提出某种程度是因为H.265/H.266的专利政策不友好，有可能导致H.266的落地都比较困难。MPEG希望能通过一个新的专利友好的标准来推动落地，同时也促使改变H.266、H.265的专利授权政策。EVC由华为、三星、高通等共同提出推动，华为在这里面加入了很多技术。在标准立项时期望它比H.265的压缩性能提升20%，实测在4K娱乐视频上相比H.265压缩效率提升达30%以上，目前已经进入了最终的标准投票阶段。
AVS3是国内提出的标准，它的phase1是瞄准H.266标准的，并且在2019年3月份就已经制定完成率先推出，在2019年9月份，华为海思也同步推出了AVS3 8K的解码芯片，AVS3相对H.265性能提升了20%以上，并且针对娱乐视频和监控视频做了很多针对性的设计，性能上还可进一步提升。
H.266实际已经基本定稿，它的压缩效率在4K视频场景下相较于H.265能提升40%左右，其解码复杂度相对提升60%，目前看最大的问题还是专利政策不够透明，而且专利费可能比较高，推广节奏可能相对比较慢。
EVC也基本定稿，而且其压缩效率也能提升30%左右，解码复杂度相对H.265增加60%。其专利收费可能相对比较低，第二是他的专利收费比较透明和明确，目前主要依靠三星、华为、高通来做产业的推动和生态的构建。
AVS3在2019年3月份推出，在性能上还是有保证的，压缩效率能够提升25%，复杂度增加相对较低，其专利收费也是比较低的，正通过互联网等行业做产业的推动和生态构建，目前实际上有很多联盟和和公司正在做推动，我们也希望AVS3尽快落地。
表格中没有列举AV1的数据，这主要是因为它和其他三个标准不太一样，AV1开源软件实际上是瞄准商用化去做的，大家也比较清楚其压缩效率和解码复杂度。AV1有个很大的优势就是没有专利费，这是AOM联盟的承诺。在产业落地方面AV1做的很好，生态构建走的较前。
2.2 AI编码
下一代视频编码标准还有一个趋势就是AI编码，这一块实际上从HEVC、VVC标准制定就有提出，但因为考虑计算复杂度以及AI硬件普适性，都暂时搁置了。但这是个技术趋势。
AI编码包括两个演进思路，第一个是全新架构，类似于图像编码，实际上AI的图像编码已经取得了不错的成效，谷歌牵头的AI图像编码技术都已经得到了很好地应用，但针对视频中的应用还在探索过程中。所谓的全新架构，就是不用传统架构，视频进入黑盒后会得出一个压缩过的视频，这个视频可能没有块划分，也没有各种其他的方式，它的压缩效率会非常高，但这一切还处于研究的过程中。
另外一个思路是基于经典架构，对每个架构里的模块做增强。例如针对块划分、变换、矢量量化、帧内预测做不同的AI网络适应和增强。实际上华为也在做这方面的研究，未来可能会提出一些AI编码方面的论文或提案。并且我们认为AI编码的这两种思路，最终将是融合设计的过程，不会呈相互独立的状态。
3. 华为云视频应用和实践
3.1 云视频简介
上面简单介绍了下一代视频编码标准技术，下面介绍一下从实际商用及非标角度，介绍一下华为云视频在视频编码技术上的应用和实践。
首先介绍一下华为云视频，华为云视频是从2017年开始构建的，目前包括两大类业务，一种是比较传统的直播、点播、媒体处理以及监控业务，另一种是整个行业正在新晋的服务，比如RTC、VR/AR以及超高清制播。华为云视频面向很多的场景，例如娱乐直播、短视频、在线教育、企业直播、4K直播、4K制作等等，我们致力于帮助行业客户、伙伴、开发者、ISV快速上线应用，并帮他们构建差异化的竞争力，实现商业闭环。这里需要重点提一下RTC，RTC是华为云视频对下一代视频的理解并作出了实际的推动，针对RTC，我们重点构建超低时延、音视频质量等差异化竞争力。
3.2 视频编码技术
3.2.1 视频编码框架
结合今天的主题，下面重点讲解华为云视频在视频编码技术上的一些工作。这些技术得力于华为2012媒体技术院全力支持。上图比较直观地表达了这点。图中黄框表示了编码器的内核，所有的华为云视频编码的编码能力、编码服务都是基于编码内核。编码内核采用了一个标准的编码器，类似于前面提到的H.264、H.265、AVS3、H.266或者EVC这一类，在这个编码内核的基础上，我们面向不同的场景做了不同的编码技术的优化和实践。比如 面向RTC实时音视频场景，采用低时延编码技术；面向VR场景，采用FOV tile编码；面向多视角场景，采用空间云边协同编码；面向监控场景，采用智能语义编码；面向直播、点播，采用感知编码和画质增强等；另外，华为云视频借助鲲鹏、昇腾两大专有硬件，加速视频编转码效率。鲲鹏主要面向CPU这类计算，昇腾主要面向AI方面的加速。
3.2.2 标准编码内核
接下来分别介绍一下视频编码的技术，第一是编码内核，华为云在商用编码器上面也有很多的技术积累。比如说近几年在MSU的大赛上，HW265编码器连续两年获得多项测评的第1名，今年我们也会向MSU推出新的编码器。
3.2.3 高清低码
第二个技术是高清低码，高清低码目前在各个厂商或者商业领域里是大家比较默认的技术，也就是说在基于标准编码内核的基础上，能降低码率的同时保证主观质量没有下降，但实际上高清低码理论可行性是现有视频编码是基于香农定理，它的率失真模型都是连续的，但是人眼视觉模型是阶梯性非连续的，在这个阶梯上存在一个降码率的空间。
高清低码一般情况下包括三个模块，第一是基于人眼JND模型，就是说如何找出JND，第二是基于JND去做感知编码，第三就是通过感知编码来控制标准编码内核输出，在主观质量不变的情况下大幅降低码率。华为云视频在这方面做了很多的工作，目前针对不同的应用场景，能达到30~50%的码率降低。
高清低码技术现在也走到了一个瓶颈期，原有高清低码的考虑仅来源于编码与传输信道，随着AI技术的发展，是否还有进一步的发展空间？华为提出了一种新的思路：在原有的率失真模型上，加入一个接收端（解码端）复杂度的因子，也就是在发送端主动退化，把它通过时域或者空域的下采样变成一个相对数据量比较小的视频，这样做使得编码的码率相对更低，达到有效降低码率的目标。通过一些辅助信息再加上低码率、低分辨率的编码码流，在接收端通过AI技术进行超分、插帧或者是增强，将视频还原，如此整个链路上传输的码率会大幅下降，我们初步试验发现至少能降低60%以上的码率。
3.2.4 超低时延编码
RTC场景是我们面向下一代视频产业重点打造的服务能力，RTC场景下主要是超低时延的编码，我们提出了一个综合的超低时延方案，比如编码和渲染联合优化、编码的内核以及分层编码和信源信道协同等技术手段，面向不同的实时场景会做不同的组合或者应用，我们初步试验发现在1080P这种场景下进行编码和解码，整体的时延能达到十毫秒级别。
3.2.5 VR FOV编码
面向VR场景，特别是面向360°场景，我们提出来FOV TWS的编码技术。这个技术原理是将高分辨率的全景视频分片，多个FOV的小分片加上一路4K的背景流，这样4K终端的播放器就能通过相应的视角FOV分片和4K全景背景流实现8K VR全景视频播放，同时还能保证MTP，不会出现眩晕感。该技术已经写入OMAF的标准。整体体验上也得到了用户的认可。
3.2.6 智能语义编码
当面向监控场景的时候，我们提出了一种智能语义的编码，主要通过背景建模加上视频内容和运动分析，再加上端侧的一些实时超分、插帧来构建智能语义编码的方案。监控场景的画面往往有很多细节，各种机器分析的识别率不能降低，如果压的太狠，识别率可能就会下降。初步的原型结果显示能做到在人和机器的识别率都不降低的前提下，达到70%以上的码率节省。
3.2.7 空间视频云边协同编码
另外一个技术是空间视频编码，所谓空间视频就是是自由视角或多视角，这也是以后技术发展的一个方向。人们不再满足于一个固定视角视频观看，希望多视点或者自由视角的观看视频。在空间视频的编解码当中，我们提出一种云边协同编码，通过这种编码可以在边缘非常短的时间内按需动态的生成任意时刻的切换流，大幅减少一般方案中切换流的码率，初步试验发现至少能降低60%左右的带宽成本。
3.2.8 AI视频增强
视频质量、视频码率是视频产业最关键的两个指标。前面讲的技术，不管是标准的技术、还是非标的技术，都是追求在同等画质的前提下，如何降低码率。
硬币的另一面则是，在同等码率下，如何追求视频主观体验质量。我们在这方面也做了很多尝试，根据不同的场景特征，基于云端、终端AI能力，从分辨率、帧频动态范围等维度对视频进行修复、增强和重建。并且考虑真实场景中往往是包含多种混合失真的等因素，我们提出一种面向混合失真的多任务视频增强框架，能够很好地适应不同场景和不同需求。
以上内容介绍的是华为云视频在视频编解码上的一些实践和探索，希望能带给大家一些干货或者启发。谢谢大家！
