抖音世界杯的画质优化实践
背景介绍
卡塔尔世界杯已经结束，29 天赛程，64 场比赛，最终梅西带领阿根廷时隔三十六年再次捧杯。世界杯期间，抖音提供的稳定高质直播画面为观众带来了完美的观赛体验，决赛的 PCU 高达 3700W+。
世界杯赛事涉及链路众多，如何保障各链路的画质稳定并进一步提升画质，是一个巨大的挑战。本文主要介绍火山引擎多媒体实验室在世界杯期间画质的相关工作。
画质优化链路
世界杯涉及链路较长，可简化为下图流程，FIFA 现场信号首先传到央视端进行合规安全处理，然后经过演播室的制作传输给 CDN 再进一步分发到用户侧。从画质角度来看整个链路可分为画质检测与画质优化两个部分，对于 CDN 之前的链路以画质监测为主，以发现问题/定位问题/推动对应链路人员解决问题为目的。画质优化在 CDN 和客户端两侧进行，下面的内容主要介绍画质优化部分。
本次世界杯直播使用支持 HDR（高动态范围）设备录制，团队对支持 HDR 的设备增加了 HDR 档位，同时提供了多种不同分辨率/帧率的档位。为了使得观众获得更好的画质体验，团队通过自研的自适应 ToneMApping，视频降噪，ROI，端上超分等算法有效地提升了赛事画质。
卡塔尔世界杯采用 HDR 拍摄方式，HDR 拍摄的片源拥有更广的色域，更大的动态范围。但对很多终端显示设备而言，并不支持 HDR 信号播放，所以通过 ToneMapping 算法将 HDR 信号转换为 SDR（标准动态范围）信号是十分必要的。
相比 SDR 信号，HDR 信号拥有更广的色域和更大的动态范围，在转换到 SDR 信号的过程中不可避免会产生一些信息损失。常用的一些 ToneMapping 方法，不论是 Reinhard，Filmic 或者 Hable，其本质都是设计固定的映射曲线实现从 HDR 到 SDR 的转换，同时尽量保持对 HDR 效果的还原。但对于世界杯等大型赛事，现场动态范围跨度极大，场馆的灯光/草地/球员亮度差异明显，观众感兴趣的球员信息实际集中在暗部区域，这就导致 ToneMapping 之后的 SDR 信号过暗的问题，为了解决这一问题，团队提出了内容自适应 ToneMapping 算法，通过统计视频内容的实际光照情况动态地进行 ToneMapping，从而得到更优效果。
左: Hable 算法，右: 内容自适应 ToneMapping
为了兼顾视频码率和主观画质，团队使用了基于 LSTM（长短期记忆网络）的时域 ROI 技术，通过人眼显著性区域检测和编码相结合的方式，让码率在画面上的分配更加合理。目前市面上没有专门针对足球场景的 saliency(显著性物体检测)数据集，通用的 saliency 数据集在世界杯这类特定场景中表现并不理想。针对这一问题，团队专门制作了足球场景的 saliency 数据集，通过眼动仪追踪球迷观看球赛时的关注区域得到足球比赛的专用 saliency 数据集，从而极大增加了模型的准确性。针对足球场景中显著性物体较多，显著性区域分散的特点，团队对检测模型进行了专门的优化，在保证检测速度的前提下，提高了模型的召回率和不同场景的鲁棒性，从而实现更优的主观质量。
注：红色框内表示 ROI 区域，左边为通用方案结果，右边为优化结果
同时团队使用了视频降噪算法，根据视频信息对其进行空域、时域噪声的去除，将带有噪声的视频处理成干净、没有噪声的视频。由于去除了视频的噪声，在提升视频质量的基础上同时降低了传输的码率。由于用户侧网速的限制，端上存在多个档位，当看播端网速较慢时，可能会切换到 480P/720P 等低分辨档位，此时会触发端上超分算法提升画面清晰度。超分辨率技术指的是，基于机器学习/深度学习方法，根据视频信息对其进行空域、时域建模重构出缺失的细节，将低分辨率的视频重建出高分辨率视频的技术。这样即使是在低分辨档位也能体验到更清晰的画质。
左：视频降噪前，右：视频降噪后
左：视频超分前，右：视频超分后
除此之外团队还提供大分辨率、高帧率、广色域，并使用色彩增强、自适应锐化等多种画质增强技术，呈现更加沉浸感的超高清画面。
