快手自研H.266/VVC解码器KVVCDec，助力新一代视频压缩标准落地

背景介绍

上世纪90年代开始，移动网络和固定宽带的普及让越来越多的用户进入到了视频信息时代。然而，视频带来的数据量猛增，会导致不同网络环境中用户参差不齐的视频观看体验，所以，让不同网络环境中的用户享受到同样流畅的视频播放体验，成为了音视频行业共同面临的难题之一。

以常见的720p/30fps视频为例，其每秒钟包含了30帧分辨率为1280x720的图像，每一帧图像包含了92万余个像素点，每个像素点由3个颜色分量像素值组成，经过计算，我们可以发现一秒钟30帧视频需要79MB的存储空间，而同步传输这些数据的最低带宽却高达664Mbps，即使是在现有的光纤带宽网络条件下，也难以实现实时传输。

为了解决视频信号的传输和存储问题，自上世纪80年代起，一批专家开始了视频编码标准的制定工作，其目标是压缩视频的冗余信息、实现广播电视传输的需要并显著减少存储成本。前人通过利用视频数据中的相似性减少冗余，先后制定了JPEG、MPEG、H.26x、AVS等一系列压缩标准，大大降低了传输带宽的需求。例如，上文提到的720p/30fps视频在采用H.264/AVC视频编码标准压缩之后，同质量下仅需要4Mbps的传输带宽；而采用H.265/HEVC标准压缩之后，传输带宽更是被压缩低至2Mbps。

上图展示了从JPEG到H.266/VVC，不同代编码标准对同一视频的压缩效率。横轴为压缩视频的码率即视频文件的大小与视频播放时间的比值，纵轴为压缩视频的峰值信噪比，其数值越大表示客观质量越接近原始视频。从图中可以看到，在相近视频质量下，新一代标准可以比第三代标准节省近50%码率。

随着视频内容消费的升级，短视频、长视频、实时通信、互动游戏等视频应用的逐步火热，更多的用户、更高清晰度与更高帧率视频内容的需求，对视频编码标准及编解码器提出了更大的挑战。最新一代的视频编码标准，压缩效率进一步增加，有望成为提升用户体验、降低企业带宽成本的杀手锏。

多功能视频编码 (Versatile Video Coding, 简称VVC)[1][2]，是联合视频专家组(Joint Video Experts Team，简称JVET)于2018年4月起开发的新一代视频编码标准。2020年7月，国际电信联盟ITU-T的SG16 正式批准VVC标准定名为ITU H.266，而国际标准化组织ISO/IEC批准VVC成为ISO/IEC 23090-3，文中我们将统称为H.266/VVC。相比于H.265/HEVC，H.266/VVC能够将同质量下的压缩效率再提升一倍。

H.266/VVC的解码瓶颈

虽然H.266/VVC标准能够显著提升视频压缩性能，但它给播放端带来了沉重的负担，手机移动端更为甚之。有用户在最新款手机上通过第三方播放器体验过H.266/VVC视频播放，和H.265/HEVC视频相比，H.266/VVC标准下的清晰度和沉浸感确实有明显提升。然而，在播放超过一分钟后，视频就已略带卡顿，手机也好像着了火一样烫手，给用户带来了并不愉快的使用体验。

如今，每天有数亿用户在通过快手观看视频，他们分布在不同网络环境中，使用的手机型号各异，用最新款手机播放H.266/VVC视频的使用体验便已如此，常规用户的手机恐怕坚持不了30秒就要缴械投降。如果让H.266/VVC在实际场景中给用户带来良好的体验并获得广泛的应用，必须设计并实现高性能的移动端H.266/VVC解码器，在低CPU使用率下实现视频的实时解码计算。

我们在移动端解码能力上的努力

针对视频信息时代的视频编解码需求，我们过去自研了K系列编解码器，提供对H.264/AVC、H.265/HEVC、H.266/VVC、快手自研视频编码标准KVC以及自研图像编解码标准KPG等多种视频编码标准的支持。

快手自研编解码标准KVC及其编解码器的研发始于2018年底，在经历了艰苦卓绝的算法研发以及大量的A/B实验后，KVC自2020年初全量上线后，经过数次迭代，对比K265线上压缩比最高档位，线上的文件大小下降了20%以上。

新一代标准H.266/VVC于2020年7月制定完成，我们在充分认识到新一代编码标准的巨大潜力及解码应用瓶颈后，决定快速迭代，在短时间内推出了KVVCDec[3]，即快手自研的面向移动端的H.266/VVC解码器。考虑到移动端跨平台App的主要用户是安卓用户，占比达80%以上，与此同时，安卓系统机型众多，碎片化极其严重，系统整体优化远不如iOS，因此解决安卓平台的实时解码难题是助力H.266/VVC标准落地的重要工作。

KVVCDec体现出了较强的解码能力及迭代潜力，虽然还有很多工作会持续进行，但我们还是很希望和大家分享快手对助力新标准落地的阶段性贡献。在不久前的第22次JVET会议上，我们公开了一组数据：在安卓端，KVVCDec单线程解码1080p通测码流的速度达到了33fps，是VVC参考软件VTM-11.0解码速度的4.11倍。在iOS端，KVVCDec单线程解码1080p超高清通测码流的速度达到了94fps，是VTM-11.0解码速度的4.78倍。

主要优化技术

在移动端，尤其是安卓端，软件的功耗和发热问题尤其影响用户体验，因此为了获得广泛的应用，必须对解码器进行深入优化以减少对CPU的占用。KVVCDec针对ARM平台，采用了高吞吐量的SIMD指令优化、缓存友好的解码架构以及细粒度的并行框架，大幅提升了解码效率。

高吞吐量的指令集优化：针对ARM平台，KVVCDec充分利用ARM和NEON指令级重构了解码器的所有关键模块，包括熵解码、帧内预测、帧间预测、反量化、反变换、去块滤波、样本自适应补偿等。为了充分发挥硬件的潜能，这些模块都充分利用指令集流水优化，从而显著提升了模块的加速比。
缓存友好的解码架构：对KVVCDec进行了模块化设计，不同模块之间均采用块级的临时缓存，而不是在图像级进行操作，大大提高了缓存命中率。与此同时，内存占用也显著降低，相比参考软件内存节省80%以上。
细粒度并行解码框架：为了充分利用多核计算资源实现超高清视频的实时解码，KVVCDec中采用了细粒度的并行解码框架，块级别解码过程支持多级并行流水，包括熵解码、重构、滤波等，大大减少了块间的等待依赖，提高了多核计算资源的利用率。

在高清、标清内容等低计算复杂度场景下，基于硬件友好的缓存复用设计与高效的NEON指令优化，KVVCDec利用单核计算资源即可实现实时解码，相比参考软件速度实现了数倍提升。在超高清视频内容的高计算复杂度场景下，通过利用细粒度的并行调度，多核资源利用率显著提升，4线程下的解码速度达到了单线程的3.45倍。

详细数据

我们对两类视频码流的解码速度进行了测试：

1. 第一类，是使用固定QP配置用参考软件VTM-11.0编码通用测试序列生成的8bit视频流，除ALF工具、编码比特深度外编码配置与通用测试条件一致，其分辨率包括了4K、1080p、480p、240p；

2. 第二类，是使用CRF配置编码的高热度的快手UGC视频生成的视频流，由快手自研编码器生成，其分辨率均为720p。测试中，选用了四款用户量位居前列的四款手机，包括三款Android设备，即Huawei P40、OPPO R17、vivo Y93s，以及一款iOS设备，即iPhone 12 Pro Max。

针对通用测试序列，测试结果显示：KVVCDec的解码速度达到了参考软件的3倍以上，其中iOS下的解码速度达到了4.66倍。针对1080p分辨率视频，也就是Class B测试序列，4款手机的单线程解码速度分别达到了32.79、13.67、6.16和93.91 fps，其中Huawei P40和iPhone 12 Pro Max均可实现实时解码。

针对User Generated Content（UGC）视频序列，KVVCDec的解码速度达到了参考软件的4倍以上，在4款机型上的平均解码速度分别为97.49、40.95、19.06、249.76，除vivo Y93s外均实现了单线程实时解码。

总结

过去快手已深度参与多个国际视频标准的制定，在视频技术的最前沿有着深厚的积累和贡献。在新一代视频压缩国际标准H.266/VVC的制定中，我们提交了过百件技术提案，并有数十件技术提案获采纳进入H.266/VVC标准。同时，在AVS3标准的制定中，我们从2020年3月开始参与，也已有12件技术提案获采纳进入AVS标准。

当前，我们将KVVCDec作为重点预研项目，希望基于快手丰富的业务场景和超大业务规模，探索新一代视频压缩标准在实际应用中可能面临的挑战，进而给学界和业界同仁们更多方向性指引，为新一代标准的落地贡献一份力量，促进行业共同发展。

参考文献

含有指向站外的超链接，有请私信我

【快手技术】快手自研H.266/VVC解码器KVVCDec，助力新一代视频压缩标准落地