优艾设计网

腾讯发布全球首个面向移动端的VVC标准视频解码器,手机即可看4K超高清VVC视频?

优艾设计网 https://www.uibq.com 2023-02-01 19:08 出处:网络 作者:PS百科
腾讯发布了世界上第一个面向移动终端的H.266/VVC标准视频解码器,即自我研究的O266移动终端版本,手机可以看到4K超高清VVC视频。O266已经成为全球领先的全平台VVC解码器,支持main10支持profile,包括高清、高动态幕

腾讯发布了世界上第一个面向移动终端的H.266/VVC标准视频解码器,即自我研究的O266移动终端版本,手机可以看到4K超高清VVC视频。O266已经成为全球领先的全平台VVC解码器,支持main10支持profile,包括高清、高动态幕内容编码等重要功能。

近年来,以视频为信息载体的互联网应用越来越广泛,大量视频数据的存储和传输对视频编码解码技术提出了更高的要求。以腾讯为代表的众多国内外公司参与的全新一代国际视频编码解码标准H.266/VVVC相比前一代标准H.265/HEVC,在同样的主观品质下,可以减少50%左右的数据大小,满足人们对视频品质的追求,同时可以减少存储和流量消耗。

H.266/VVC能够在main10中同时支持高分辨率、高动态范围、屏幕内容编码等功能,进一步提高各种视频场景下的编码解码能力,从而获得更灵活的编码结构和更优化的编码技术。

腾讯自主研究的H.266/VVVC编解码器O266enc和O266dec,腾讯多媒体实验室编解码团队于2019年领先,与腾讯云架构平台部、微信、腾讯视频等多个团队合作开发。经过不懈的努力与探索,最终在H.266/VVC标准定稿后的三个月内,即2020年10月,率先发布了基于X86平台的实时H.266/VVC解码器O266dec,以及基于该解码器的开源播放器O266player,目前能够在PC端上完成4K H.266/VVC视频的实时解码。

O266player视频播放示意图

2021年1月,O266dec新增main10 profile移动端解码器,进一步促进了H.266/VVC标准生态建设。它以全面的模块性能优化和出色的并行结构设计,能够达到266标准在移动端的单核1080p或多核4K码流的实时解码,未来将广泛应用于面向移动端的视频点播、视频直播、音视频通信、视频智能生产、短视频、VR/AR等各个领域,服务于腾讯内外部相关业务。

O266player能够实现清晰流畅的视频播放,得益于O266dec优秀的视频解码架构,通过多维度的并行处理,从而达到大幅利用多核多线程技术的目的,使其解码性能指标大幅提升。O266dec的并行解码架构主要包括以下四个方面:

第一, 帧层级并行:独立并行解码帧内预测帧,以及没有相互依赖性的帧间预测帧;同时不同帧之间的熵解码和像素处理也可以并行。

第二,CTU级别并行:利用Wavefront技术可以实现不同CTU级别的并行解码。

第三,模块水平并行:运动矢量推导、预测、反量化、反转和重建等像素操作,环路过滤操作可并行处理。

第四,亚CTU级别并行:所有帧间预测CU可并行解码,最大限度地利用SIMD指令。

为了支持移动终端H.266/VVVC解码,腾讯多媒体实验室在O266dec上增加了许多移动终端的优化,其解码器性能在移动终端上大幅提高。

例如,自适应环路滤波器作为H.266/VVC解码器中复杂性最高、难度最高的模块,是腾讯在移动平台上优化的重点,该模块在整个解码过程中的复杂性如图所示。

优化优艾设计网_设计模板前各模块的解码复杂性占图

从图中可以看出,ALF模块占解码复杂性整体的60%以上,复杂性远远超过其他模块,同时优化复杂性最高,流程简化和提高并行性比较困难,因此所有模块优化优先级最高。为了提高移动终端的ALF解码速度,团队整理和分类整个ALF过程,充分结合移动终端的SIMD优化ALF过滤模块,大幅度提高解码速度,解码速度是原始代码的2倍以上。

除了ALF模块,对于同样复杂性高的插件模块,团队也进行了细致的优化。插件模块也是H.266/VVC解码器中计算量较大的模块,其复盖的多种过滤器是整个模块的优化要点。团队充分分分析过滤器参数的特点,根据参数类型和输出结果进行分类和逻辑优化,结合移动终端SIMD,明显提高解码速度。

除了一些通用模块外,团队开始优化b帧等其他代码工具集模块,优化范围与内容相对全面。例如双向光流,是用于4x4子块级别优化CU的双向预测信号,经过团队的细致优化,该模块的解码速度也进一步提高。除了

以外,团队还对其他重要模块进行了深度优化,优化完成后,各模块的性能如下图所示。

移动终端优化完成后,各模块的复杂性为示意图

以iOS终端A14处理器为测试平台,O266dec移动终端的性能如下:

单线程序下,O266dec在使用RA(RadomAccess)配置时,对于2K标准序列,可以完全满足30fps实时解码的需求

在多线程下,O266dec在采用RA(RadomAccess)配置时,可以在6线程下达到30帧左右,实现266移动终端的实时解码。

同时,腾讯自我研究的解码器也集成到O266player的iOS终端应用程序中,在移动终端播放H.266解码画面清晰流畅,能够充分满足H.266/VVC实时解码的需求

面向移动终端的O266dec是66/VVC标准在移动终端的实际应用,是腾讯视频编码解码技术进展的另一个重要里程碑。未来腾讯多媒体实验室将继续优化和完善解码器,将最新技术输出业界,帮助多媒体生态技术的发展和数字产业的建设。

0

精彩评论

暂无评论...
验证码 换一张
取 消