新一代视频压缩技术H.265解析

笔者下载高清电影的时候，如果看到编码格式采用H.264，相对来说就会觉得比较放心，因为采用这种编码格式的画面质量不错。然而这类电影文件体积非常大，以我国目前的网络状况，下载一部收藏级的高清电影实在需要无比的耐心。也许有人认为去视频网站看高清不就行了，但在挑剔的影迷眼里，在线视频远远达不到高清的标准。不过这种情况也许会有所改变了，因为旨在有限带宽下传输更高质量视频的H.265标准，现已加入视频编码之中。

H.265又称为HEVC（High Efficieny Video Coding），是国际标准化组织和国际电联组织联合制定的新一代视频压缩标准，主要面向高清数字电视以及视频编解码系统的应用。去年8月，爱立信公司推出了首款H.265编码解码器，6个月后国际电联（ITU）就正式批准通过了该标准。H.265的目标是编码效率比H.264提高50%，即在同等图像质量条件下，目标码率下降到H.264的50%，带宽也只需原来的一半。这就意味着我们的移动设备将能够直接在线播放全高清（1080p）视频。而H.265标准也同时支持从SQICF（128×96）到8K超高清（8192×4320）不同的视频应用。

在了解H.265的优点之前，我们不妨先回顾一下H.264。

关于H.264

H.264是由ITU-T视频编码专家组（VCEG）和ISO／IEC动态图像专家组（MPEG）联合组成的联合视频组（JVT，Joint Video Team）提出的高度压缩数字视频编解码器标准。H.264是蓝光的编解码标准之一，所有的蓝光播放器都必须能解码H.264。它也被广泛使用于各种高精度视频的录制、压缩和发布。更重要的是，苹果公司当初抛弃了Adobe的VP6编码，选择了H.264，让这个标准随着无数的iPad和iPhone走入了千家万户，终成为了高清时代视频编码领域的绝对霸主。

H.264在逻辑上可以分为两层：视频编码层（VCL：Video Coding Layer）负责高效的视频内容表示，网络抽象层（NAL：Network Abstraction Layer）负责以网络所要求的恰当的方式对数据进行打包和传送。

VCL层数据即编码处理的输出，它表示被压缩编码后的视频数据序列。H.264采用DCT变换编码加D PCM差分编码的混合编码结构，还增加了如多模式运动估计、帧内预测、多帧预测、基于内容的变长编码、4×4二维整数变换等新的编码方式，提高了编码效率。NAL则负责使用下层网络的分段格式来封装或映射数据，包括组帧、逻辑信道的信令、定时信息的利用或序列结束信号等。NAL支持视频在电路交换信道上的传输格式，支持视频在Internet上利用RTP/UDP/IP传输的格式。H.264包含了用于差错消除的工具，便于压缩视频在容易误码、丢包的环境中传输，提高了容错性能。

总结起来，H.264较过去的压缩标准，具有以下特点：

更高的编码效率：在同等图像质量的条件下，H.264的压缩比是MPEG-2的2倍以上，是MPEG- 4的1.5～2倍。一部120分钟的全高清电影可以压缩到20G B左右，同时画面质量优于MPEG-2格式。相对而言更利于传播和存储。

更好的网络适应能力：H.264可以工作在实时通信应用（如视频会议）低延时模式下，也可以工作在没有延时的视频存储或视频流服务器中，并且很好地解决了网络传输丢包的问题。

当然，H.264的性能改进是以增加编解码计算的复杂性为代价而获得的，因此一些“老爷机”播放MPEG-2高清视频可能无压力，但播放H.264的视频就会相当吃力。不过现在即便是平板电脑都已经支持H.264硬解码了。

H.264的局限性

每个高清爱好者都和H.264有过一段美好的过去，但是H.264终究不能永远陪你看风景。因为现在的数字视频正在朝着以下“变态”方向发展：

1、更高的清晰度：720p已经过时，1080p也显出老态，4K、8K的视频正在向我们走来；

2、更高的帧率：连影院都不满足24fps的帧率，彼得·杰克逊拍摄《霍比特人》就采用了48fps帧率。而数字视频更是朝着60fps、120fps甚至240fps的应用场景升级；

3、更高的压缩率：清晰的画面和有限的带宽及存储空间之间永远是矛盾的。因此，在有限的带宽和存储空间下获得佳视频效果，是高清领域所有相关人员的不懈追求。

面对这3个“变态”条件，如果我们一直执H.264之手不放，就会出现一些问题：

数的爆发式增长，会导致用于编码宏块的预测模式、运动矢量、参考帧索引和量化级等宏块级参数信息所占用的码字过多，导致用于编码残差部分的码字减少。

2、由于分辨率提高，单个宏块所表示的图像内容的信息大大减少，导致相邻的4×4或8×8块进行整数变换后，低频系数的相似程度大大提高，继而出现大量的冗余。

3、由于分辨率提高，表示同一个运动的运动矢量的幅值将大幅增加，H.264中用来对运动矢量进行预测以及编码的方法压缩率将逐渐降低。

4、H.264的一些关键算法例如采用CAVLC和CABAC两种基于上下文的熵编码、去块滤波等都要求串行编码，并行度比较低。而现在的GPU、DSP、FPGA、ASIC等并行化程度都非常高。H.264的这种串行化特征越来越成为制约运算性能的瓶颈。

H.265，就是为了解决这些问题而来的。

H.265解析

H.265/HEVC的编码架构大致上和H.264/AVC的架构相似，也包含帧内预测、帧间预测、转换、量化、去区块滤波器、熵编码等模块。为了提高高清视频的压缩编码效率，H.265提出了超大尺寸四叉树编码架构，并采用编码单元（Coding Unit，CU）、预测单元（Predic tUnit，PU）和转换单元（Transform Unit，TU）三个基本单元执行整个编码过程。在此混合编码框架下，H.265进行了大量的技术创新，例如：基于大尺寸四叉树块的分割结构和残差编码结构、多角度帧内预测技术、运动估计融合技术、高精度运动补偿技术、自适应环路滤波技术以及基于语义的熵编码技术。

CU类似于H.264/AVC中的宏块。H.264中每个宏块大小都是固定的16×16像素，而H.265的CU可以选择从小8×8到大64×64像素。以图4为例，图中细节不多的区域（如车体的红色部分和地面的灰色部分）划分的CU大而少，编码后的数据较少；而细节多的地方划分的CU较小而多，编码后的数据较多，这样就对图像进行了有重点的编码，提高了编码效率。

PU是进行预测的基本单元。H.265使用PU来实现对每一个CU单元的预测过程。PU尺寸受限于其所属的CU，可以是例如64×64像素的方块，也可以是例如64×32像素的矩形。还有一种新的不对称运动分割预测（Asymmetric Motion Partition，AMP）方案，即将编码单元分为两个尺寸大小不一致的预测块。这种预测方式考虑了大尺寸可能的纹理分布，可以有效提高大尺寸块的预测效率。

H.264编码器的VCL和NAL分层结构。其中的R F C3984协议是一个专用于传输H.264码流的实时传输协议。

H.264的编码解码流程框图

T U是进行变换和量化的基本单元。H.265突破了原有的变换尺寸限制，可支持4×4至32×32的编码变换，以TU为基本单元进行变换和量化。为提高大尺寸编码单元的编码效率，DCT变换同样采用四叉树型的变换结构。

CP、PU、TU这三个单元的分离，使得变换、预测和编码各个处理环节更加灵活，也有利于各环节的划分更加符合视频图像的纹理特征，有利于各个单元更优化的完成各自的功能。

H.265的帧间、帧内预测的基本框架与H.264基本相同：采用相邻块重构像素对当前块进行帧内预测，从相邻块的运动矢量中选择预测运动矢量，支持多参考帧预测等。但H.265的帧内预测模式支持33种方向（H.264只支持8种），并提供了更好的运动补偿处理和矢量预测方法。同时，为了适应当前并行化程度非常高的芯片架构，H.265引入了很多并行运算的优化思路，以提高编码解码效率。

反复的质量比较测试已经表明，在相同的图像质量下，通过H.265编码的视频将比H.264编码的视频体积减少40%左右。同时，在码率减少一半多的情况下，H.265编码视频的质量还能与H.264编码视频近似甚至更好。这一结论虽然带有主观性，但也非常鼓舞人心。

目前的H. 265标准共有三种模式：Main、Main 10和Main Still Picture。Main模式支持8bit色深（即红绿蓝三色各有256个色度，共1670万色），Main 10模式支持10bit色深，将会用于超高清电视（UHDTV）上。

H.265对高清发展的影响

低码率带来高画质，这是H.265大的优势。我们现在能够估计到它对未来数字视频的发展有以下影响：

让高清视频监控成为现实：高清视频在安防监控中正在普及，但也带来了存储成本与空间的急剧上升。与现在正在使用的H.264编码技术相比，H.265的高压缩率能够节省一半左右的存储空间，从而显著降低了视频的存储成本。

让4K超高清电视走得更快：目前4K超高清电视产品已经不少，一些产品的价格已经低至四五千元。对于很多家庭而言购买起来并无太大压力，但4K片源难找，4K电视看普通节目完全是高射炮打蚊子。随着H.265相关软硬件的成熟，当一张蓝光光盘就能容纳一部4K影片的时候，才是这些4K超高清电视真正发挥作用的时候。

H.265的编码方式更有侧重点，从而降低了整体码率，提高了编码4效率。

64×64 CU支持的AMP分割形态

不同分辨率视频图像大小对比

18.9GB的全高清《变形金刚3》

迅雷看看H.265体验区，《变形金刚3》的视频信息。

PPS也已经开始支持H.265

让高清电视节目更加普及：目前有线电视系统中，采用的还是较早的MPEG-2标准，连H.264都没达到。原因就是受传输网络带宽的总体局限，另外H.264编码也需要缴纳授权费。而H.265在确保画质的同时更加有利于传输，同样的内容，H.265可以减少70%～80%左右的带宽消耗。这一点也许终可以说服那些顽固的广播电视公司放弃MPEG-2，采用H.265在现有带宽条件下轻松传播全高清1080p电视节目。而出于节省带宽的目的，卫星电视公司也许会更加积极。

让随时随地观看高清视频成为可能：随着移动设备的发展，人们需要随时随地都能更便捷地获取所需内容与服务。LTE等4G技术显著提高了视频业务的商用可行性。移动终端显示屏的ppi及分辨率都越来越高，加之H.265的高压缩率特性，将进一步促使高清甚至超高清视频在4G网络下流畅传输的普及。

此外，现在视频网站所谓的“高清”是远远达不到高清标准的。以笔者手里的《变形金刚3：月黑之时》为例，这是采用x.264格式将蓝光原盘重新打包后的全高清版本，片长2小时34分钟，平均码率为17.5Mb/s，文件个头达到18.9GB。这种电影要想在线直接观看，网络带宽就必须大于其平均码率。以现在的网络条件，这几乎是不可能的任务。

笔者在迅雷看看网站上找了到《变形金刚3》高清版，通过网页直接播放。由于不能直接获得影片的媒体信息，笔者于是估算了一下。网站要求欣赏高清视频的带宽必须达到4Mb以上。4Mb带宽意味着网速高不超过500KB/s。在线视频播放过程就是边下载边播放，要想画面流畅，视频文件体积必须小于当前带宽的下载极限。《变形金刚3》片长154分钟，在4Mb带宽下，满打满算可以下载4.7GB的文件。相应的，其平均码率自然也低于4Mb/s。18.9GB的全高清版都相差甚远。因此，这并不是真正的高清视频。

目前，迅雷看看客户端推出了H.265的体验版，里面同样有《变形金刚3》。通过查看媒体信息可知，视频文件为2.55GB，平均码率2362kb/s。主观感受其画面质量超过了网页播放的高清版的水平，但与18.9GB的高清版仍有较大差距，毕竟码率差了7倍多。但是这至少给出一个信号：如果采用4Mb/s左右的码率进行H.265编码，画面质量差距将会大大缩小。

H.265背后的问题

H.265的前途看起来一片光明，但眼下还有一些问题必须解决。现在包括平板电视和高清播放机在内的设备都可以解码H.264编码文件，而H.265属于新技术，使用H.265编码的视频文件名为hm10，其图像质量和计算复杂性与H.264相比提升了好几倍，需要专门的软硬件来予以相应的支持。目前很多播放器还不能播放H.265视频。同时，H.265编码还涉及到授权费问题，如果商用化就必须缴纳相应的授权费用，那么这笔费用由厂商还是消费者来承担？

除了价钱之外，消费者关心的另一个问题就是什么时候能买到相关产品。在硬件方面，笔者相信AMD、英伟达等显卡厂商多半会先站出来支持H.265。但是在移动设备领域，一些CPU强大到可以对H.265进行软解码的手机、MP4等产品，也许会被迅速包装成“支持H.265视频解码”来忽悠消费者。

但这种支持意味着电量的高速消耗（因为运算量太大），而且也并非真正的支持，所以请大家不要看到“H.265”就急着扑上去。

今后，H.265标准将会成为超高清电视（UHDTV）的4K和8K分辨率的选择。但这些视频内容应该怎样传送？采用哪些标准？索尼等媒体巨头正在绞尽脑汁。蓝光光盘协会（The Blu-ray Disc Association）也正在研究让现有蓝光标准支持4K分辨率视频的方法。理论上H.265可以让蓝光光盘容纳4K电影，但却需要制造全新的播放器才能播放，对于厂商和消费者而言这都不是件好事。

尽管有这样那样的阻碍，但我们仍应该对H.265持谨慎乐观的态度。有一点是肯定的，H. 265在同等的内容质量上会显著减少带宽消耗。我们谈了很多年的高清广播电视以及4K视频的网络播放的普及，在H.265的辅助下也许将不再有那么多困难。

X.264是一个开源项目，基于H.264编码技术的、面向业余市场的免费编码格式，是H.264的子集，只能实现H.264的部分功能。X.264多用于网络上流传的重压缩的视频内容。