版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。

...

  • 帧内预测:根据当前帧已编码的数据进行预测,利用图像内相邻像素之间的相关性去除视频中的空间冗余。(比如可以在某个较小的图像区域内,用最左边一列的像素和最上面一列的像素来预测该区域的全部像素,方法可以是用这两部分已知的像素求平均值作为剩余像素的值,或是指定某种规则,以最左边或最上面一列的像素通过渐变的方式填充剩余像素。)
  • 帧间预测:将部分已编码的图像作为参考帧,利用前后帧之间的时间相关性去除视频中的时间冗余,比如视频编码中常见的I/P/B帧。

在H.261和MPEG-2等早期标准中便已经引入了基于运动补偿预测的帧间编码算法,在H.264及以后的标准中加入了帧内预测,通过将视频帧划分成宏块和子宏块进行分割,并对子宏块用帧内预测方法压缩空间冗余。

无论是帧内预测还是帧间预测都需要将图像划分成不同的宏块,以在一个更小尺寸的子像素块内进行。如果是帧内预测,那么一个子像素块会先从已编码的相邻子像素块中获取参考值,再从预设的预测模式中选择最佳模式进行编码,并将预测模式写入输出码流。在解码时通过解出的预测模式和已解码的相邻像素重建像素块。

在帧间预测中,宏块分割生成的子像素块在参考帧中搜索最匹配的参考像素块,其中,匹配度最高的像素块相对于当前块在空间域的偏移称为运行矢量。将参考帧的索引号和运动矢量输出到码流中,解码时根据参考帧索引获取指定参考帧,再根据运动矢量就可以预测出像素块。

运动矢量不会直接被编码,而是会分成运动矢量预测(Motion Vector Prediction, MVP)和运动矢量残差(Motion Vector Difference, MVD)两部分。其中MVP是通过已编码完成的信息预测的,MVD是通过熵编码写入输出码流的。已完成编码的相邻像素块,其运动信息大概率具有相关性,甚至运动轨迹完全一致,因此通过预测的方式编码运动矢量在多数情况下可以有效减少码流的数据量。

在未发生场景切换时,视频前后帧之间的相关性通常比视频帧内部相邻像素之间的相关性要大得多,因此帧间编码可以取得比帧内编码更高的压缩比。但帧间编码依赖参考帧,如果参考帧丢失,则会无法对当前帧进行解码,并且会导致后续所有依赖该参考帧的码流帧解码失败。

变换编码

与JPEG图像压缩标准一致,使用离散余弦变换和量化实现视频压缩。

熵编码

这是无损压缩办法,用于在以上所有有损压缩手段执行结束后,对产生的码流数据进行进一步压缩。在JPEG图像压缩中,图像经过离散余弦变换和量化后,使用游程编码和哈夫曼编码进行熵编码。在视频压缩中,常用 的熵编码算法如下:

  • 指数哥伦步编码(UVLC)算法:常用于帧与Slice头信息的解析过程。
  • 上下文自适应的变长编码(CAVLC)算法:主要用于H.264的Baseline Profile等格式的宏块类型、变换系数等信息的编码。
  • 上下文自适应的二进制算术编码(CABAC)算法:主要用于H.264的Main/High Profile和H.265等格式的宏块类型、变换系数等信息的编码。

关于视频压缩的发展历史

参考链接:即时通讯音视频开发(十九):零基础,史上最通俗视频编码技术入门-实时音视频/专项技术区 - 即时通讯开发者社区!

...