关于视频

图像连续播放形成视频，单个的图像称为一帧（Frame），帧的播放速度称为帧率（Frame Rate），一般用FPS描述帧率，指每秒播放多少帧图像（Frame per Second）。

一般来说，人眼能感觉到视频卡顿的帧率为15帧，低于15帧时，人眼能察觉出画面的不连贯，高于15帧时，人眼的主观感受差别不大。由于视觉滞留效应（指人眼看到的图像消失后，图像仍会在大脑中停留一段时间，约为1/24秒），当视频帧率高于24帧每秒时，人眼就已经无法感知了。为了实现立体视觉，两只眼睛的看到的画面要不一样，这样双眼的立体视觉帧率就至少需要达到48FPS。游戏显卡输出的FPS可以高达几百帧，但这与显卡、显示器帧率不同步导致的撕裂效应有关，参考：画面撕裂、卡顿、垂直同步。

关于视频通信延时，当延时小于200ms时质量为优秀，此时类似于面对面聊天，基本无法察觉。延时200ms~500ms，类似于打电话，可以察觉，但基本不影响通信。延时500ms~800ms则可以明显察觉。当延时大于800ms时，就已经不适合实时通信了。

关于视频压缩

解决音视频数字化后数据量大与存储媒体和通信网带宽小的矛盾，以分辨率640x480，帧率15，采样格式YUV420，量化深度8bit的视频为例，其码率为：

640*x480*3/2*15*8bit = 55.296Mbps

参考设置视频编码属性 - 视频通话 - 文档中心 - 声网Agora，该视频属性下推荐的码率约为500Kbps，压缩率需要达到1:100才适合在网络传输。

通常H264的压缩率可以达到1:100，而H265的压缩率可以达到1:200或以上，参考：H.264与H.265视频压缩编码参考码率 - 光何 - 博客园。

视频压缩原理

视频数据中的冗余信息

• 时间冗余：视频中的相邻两帧之间内容相似，存在运动关系。
• 空间冗余：视频中的某一帧内部的相邻像素存在相似性。
• 编码冗余：视频中不同的数据出现的概率不同。（参考熵编码，比如游程编程、哈夫曼编码）
• 视觉冗余：观众的视觉系统对视频中的不同部分敏感程度不同。（参考JPEG压缩）

视频压缩办法

预测编码

主要包括两种方法：

• 帧内预测：根据当前帧已编码的数据进行预测，利用图像内相邻像素之间的相关性去除视频中的空间冗余，比如可以根据像素点左边和上边的像素来预测当前像素点的值。
• 帧间预测：将部分已编码的图像作为参考帧，利用前后帧之间的时间相关性去除视频中的时间冗余，比如视频编码中常见的I/P/B帧。

在H.261和MPEG-2等早期标准中便已经引入了基于运动补偿预测的帧间编码算法，在H.264及以后的标准中加入了帧内预测，通过将视频帧划分成宏块和子宏块进行分割，并对子宏块用帧内预测方法压缩空间冗余。

无论是帧内预测还是帧间预测都需要将图像划分成不同的宏块，以在一个更小尺寸的子像素块内进行。如果是帧内预测，那么一个子像素块会先从已编码的相邻子像素块中获取参考值，再从预设的预测模式中选择最佳模式进行编码，并将预测模式写入输出码流。在解码时通过解出的预测模式和已解码的相邻像素重建像素块。

在帧间预测中，宏块分割生成的子像素块在参考帧中搜索最匹配的参考像素块，其中，匹配度最高的像素块相对于当前块在空间域的偏移称为运行矢量。将参考帧的索引号和运动矢量输出到码流中，解码时根据参考帧索引获取指定参考帧，再根据运动矢量就可以预测出像素块。

运动矢量不会直接被编码，而是会分成运动矢量预测（Motion Vector Prediction, MVP）和运动矢量残差（Motion Vector Difference, MVD）两部分。其中MVP是通过已编码完成的信息预测的，MVD是通过熵编码写入输出码流的。已完成编码的相邻像素块，其运动信息大概率具有相关性，甚至运动轨迹完全一致，因此通过预测的方式编码运动矢量在多数情况下可以有效减少码流的数据量。

在未发生场景切换时，视频前后帧之间的相关性通常比视频帧内部相邻像素之间的相关性要大得多，因此帧间编码可以取得比帧内编码更高的压缩比。但帧间编码依赖参考帧，如果参考帧丢失，则会无法对当前帧进行解码，并且会导致后续所有依赖该参考帧的码流帧解码失败。

变换编码

与JPEG图像压缩标准一致，使用离散余弦变换和有损量化实现视频压缩。

熵编码

熵编码对应无损压缩，应用在视频压缩的最后一步，用于对数据进行进一步压缩。在JPEG图像压缩中，图像经过离散余弦变换和量化后，使用游程编码和哈夫曼编码进行熵编码。在视频压缩中，常用的熵编码算法如下：

• 指数哥伦步编码（UVLC）算法：常用于帧与Slice头信息的解析过程。
• 上下文自适应的变长编码（CAVLC）算法：主要用于H.264的Baseline Profile等格式的宏块类型、变换系数等信息的编码。
• 上下文自适应的二进制算术编码（CABAC）算法：主要用于H.264的Main/High Profile和H.265等格式的宏块类型、变换系数等信息的编码。

视频编码标准

主流视频编码标准发展历程

H.261标准

ITU-T发布的视频编码标准，是第一个实用的视频编码标准，奠定了视频压缩“块+混合编码”的主要框架，支持图像分块、帧间预测（运动补偿预测，运动矢量+残差值）、DCT编码量化、zigzag扫描等技术。H.261不支持帧内预测。以下是H261的编码过程，注意这里的图像输入其是宏块，而不是一整幅图像：

输入图像（宏块）首先和上一帧进行相关性判断，如果相关性大则采用帧间编码，否则使用帧内编码。帧内编码直接走DCT变换和量化，这点和JPEG压缩一样。帧间编码则首先是找到与上一帧匹配的宏块，求出运动矢量，然后将当前块与上一帧的匹配宏块相减，求出残差值，再对残差值进行DCT变换和量化，将量化结果和运动矢量输出到复合编码器，形成最终的码流。

H261只针对CIF和QCIF格式两种图像进行处理，因为H261用于视频通信，但不同国家采用不同的电视制式，不能直接互通，所以H261采用了一种公共中间格式（Common Intermmediate Formt, CIF），不论何种彩色格式，发送方先把自己国家的彩电制式转成CIF，经H261编码后再由CIF格式转换到接收方彩电制式。

MPEG-1 标准

ISO/IEC组织发布的视频编码标准，和H.261同时代的产物，和H.261一样支持宏块划分、运行补偿、DCT变换和量化等技术，不同的是，MPEG-1定义了三种图像类型：I、P、B图像。I 图像即帧内（ Intra）图像，采用帧内编码，不参考其它图像，但可作为其它类型图像的参考帧。 P 图像即预测（ Predicted）图像，采用帧间编码，参考前一幅 I 或 P 图像，用作运动补偿。 B 图像即双向预测（ Bi- predicted）图像，参考前后两个方向图像。 

除此外，MPEG-1还在编码结构上引入了切片（Slice），切片小于帧但大于宏块，编码时一个切片内的宏块不会依赖其他切片的宏块。切片用于防止误码在一帧图像内传播，也可用于实现并行编码。

MPEG-2/H.262

ITU-T和ISO/IEC联合发布的视频编码标准，编解码器与H.261区别不大，但其编码复用系统（如何打包码流，决定码流结构）比较重要，其定义的码流结构（MPEG-PS、MPEG-TS）在现在仍有广泛应用，以下是MPEG-2的编解码器结构：

以下是MPEG-2的编码复用系统结构：

MPEG-2码流分为三层：

• 基本流（ES，elementary bit stream），包括原始的视频基本流（Video ES）和原始的音频基本流（Audio ES）。
• 打包基本流（PES，packet elementary stream），对ES进行打包，长度可变，最大为65536字节。
• 传输流（TS，transport stream）& 节目流（PS，program stream），把若干个不同节目的PES打包到一起，输出传输流或节目流。传输流是定长的，自带校验，抗传输误码，适合实时传输，节目流不是定长的，搞误码能力弱，适合介质存储。

除此之外，MPEG-2还定义了不同的档次和级别，以适用于不同的设备。MPEG-2按不同的压缩比分成5个档次，按视频清晰度分为4个级别，一共有20种组合，最常用的有11种，分别用于标准数字电视、高清晰度电视，码流从4Mbps到100Mbps。

H.264/AVC

ITU-T和ISO/IEC联合开发的标准，旨在提供一个在更低的比特率的情况下依然能够提供良好视频质量的标准（一半或者更少于MPEG-2），同时不会太大的增加设计的复杂性。H.264的另外一个目标是提供足够的灵活性，以允许该标准能够应用于各种各样的网络和系统的各应用上，包括低和高比特率，低和高分辨率视频，广播，DVD存储，RTP / IP分组网络和ITU-T多媒体电话系统。