版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。

...

关于视频通信延时,当延时小于200ms时质量为优秀,此时类似于面对面聊天,基本无法察觉。延时200ms~500ms,类似于打电话,可以察觉,但基本不影响通信。延时500ms~800ms则可以明显察觉。当延时大于800ms时,就已经不适合实时通信了。

关于视频压缩

原始码率计算,以8bit CIF YUV420为例,计算码率:

对比压缩后的H264码率

视频压缩原理

...

分辨率640x480,帧率15,采样格式YUV420,量化深度8bit,其码率为:

640*x480*3/2*15*8bit = 55.296Mbps

参考设置视频编码属性 - 视频通话 - 文档中心 - 声网Agora,该视频属性下推荐的码率约为500kbps,压缩率为1/100。

视频压缩原理

视频数据中的冗余信息

  • 时间冗余:视频中的相邻两帧之间内容相似,存在运动关系。
  • 空间冗余:视频中的某一帧内部的相邻像素存在相似性。
  • 编码冗余:视频中不同的数据出现的概率不同。
  • 视觉冗余:观众的视觉系统对视频中的不同部分敏感程序不同。

视频压缩办法

预测编码

主要包括两种方法:

  • 帧内预测:根据当前帧已编码的数据进行预测,利用图像内相邻像素之间的相关性去除视频中的空间冗余。(比如可以在某个较小的图像区域内,用最左边一列的像素和最上面一列的像素来预测该区域的全部像素,方法可以是用这两部分已知的像素求平均值作为剩余像素的值,或是指定某种规则,以最左边或最上面一列的像素通过渐变的方式填充剩余像素。)
  • 帧间预测:将部分已编码的图像作为参考帧,利用前后帧之间的时间相关性去除视频中的时间冗余,比如视频编码中常见的I/P/B帧。

变换编码

熵编码

关于视频压缩的发展历史

参考链接:即时通讯音视频开发(十九):零基础,史上最通俗视频编码技术入门-实时音视频/专项技术区 - 即时通讯开发者社区!

...

关于视频编码

H264

H265