...
关于视频通信延时,当延时小于200ms时质量为优秀,此时类似于面对面聊天,基本无法察觉。延时200ms~500ms,类似于打电话,可以察觉,但基本不影响通信。延时500ms~800ms则可以明显察觉。当延时大于800ms时,就已经不适合实时通信了。
关于视频压缩
原始码率计算,以8bit CIF YUV420为例,计算码率:
对比压缩后的H264码率
视频压缩原理
...
分辨率640x480,帧率15,采样格式YUV420,量化深度8bit,其码率为:
640*x480*3/2*15*8bit = 55.296Mbps
参考设置视频编码属性 - 视频通话 - 文档中心 - 声网Agora,该视频属性下推荐的码率约为500kbps,压缩率为1/100。
视频压缩原理
视频数据中的冗余信息
- 时间冗余:视频中的相邻两帧之间内容相似,存在运动关系。
- 空间冗余:视频中的某一帧内部的相邻像素存在相似性。
- 编码冗余:视频中不同的数据出现的概率不同。
- 视觉冗余:观众的视觉系统对视频中的不同部分敏感程序不同。
视频压缩办法
预测编码
主要包括两种方法:
- 帧内预测:根据当前帧已编码的数据进行预测,利用图像内相邻像素之间的相关性去除视频中的空间冗余。(比如可以在某个较小的图像区域内,用最左边一列的像素和最上面一列的像素来预测该区域的全部像素,方法可以是用这两部分已知的像素求平均值作为剩余像素的值,或是指定某种规则,以最左边或最上面一列的像素通过渐变的方式填充剩余像素。)
- 帧间预测:将部分已编码的图像作为参考帧,利用前后帧之间的时间相关性去除视频中的时间冗余,比如视频编码中常见的I/P/B帧。
变换编码
熵编码
关于视频压缩的发展历史
参考链接:即时通讯音视频开发(十九):零基础,史上最通俗视频编码技术入门-实时音视频/专项技术区 - 即时通讯开发者社区!
...
关于视频编码
H264
H265