我们其实都很清楚近几年视频行业呈现的大需求情况,人们对高画质、低延迟的视频传输需求也越来越强烈,未来的视频发展方向并不是一成不变的,而是会更深层次研究极速高清技术及实时直播流媒体的处理。
高清兼低码率的视频在目前看或许是难以实现的,将这些能力运用在直播上更似天方夜谭。为了更好的编码效果,在视频解码后,需要使用画质增强/修复技术对视频源进行处理。但不同视频源的质量参差不齐,不同场景、用户对画面的需求也千差万别,导致使用的技术大不相同。比如高清视频源,如果进行去噪处理,就会导致画面细节受损。同时,各项能力还要根据画面质量、场景、需求等配置相应参数。
从H.264编码标准到H.265再到AV1,去年H.266标准也已制定完成。但目前H.264依旧是主流。一个标准从诞生到大规模应用,是一个异常漫长的优化过程。H.264已经是十几年前的标准了,各大厂商都研究得很深入。在这种情况下,为了应对未来的发展需求,我们还需要在各种细节上不断深挖和优化。
除了对编码优化之外,还需要做的一点就是创新的技术和能力来应对不断涌现的新场景和新需求,比如我们上文提到的对低质量视频源的清晰度提高、对高质量视频源的去噪处理等,还有对4K这类高清视频播放流畅度的提升。
播放端缓存控制对于视频的首开延迟也有较大影响,如果仅优化首开延迟,可以在 0 缓存情况下在数据到达的时候立即解码。但如果在弱网环境下为了消除网络抖动造成的影响,设置一定的缓存也有必要,因此需要在直播的稳定性和首开延迟优化上找到平衡,调整优化缓冲区大小这个值。
实际上我们优化低延迟的时候并不是只关注「低延迟」,而是在保证其它条件不影响用户体验的情况下尽量做到低延迟,同样我们的高清视频也是为了提高用户体验。在用户体验这方面,TSINGSEE青犀视频一直很注意,我们开发的EasyPlayerl播放器及EasyNVR、EasyGBS等平台都具备了较好的操作方式,EasyPlayerl播放器还支持H.265和WebRTC的视频播放。