• 网络媒体流的音视频同步


    一、音视频同步原理介绍      

          在多媒体采样/编码时,音频和视频都有一个固定的频率,比如视频以h264为例,其帧率是15F/S,音频以AAC为例,其采样率为44100,每帧含1024个sample,这样其帧率约为43F/S。这样,在理论上,每秒钟需要播放15帧视频数据和43帧音频数据。如果有一方播放速度过快或过慢,都会影响用户体验,这是音视频需要同步的原因。

    二、实现方案简介

    2.1两个时间参考点

    要实现音视频同步,需要有两个时间参考点
    (1)、编码时间参考点

         以第一个到达的视频帧时间戳作为编码参考时间戳enPreTime

    (2)、解码时间参考点        

              以第一个视频帧到达时间作为播放参考时间playPreTime

    2.2四个缓存队列

    (1)视频接收缓存队列

    (2)音频接收缓存队列

    (3)视频播放缓存队列

    (4)音频播放缓存队列

    2.3同步实现步骤 

       具体实现方案如下:

    (1).以第一个到达的视频帧时间戳作为编码参考时间戳enPreTime,并以到达时间作为播放参考时间playPreTime。在该时间(playPreTime)之前到达的音频帧,时间戳大于enPreTime的,放入缓存,小于enPreTime的,直接丢弃。

    (2).周期性的从播放缓存内读取音视频数据,并用当前帧的时间戳与enPreTime做差,得到编码时间差,获取读取时间与上一播放帧的时间差,得到等待时间。

    当等待时间>=编码时间差时,则,解码并播放。否则,将数据放到播放缓存。当播放缓存已空时,则该从接收缓存队列读取数据。并作与上相同的操作。

    三、类似实现方案

    本方案是以视频为驱动的实现方案,还有以音频为驱动的实现方案和无驱动同步方案,这里不一一做介绍,感兴趣的同仁可以自己研究一下其优缺点和适用场景。

    本博客所有内容均为原创,转载请说明出处。欢迎音视频多媒体领域的朋友来人来函交流心得。
  • 相关阅读:
    JSON 序列化类 南京酷得软件
    哈哈哈哈哈哈 找回记忆
    Presto
    (转)在Total Commander下使用SVN
    在ubuntu12.04,64位中安装lnmp一键包mysql的问题
    阿里云服务器上搭建php环境+redis
    在ubuntu12.04,64位中安装nginx+php+redis+mysql
    Redis篇:单线程I/O模型
    工具篇:apachehttpClient 和 jdk11HttpClient的使用
    技能篇:关于缓存数据的一致性探讨
  • 原文地址:https://www.cnblogs.com/liuxt/p/4727722.html
Copyright © 2020-2023  润新知