• VLC源码分析(二)


    第一部分 变量及宏定义
    1.消息映射宏
    vlc_module_begin();
    …………………..
    vlc_module_end();
    2.结构中包含函数
    struct input_thread_t
    {
    VLC_COMMON_MEMBERS
    /* Thread properties */
    vlc_bool_t b_eof;
    vlc_bool_t b_out_pace_control;
    /* Access module */
    module_t * p_access;
    ssize_t (* pf_read ) ( input_thread_t *, byte_t *, size_t );
    int (* pf_set_program )( input_thread_t *, pgrm_descriptor_t * );
    int (* pf_set_area )( input_thread_t *, input_area_t * );
    void (* pf_seek ) ( input_thread_t *, off_t );
    }
    3.宏与换行符妙用
    #define VLC_COMMON_MEMBERS /** \name VLC_COMMON_MEMBERS * these members are common for all vlc objects *//**@{*/int i_object_id; int
    i_object_type; char *psz_object_type; char *psz_object_name; /** Just a reminder so that people don't cast garbage */ int

    be_sure_to_add_VLC_COMMON_MEMBERS_to_struct;/**@}*/
    #define VLC_OBJECT( x ) \
    ((vlc_object_t *)(x))+
    0*(x)- be_sure_to_add_VLC_COMMON_MEMBERS_to_struct
    struct vlc_object_t
    {
    VLC_COMMON_MEMBERS
    };//定义一个结构来使用宏定义的公共成员
    4.定义导出函数
    #ifndef __PLUGIN__
    # define VLC_EXPORT( type, name, args ) type name args
    #else
    # define VLC_EXPORT( type, name, args ) struct _u_n_u_s_e_d_
    extern module_symbols_t* p_symbols;
    #endif
    5.定义回调函数
    typedef int ( * vlc_callback_t ) ( vlc_object_t *, /* variable's object */
    char const *, /* variable name */
    vlc_value_t, /* old value */
    vlc_value_t, /* new value */
    void * ); /* callback data */
    6.函数作为参数的定义方式
    Int Fun(int n,int (*pf)(int ,int),char *pstr)
    { int j =10;
    pf(n,j);
    }
    7.回调函数的声明
    必须声明为global,或者static
    Int vlc_callback_t (int ,int)
    {。。。。。。。。。。。}

    8.回调函数的使用
    Fun(0, vlc_callback_t,”test”);
    9.函数表达式
    #define input_BuffersInit(a) __input_BuffersInit(VLC_OBJECT(a))
    void * __input_BuffersInit( vlc_object_t * );
    #define module_Need(a,b,c,d) __module_Need(VLC_OBJECT(a),b,c,d)
    VLC_EXPORT( module_t *, __module_Need, ( vlc_object_t *, const char *, const char *, vlc_bool_t ) );
    10.定义函数
    /* Dynamic array handling: realloc array, move data, increment position */
    #define INSERT_ELEM( p_ar, i_oldsize, i_pos, elem ) do { if( i_oldsize ) { (p_ar) = realloc( p_ar, ((i_oldsize) + 1) * sizeof( *(p_ar) )

    ); } else { (p_ar) = malloc( ((i_oldsize) + 1) * sizeof( *(p_ar) ) ); } if( (i_oldsize) - (i_pos) ) { memmove( (p_ar) + (i_pos) + 1, (p_ar) +

    (i_pos), ((i_oldsize) - (i_pos)) * sizeof( *(p_ar) ) ); } (p_ar)[i_pos] = elem; (i_oldsize)++; } while( 0 )
    应用为:
    INSERT_ELEM( p_new- p_libvlc- pp_objects,
    p_new- p_libvlc- i_objects,
    p_new- p_libvlc- i_objects,
    p_new );
    11.改变地址的方式传递其值
    stream_t *input_StreamNew( input_thread_t *p_input )
    { stream_t *s = vlc_object_create( p_input, sizeof( stream_t ) );
    input_stream_sys_t *p_sys;
    if( s )
    {
    s- p_sys = malloc( sizeof( input_stream_sys_t ) );
    p_sys = (input_stream_sys_t*)s- p_sys;
    p_sys- p_input = p_input;
    }
    return s;//注解:s- p_sys改变了
    }
    第二部分 程序框架实现
    1.播放列表文件src/playlist/playlist.c的线程
    playlist_t * __playlist_Create ( vlc_object_t *p_parent )函数中创建的线程,线程函数为
    static void RunThread ( playlist_t *p_playlist )
    线程思路分析:
    在RunThread里面执行循环,如果没有任务执行,则适当的延迟,如果接到p_playlist- i_status != PLAYLIST_STOPPED的条件,则调用PlayItem(

    p_playlist )函数,在PlayItem( p_playlist )函数中从新创建输入线程。
    通过void playlist_Command( playlist_t * p_playlist, playlist_command_t i_command,int i_arg )接收来自GUI界面的各种命令,然后设置p_playlist-

    i_status的状态,由该状态改变该播放列表文件主循环线程的执行。
    2.输入文件SRC/INPUT/INPUT.C的输入线程
    input_thread_t *__input_CreateThread( vlc_object_t *p_parent,
    input_item_t *p_item )函数中创建的线程,线程函数为
    static int RunThread( input_thread_t *p_input )
    线程思路分析:
    由 input_thread_t结构的成员分析是接收文件流还是网络流,如果是文件流,则调用file module 的读函数(pf_read)和打开函数(--).如果是network 则打

    开network module 的打开函数和读函数(pf_read)。
    在 RunThread线程函数中接收数据和调用demux 或者decode etc处理。
    一旦产生新的输入,则在播放列表线程中会首先结束该输入线程,然后从新创建新的输入线程。
    3.视频输出文件src/video_output/ video_output.c的线程
    vout_thread_t * __vout_Create( vlc_object_t *p_parent,
    unsigned int i_width, unsigned int i_height,
    vlc_fourcc_t i_chroma, unsigned int i_aspect )函数中创建的线程,线程函数为
    static void RunThread( vout_thread_t *p_vout)
    线程思路分析:
    在RunThread里面执行循环,任务是显示视频。
    4.在modules\gui\wxwindows\wxwindows.cpp中的GUI线程
    static void Run( intf_thread_t *p_intf ) 函数中创建的线程,线程函数为
    static void Init( intf_thread_t *p_intf )
    线程思路分析:
    在Init( intf_thread_t *p_intf )里面执行循环,创建新的GUI实例。Instance-》OnInit()(CreateDialogsProvider)-》DialogsProvider为运行的对话

    框。
    接收网络文件的步骤
    OnOpenNet( wxCommandEvent& event )打开网络文件的步骤。打开OpenDialog对话框,点击Ok后调用OpenDialog::OnOk( wxCommandEvent& WXUNUSED(event)

    )函数,调用playlist_Command函数改变播放列表线程的状态。
    激活线程分析:
    在wxwindow.cpp中的消息映射中 set_callbacks( OpenDialogs, Close ); 则设置了module_t- pf_activate= OpenDialogs函数,
    在module.c 的__module_Need( vlc_object_t *p_this, const char *psz_capability,
    const char *psz_name, vlc_bool_t b_strict )
    函数中用到了pf_activate激活GUI对话框;
    在video_output.c 的static void RunThread( vout_thread_t *p_vout)线程中,也用到了pf_activate激活GUI对话框;
    5.开始所有module 的精髓
    消息映射宏
    vlc_module_begin();
    set_callbacks( NetOpen, NULL );
    vlc_module_end();
    然后设置模块结构的成员函数为:
    #define set_callbacks( activate, deactivate ) p_submodule- pf_activate = activate; p_submodule- pf_deactivate = deactivate
    在__module_Need函数中启动pf_activate 激活相应的module。


    网络数据流接收处理分析
    1、在input.c(src\input)文件中的主线程循环
    Thread in charge of processing the network packets and demultiplexing
    RunThread( input_thread_t *p_input )
    {
    InitThread( p_input ) ;
    …………………………………………………….
    input_SelectES( p_input, p_input->stream.p_newly_selected_es );
    …………………………………………………….
    /* Read and demultiplex some data. */
    i_count = p_input->pf_demux( p_input );
    }
    2、在下列函数中:
    分离出access , demux , name字符串 ;
    根据分离出的access 字符串通过module_Need函数找到acess 指针模块;
    根据分离出的demux 字符串通过module_Need函数找到demux 指针模块;
    static int InitThread( input_thread_t * p_input )
    {
    msg_Dbg( p_input, "access `%s', demux `%s', name `%s'",
    p_input->psz_access, p_input->psz_demux, p_input->psz_name );
    /* Find and open appropriate access module */
    p_input->p_access = module_Need( p_input, "access",
    p_input->psz_access, VLC_TRUE );
    …………………………………………………….
    while( !input_FillBuffer( p_input ) )
    …………………………………………………….
    /* Find and open appropriate demux module */
    p_input->p_demux =
    module_Need( p_input, "demux",
    (p_input->psz_demux && *p_input->psz_demux) ?
    p_input->psz_demux : "$demux",
    (p_input->psz_demux && *p_input->psz_demux) ?
    VLC_TRUE : VLC_FALSE );
    …………………………………………………….
    }
    3、在ps.c (module\demux\mpeg)文件中
    a.通过消息映射宏赋值启动函数Activate;
    b.通过函数Activate赋值p_input->pf_demux = Demux;
    c. 通过函数module_Need( p_input, "mpeg-system", NULL, 0 ) 激活p_input->p_demux_data->mpeg.pf_read_ps( p_input, &p_data )函数(pf_read_ps)

    ;
    d.在InitThread函数中激活;
    static int Activate( vlc_object_t * p_this )
    {
    /* Set the demux function */
    p_input->pf_demux = Demux;
    p_input->p_private = (void*)&p_demux->mpeg;
    p_demux->p_module = module_Need( p_input, "mpeg-system", NULL, 0 );
    }
    4、在system.c (module\demux\mpeg)文件中
    赋值解码模块mpeg_demux_t的成员函数;
    static int Activate ( vlc_object_t *p_this )
    {
    static mpeg_demux_t mpeg_demux =
    { NULL, ReadPS, ParsePS, DemuxPS, ReadTS, DemuxTS };
    mpeg_demux.cur_scr_time = -1;
    memcpy( p_this->p_private, &mpeg_demux, sizeof( mpeg_demux ) );
    return VLC_SUCCESS;
    }
    并且申明函数static ssize_t ReadPS( input_thread_t * p_input, data_packet_t ** pp_data );
    5、在ps.c (module\demux\mpeg)文件中
    Demux( input_thread_t * p_input )
    {
    i_result = p_input->p_demux_data->mpeg.pf_read_ps( p_input, &p_data );
    p_input->p_demux_data->mpeg.pf_demux_ps( p_input, p_data );
    }
    进行读取数据和分离工作;
    6、在system.c (module\demux\mpeg)文件中
    数据走向图如下
    ReadPS-> PEEK-> input_Peek(src\input\input_ext-plugins.c)-> input_FillBuffert 通过 i_ret = p_input->pf_read( p_input,
    (byte_t *)p_buf + sizeof(data_buffer_t)
    + i_remains,
    p_input->i_bufsize );
    input_thread_t结构的pf_read函数成员如果是为udp.c(modules\access)的RTPChoose函数
    则在开启access(UDP 模块)时通过module_need 激活;
    激活网络读数据模块 RTPChoose(modules\access\ udp.c)->Read->net_Read(src\misc\net.c);
    7、在input_programs.c(src\input)文件中
    运行解码器对ES流解码
    int input_SelectES( input_thread_t * p_input, es_descriptor_t * p_es )
    {
    p_es->p_dec = input_RunDecoder( p_input, p_es );

    }
    input_SelectES(src\input\input_programs.c)->input_RunDecoder(src \input\input_dec.c)->DecoderThread->DecoderDecode -

    >vout_DisplayPicture


    从接收到数据流到播放视频的过程分析

       从网络接收到流->对数据流进行视频和音频分离->对视频用解码器解码->显示解码后的视频流

        视频显示部分走势线:分离->解码->新的VOUT缓冲区->VOUT线程

    Demux(modules\demux\mpeg\ps.c)->DemuxPs(modules\demux\mpeg\system.c)-> ParsePS->input_SelectES(src\input\input_programs.c)->input_RunDecoder

    (src\input\input_dec.c)->CreateDecoder->

    vout_new_buffer->vout_Request(src\video_output\video_output.c)->vout_Create->RunThread->vout_RenderPicture(src\video_output\vout_pictures.c)-

    >pf_display

    注意:p_dec->pf_vout_buffer_new = vout_new_buffer的pf_vout_buffer_new在ffmpeg_NewPictBuf(modules\codec\ffmpeg\video.c)函数中激活

       解码部分走势线:

    Demux(modules\demux\mpeg\ps.c)->DemuxPs(modules\demux\mpeg\system.c)-> ParsePS->input_SelectES(src\input\input_programs.c)->input_RunDecoder

    (src\input\input_dec.c)->CreateDecoder->


    DecoderThread

      注意:在解码线程中对数据流(AUDIO 或者VIDEO)进行解码

    详细资料http://developers.videolan.org/vlc/    VLC API documentation  或者VLC developer documentation


    Chapter 5.  The video output layer
    Data structures and main loop

    Important data structures are defined in include/video.h and include/video_output.h. The main data structure is picture_t, which describes

    everything a video decoder thread needs. Please refer to this file for more information. Typically, p_data will be a pointer to YUV planar

    picture.

    Note also the subpicture_t structure. In fact the VLC SPU decoder only parses the SPU header, and converts the SPU graphical data to an

    internal format which can be rendered much faster. So a part of the "real" SPU decoder lies in src/video_output/video_spu.c.

    The vout_thread_t structure is much more complex, but you needn't understand everything. Basically the video output thread manages a heap of

    pictures and subpictures (5 by default). Every picture has a status (displayed, destroyed, empty...) and eventually a presentation time. The

    main job of the video output is an infinite loop to : [this is subject to change in the near future]

       1.

          Find the next picture to display in the heap.
    2.

          Find the current subpicture to display.
    3.

          Render the picture (if the video output plug-in doesn't support YUV overlay). Rendering will call an optimized YUV plug-in, which will

    also do the scaling, add subtitles and an optional picture information field.
    4.

          Sleep until the specified date.
    5.

          Display the picture (plug-in function). For outputs which display RGB data, it is often accomplished with a buffer switching. p_vout-

    >p_buffer is an array of two buffers where the YUV transform takes place, and p_vout->i_buffer_index indicates the currently displayed buffer.
    6.

          Manage events.

    Methods used by video decoders

    The video output exports a bunch of functions so that decoders can send their decoded data. The most important function is vout_CreatePicture

    which allocates the picture buffer to the size indicated by the video decoder. It then just needs to feed (void *) p_picture->p_data with the

    decoded data, and call vout_DisplayPicture and vout_DatePicture upon necessary.

        *

          picture_t * vout_CreatePicture ( vout_thread_t *p_vout, int i_type, int i_width, int i_height ) : Returns an allocated picture buffer.

    i_type will be for instance YUV_420_PICTURE, and i_width and i_height are in pixels.
    Warning

          If no picture is available in the heap, vout_CreatePicture will return NULL.
    *

          vout_LinkPicture ( vout_thread_t *p_vout, picture_t *p_pic ) : Increases the refcount of the picture, so that it doesn't get accidently

    freed while the decoder still needs it. For instance, an I or P picture can still be needed after displaying to decode interleaved B pictures.
    *

          vout_UnlinkPicture ( vout_thread_t *p_vout, picture_t *p_pic ) : Decreases the refcount of the picture. An unlink must be done for every

    link previously made.
    *

          vout_DatePicture ( vout_thread_t *p_vout, picture_t *p_pic ) : Gives the picture a presentation date. You can start working on a picture

    before knowing precisely at what time it will be displayed. For instance to date an I or P picture, you must wait until you have decoded all

    previous B pictures (which are indeed placed after - decoding order != presentation order).
    *

          vout_DisplayPicture ( vout_thread_t *p_vout, picture_t *p_pic ) : Tells the video output that a picture has been completely decoded and

    is ready to be rendered. It can be called before or after vout_DatePicture.
    *

          vout_DestroyPicture ( vout_thread_t *p_vout, picture_t *p_pic ) : Marks the picture as empty (useful in case of a stream parsing error).
    *

          subpicture_t * vout_CreateSubPicture ( vout_thread_t *p_vout, int i_channel, int i_type ) : Returns an allocated subpicture buffer.

    i_channel is the ID of the subpicture channel, i_type is DVD_SUBPICTURE or TEXT_SUBPICTURE, i_size is the length in bytes of the packet.
    *

          vout_DisplaySubPicture ( vout_thread_t *p_vout, subpicture_t *p_subpic ) : Tells the video output that a subpicture has been completely

    decoded. It obsoletes the previous subpicture.
    *

          vout_DestroySubPicture ( vout_thread_t *p_vout, subpicture_t *p_subpic ) : Marks the subpicture as empty.


    VLC(五) 视频播放的基本原理

        当初Roger看VLC代码花了不少时间,其中很大的原因是不太了解视频播放的基本原理。现在看来,几乎所有的视频播放器,如VLC、MPlayer、 Xine,包括

    DirectShow,在播放视频的原理和架构上都是非常相似的,理解这个对理解VLC的源码会有事半功倍的效果。

        大致的来说,播放一个视频分为4个步骤:

        1.  acess 访问,或者理解为接收、获取、得到

        2. demux 解复用,就是把通常合在一起的音频和视频分离(还有可能的字幕) 

        3. decode 解码,包括音频和视频的解码

        4. output 输出,也分为音频和视频的输出(aout和vout)

        拿播放一个UDP组播的MPEG TS流来说吧,access部分负责从网络接收组播流,放到VLC的内存缓冲区中,access模块关注IP协议,如是否IPv6、组播地址、组

    协议、端口等信息;如果检测出来是RTP协议(RTP协议在UDP头部简单得加上了固定12个字节的信息),还要分析RTP头部信息。这部分可以参看VLC源码

    /modules/access/udp.c 。在同目录下还可以看到大量的access模块,如file、http、dvd、ftp、smb、tcp、dshow、mms、v4l…等等

        而demux部分首先要解析TS流的信息。TS格式是MPEG2协议的一部分,概括地说,TS通常是固定188字节的一个packet,一个TS流可以包含多个program(节目)

    ,一个program又可以包含多个视频、音频、和文字信息的ES流;每个ES流会有不同的PID标示。而又为了可以分析这些ES流,TS有一些固定的PID用来间隔发送

    program和es流信息的表格:PAT和PMT表。关于TS格式的详细信息可以去google一下。

        VLC专门做了一个独立的库libdvbpsi来解析和编码TS流,而调用它的代码可以参见VLC源码 /modules/demux/ts.c。

        其实之所以需要demux,是因为音视频在制作的时候实际上都是独立编码的,得到的是分开的数据,为了传输方便必须要用某种方式合起来,这就有了各种封

    装格式也就有了demux。

        demux分解出来的音频和视频流分别送往音频解码器和视频解码器。因为原始的音视频都是占用大量空间,而且冗余度较高的数据,通常在制作的时候就会进

    行某种压缩。这就是我们熟知的音视频编码格式,包括MPEG1(VCD)、MPEG2(DVD)、MPEG4、H.264、rmvb等等。音视频解码器的作用就是把这些压缩了的数据还

    原成原始的音视频数据。VLC解码MPEG2使用了一个独立的库libmpeg2,调用它的源文件是 /modules/codec/libmpeg2.c。VLC关于编解码的模块都放

    在/modules/codec目录下,其中包括著名的庞大的 ffmpeg。

        解码器,例如视频解码器输出的是一张一张的类似位图格式的图像,但是要让人从屏幕看得到,还需要一个视频输出的模块。当然可以像一个Win32窗口程序

    那样直接把图像画到窗口DC上——VLC的一个输出模块WinGDI就是这么干的,但是通常这太慢了,而且消耗大量的CPU。在Windows下比较好的办法是用DirectX的接

    口,会自动调用显卡的加速功能。

        这样的功能分解使得模块化更容易一点,每个模块住需要专注于自己的事;从整体来说功能强大而且灵活。

        但是事情总是不会那么简单。就拿access来说,媒体的访问是分层的,如RTSP就涉及到IPv4、TCP、UDP、RTCP、RTSP等多个层次的协议。有些视频格式包括了

    传输、封装格式和编辑码格式如MPEG系列,有些封装格式是独立的容器,但是很多人会误解它是编解码格式,如mkv、avi这些。

        音频和视频在demux之后就是独立的,但是需要有一套机制把它们同步起来。同时我们需要有一套机制来控制速度、暂停、停止、跳进,获取各种媒体信息,

    这些都是很复杂而又很重要的事情。

        另外也许需要在某个地方插入一些修改,来实现某种效果。如音频的EQ,视频的亮度调整之类的,VLC专门设计了access_filter、audio_filter和

    video_filter类型的模块来做这一类事情。

        VLC比较独特的地方是集成了原来的VLS的功能,这依赖于VLC中stream_output类型的模块,它们可以把正在播放的视频以某种方式重新转码和发送出去,如

    http、UDP、文件等等。

        MPlayer的结构与此是类似的,如/stream目录对应的是access的功能,/mpdemux对应的demux功能,/libmpcodecs是解码器,/libvo和/libao2分别是视频和音

    频的输出。

        DirectShow也是类似的,不过分类更多一些更复杂一点。DirectShow里面的模块叫做“filter”,filter之间通过”pin”来连接。access的模块对应于

    DirectShow中的Source FIlter,这一类Filter只有输出pin没有输入pin。demux模块对应于splitter filter,这种filter有一个输入pin,多个输出pin。解码模

    块是一类transform filter,有一个输入pin、一个输出pin,输出模块对应于readering filter,有一个输入pin,没有输出pin。当然transform filter不一定是

    解码器,也可能是某种其他的处理。

        回到VLC的话题。每一类的模块数量都很多,那么在打开某一个视频时,VLC如何决定采用哪一个呢?哈哈,这个以后再说 ^_^

        另外给出一个VLC的API Document,有点老了不过挺值得一看的,在VLC wiki上找不到了,就贴出来:http://rogerfd.cn/doc/vlcapi.htm

  • 相关阅读:
    设置div内的内容不能被选中
    js中!和!!的区别及用法
    echars自定义提示框位置
    数组排序
    查询一个表的不同数据,显示到一个表
    document.body
    设置fixed,横向滚动条失效
    scrollTop
    JS 数组
    JS 数学函数
  • 原文地址:https://www.cnblogs.com/xiaOt119/p/2555787.html
Copyright © 2020-2023  润新知