• 用Delphi实现网络视频编程


    在MSN、QQ等聊天类的应用程序中,都应用到了网络视频技术。Delphi使用Object Pascal语言是一种完全面向对象语言,可以开发出灵活强大的程序,开发网络视频程序也不在话下。一个完整的网络视频程序应包括以下几个关键技术:视频捕获、视频压缩与解压、数据传输。

    一、视频获捕

    1.基本概念

    微软为软件开发人员提供了一个专门用于视频捕获的VFW (Video for Windows) SDK,为在Windows系统中实现视频捕获提供了标准的接口,从而大大方便了视频捕获程序的开发。由于VFW SDK只有VC和VB版,没有Delphi版,因此需要在Delphi中重新声明DLL中的各个函数和变量(可以参考MSDN中的VC的函数声明以及变量定义,也可以从网上下载写好的头文件vfw.pas)。

    VFW是Microsoft 1992年推出的关于数字视频的一个软件包,它能使应用程序数字化并播放从传统模拟视频源得到的视频剪辑。VFW的一个关键思想是播放时不需要专用硬件,为了解决数字视频数据量大的问题,需要对数据进行压缩。它引进了一种叫AVI的文件标准,该标准未规定如何对视频进行捕获、压缩及播放,仅规定视频和音频该如何存储在硬盘上,在AVI文件中交替存储视频帧和与之相匹配的音频数据。VFW给程序员提供VBX和AVICap窗口类的高级编程工具,使程序员能通过发送消息或设置属性来捕获、播放和编辑视频剪辑。

    2.AVICap编程

    AVICap支持实时的视频流捕获和单帧捕获并提供对视频源的控制,它能直接访问视频缓冲区,不需要生成中间文件,实时性很强,效率很高。同时,它也可将数字视频捕获到文件。AVICap编程的基本步骤包括:

    第一步,创建AVICap窗口。通过capCreateCaptureWindow函数创建一个捕获窗,所有的捕获操作及其设置都以它为基础。窗口风格一般为WS_CHILD和WS_VISIBLE。

    第二步,设置AVICap窗口的相关属性。通过capPreviewRate函数设置视频捕获速率;通过capPreview函数或capOverlay函数设置显示视频时的模式(普通的摄像头不能用overlay的方式);通过capSetVideoFormat函数设置视频格式(包括长度、宽度等);通过capDlgVideoSource、capDlgVideoFormat、capDlgVideoCompression显示控制视频源、视频格式、视频压缩的对话框。

    第三步,定义回调函数。定义捕获帧回调函数,获得每一帧的数据,并对每一帧的数据进行处理,比如压缩、传输到客户端等;定义窗口状态回调函数,获得窗口的状态;定义错误回调函数,获得并处理错误信息。

    3.相关控件

    虽然利用上面介绍的API可以实现视频捕获编程,但如果将这些API封装成一个控件则编程更为方便,这样的控件可以从常用Delphi网站找到。本文以TvideoCap控件为例,实现视频捕获。

    (1)相关属性及方法

    DriverIndex该属性是用来指定视频捕获设备序号,从0开始。

    DriverOpen该属性是用来确定是否打开指定的视频捕获设备。设置为True表示打开,False表示关闭。

    CapToFile该属性是用来确定捕获的同时是否将捕获的画面保存成AVI格式的视频文件。设置为True表示保存,False表示不保存。

    VideoPreview该属性是确定捕获的同时是否预览。设置为True表示预览,False表示不预览。

    StartCapture该方法是用来捕获视频数据,执行该方法后才会触发相关事件。

    其他的属性和方法这里就不一一介绍。

    (2)相关事件

    OnVideoStream当捕获视频数据时触发该事件,在这里可以获得每一帧的数据,进行相关处理,发送到客户端。

    二、视频压缩与解压

    通过AVICap窗口捕获的每一帧的数据是以BMP(RAW)文件格式存放的,若直接进行传输,数据量非常大,对网络的带宽要求非常高,因此在传输之前必须对每一帧的数据进行压缩处理后再进行传输。具体步骤:

    第一步,安装视频压缩引擎。媒体播放器软件都带有压缩引擎,也可以从网上下载单独的解压缩引擎,比如MPEG4或DIVX等。

    第二步,初始化压缩引擎。选择压缩引擎,获得压缩引擎的支持,确定输入、输出格式,设置压缩器。

    第三步,压缩帧数据。通过指定的压缩引擎,对获取的每一帧数据进行压缩。

    解压的过程与压缩的过程类似,通过选择相对应的解压引擎,将压缩的数据解压,以便于回放。

    三、数据传输

    1.基本概念

    计算机在传输数据时有两种方式:分别是TCP(Transmission Control Protocol,传输控制协议)及UDP(User Datagram Protocol,用户数据报协议),两者分别因数据传输的不同请求而提供不同的数据传输方式。

    (1)  TCP协议

    TCP是一个基于连接的通信协议,主要目的是提供大量数据传输并确保其传输无误,因此提供错误检查、数据复原及数据重传等机制。TCP在传输数据之前,会先在主机间(例如主控端与被控端)创建连接。根据此连接,数据可在计算机间相互传输,即所谓的双向传输模式。

    (2)  UDP协议

    UDP是一个非连接式的通信协议,主要目的在于传输少量的数据。与TCP不同的是,TCP在传输之前必须创建连接,而UDP不需要,只要设置计算机间的IP及使用相同的端口,就可以相互传输数据。因此UDP只提供单向的数据传输,即所谓的单向无连接传输模式。

    由于UDP不需要先创建连接,节省了TCP创建连接所需的时间,所以适合在主机间进行单向的数据传输。由于视频数据的传输对于实时性要求很高,即使传输过程中有个别帧的数据有错,也不会影响整个视频的效果,故本文将会详细介绍如何通过UDP实现视频数据的传输。

    2.控件及相关内容介绍

    在Delphi中对于UDP及TCP都提供了很好的支持,而且将它们封装起来。开发人员无须知道协议的具体实现细节,而只要使用Delphi提供的TIdUDPServer元件(在Indy Servers页)即可完成相应的功能。下面我们一起来认识一下这个元件。

    (1)  相关属性

    DefaultPort该属性是用来指定作为客户端时要打开的端口号,也就是通过该端口来接收数据。

    Active该属性是用来打开指定的端口号,设置为True表示打开端口,False表示关闭端口。

    BroadcastEnabled该属性是用来设置是否用来实现广播,设置为True表示可以广播,False表示不能广播。

    (2)  相关事件

    OnUDPRead当客户端收到服务器端发来数据时触发该事件,通过该事件我们可以取得服务器端发的每一帧的数据,以便在客户端回放。

    除了以上提到的一些属性及事件外,TIdUDPServer还有一个重要的方法需要了解,那就是SendBuffer,通过该方法可以在服务器端向指定客户端的指定端口发送数据。

    四、具体实现

    1.服务器端程序

    新建一个项目,并将VFW.PAS包含到USES中。在窗体上加入一个控件TVideoCap,命名为VideoCap1,该控件用于视频捕获、显示;放置一个TIdUDPServer,命名为VideoSender,用于传输视频数据;放置两个文本框,CilentIP设置客户端IP,ClientPort设置发送到客户端的端口;一个复选框CheckSend用来决定是否向客户端传输视频;放置两个TButton控件,一个命名为“StartVideo”,用来打开视频,另一个命名为“Closevideo”,用来关闭视频,整体布局如图1所示。

     

     

    图1 服务器端界面

    定义发送数据包的结构:

    type

      VideoData=record

        buf:array[0..8079] of byte; //压缩后的视频数据

        Num:integer;//帧数据过大时,分几个数据包发送,数据包在这一帧中的编号

        IsLast:boolean;//是否是这一帧的最后一个数据包

    end;

    定义全局变量:

    Var

    FCV: TCOMPVARS;//帧压缩结构

    FInInfo: TBitmapInfo;//压缩时输入结构

    FOutInfo: TBitmapInfo;//压缩时输出结构

    FoutActSize: DWORD;//压缩后帧数据的大小

    Buffer:^byte; //压缩后帧数据地址

    Buf: array of Byte;// 压缩后帧数据

    主要代码:

    //填充BMP头结构

    procedure TForm1.FillBitmapStruc;

    begin

      FillChar(FInInfo.bmiHeader, SizeOf(TBitmapInfoHeader), 0);

      with FInInfo.bmiHeader do

      begin

            biBitCount := 24;

        biCompression := BI_RGB;

        biHeight := 240;

        biPlanes := 1;

        biSize := SizeOf(TBitmapInfoHeader);

        biWidth := 320;

      end;

    end;

    //初始化压缩引擎

    procedure TForm1.InitCompressor;

    begin

      FillChar(FCV, SizeOf(FCV), 0);

      with FCV do

      begin

        dwFlags := ICMF_COMPVARS_VALID;

        cbSize := SizeOf(FCV);

        fccHandler := mmioFOURCC('d','i','v','x');   //选择压缩引擎,这里选择divx

        fccType := ICTYPE_VIDEO;

        hic := ICOpen(ICTYPE_VIDEO,fccHandler, ICMODE_COMPRESS);

        lDataRate := 780;

        lKey := 15;

        lQ :=dword(ICQUALITY_DEFAULT);

        if hic <> 0 then

        begin

          FillChar(FOutInfo, SizeOf(FOutInfo), 0);

          ICCompressGetFormat(hic, @FInInfo, @FOutInfo);

          FInInfo.bmiHeader.biCompression:=BI_RGB;

          FOutInfo.bmiHeader.biCompression:=fccHandler;

          ICSeqCompressFrameStart(@FCV, @FInInfo);

        end;

      end;

    end;

    //FormOnShow事件

    procedure TForm1.FormShow(Sender: TObject);

    begin

      FillBitmapStruc;

      InitCompressor;

     //设置VideoCap1的相关属性

      VideoCap1.DriverIndex:=0;

    VideoCap1.CapToFile:=false;

      VideoCap1.DriverOpen:=true;

      videocap1.VideoPreview:=true;

    end;

    //StartVideoOnClick事件

    procedure TForm1.StartVideoClick(Sender: TObject);

    begin

    VideoCap1.StartCapture;

    end;

    // VideoCap1OnVideoStream事件

    procedure TForm1.VideoCap1VideoStream(sender: TObject; lpVhdr: PVIDEOHDR);

    var

    KeyFrame:boolean;

      MyVideo:VideoData;

      i:integer;

    begin

      if CheckSend.Checked then

      begin

        FOutActSize:=0;

        MyVideo.Num:=0;

        //压缩帧数据

        Buffer:= ICSeqCompressFrame(@FCV, 0, lpVHdr^.lpData, @KeyFrame, @FOutActSize);

        SetLength(buf,FOutActSize);

        Move(Buffer^, Buf[0], FOutActSize);

        //当帧数据太大时,分几个数据包发送

        while FOutActSize>8080 do

        begin

          MyVideo.Num:=MyVideo.Num+1;

          MyVideo.IsLast:=false;

          for i:=0 to 8079 do

          begin

           MyVideo.buf[i]:= buf[(MyVideo.Num-1)*8080+i];

          end;

          FOutActSize:=FOutActSize-8080;

          // 向客户端发送数据包

    VideoSender.SendBuffer(CilentIP.text,strtoint(ClientPort.text),MyVideo,sizeof(MyVideo));

        end;

        if FOutActSize<8080 then

        begin

          MyVideo.Num:=MyVideo.Num+1;

          MyVideo.IsLast:=true; //当前帧最后一个数据包

          for i:=0 to FOutActSize  do

          begin

            MyVideo.buf[i]:= buf[(MyVideo.Num-1)*8080+i];

          end;

         //向客户端发送数据包

    VideoSender.SendBuffer(CilentIP.text,strtoint(ClientPort.text),MyVideo,sizeof(MyVideo));

        end;

      end;

      application.ProcessMessages;

    end;

    //StopVideoOnClick事件

    procedure TForm1. StopVideoClick (Sender: TObject);

    begin

    VideoCap1.StopCapture;

    end;

    //FormOnClose事件

    procedure TForm1.FormClose(Sender: TObject; var Action: TCloseAction);

    begin

      if FCV.hic <> 0 then

      begin

        ICSeqCompressFrameEnd(@FCV);

        ICCompressorFree(@FCV);

        ICClose(FCV.hic);

      end;

    end;

    2.客户端程序

    新建一个项目,并将VFW.PAS包含到USES中。在窗体上加入一个控件TImage,命名为Image1,该控件用于视频显示;放置一个TIdUDPServer,命名为VideoReceiver,用于接收视频数据,DefaultPot属性设置为6000,整体布局如图2所示。

     

     

    图2 客户器端界面

    定义全局变量:

    Var

    FCV: TCOMPVARS;//帧压缩结构

    FInInfo: TBitmapInfo;//解压时输入结构

    FOutInfo: TBitmapInfo;//解压时输出结构

    FoutActSize: DWORD;//压缩后帧数据的大小

    Buf: array of Byte;// 未解压时帧数据

    myout:array[0..230399] of byte;// 解压后帧数据

    主要代码:

    //填充BMP头结构

    procedure TForm1.FillBitmapStruc;

    begin

      //略,见服务器端程序

    end;

    //初始化解压缩引擎

    procedure TForm1.InitDeCompressor;

    begin

       //略,见服务器端程序

    end;

    //FormOnShow事件

    procedure TForm1.FormShow(Sender: TObject);

    begin

      FillBitmapStruc;

      InitDeCompressor;

      VideoReceiver.Active:=true;

    end;

    //VideoReceiverOnUDPRead事件

    procedure TForm1.VideoReceiverUDPRead(Sender: TObject; AData: TStream;

      ABinding: TIdSocketHandle);

    var

    RetVal:integer;

      MyVideo:VideoData;

      i:integer;

    begin

      RetVal:=-1;

      AData.Position:=0;

      //读取数据

      AData.ReadBuffer(MyVideo,sizeof(MyVideo));

      if MyVideo.Num=1 then  SetLength(buf,0);

      SetLength(buf,(MyVideo.Num)*8080);

      for i:=0 to 8079 do

      begin

        buf[(MyVideo.Num-1)*8080+i]:=MyVideo.buf[i];

      end;

      if MyVideo.IsLast  then  //当前帧最后一个数据包

      begin

      //解压数据

        RetVal := ICDeCompress(FCV.hic,0,@FoutInfo.bmiHeader,@Buf[0],@FOutInfo.bmiHeader,@myout);

        if  RetVal= ICERR_OK then

        begin

          //在Image1上画出一帧图像

    StretchDIBits(Image1.Canvas.Handle,0,0,Image1.Width,Image1.Height,0,0,FOutInfo.bmiHeader.biWidth,FOutInfo.bmiHeader.biHeight,@myout,FOutInfo,0,SRCCOPY );

          Image1.Repaint;

        end;

      end;

    end;

    //FormOnClose事件

    procedure TForm1.FormClose(Sender: TObject; var Action: TCloseAction);

    begin

      //略,同服务器端

    end;

    到此为止,整个网络视频程序就全部实现了。当然本程序的功能还有限,不过只要掌握了网络视频的的基本原理及相关知识后,根据需要在本程序的基础上进行扩充,完全可以成为一个实用的网络视频软件。本程序所有代码在Delphi7、Windows 2000/XP 及局域网中调试运行通过。

  • 相关阅读:
    组件库设计
    kill 3000
    nextjs服务端渲染原理
    Web交互增强
    webpack4.0打包的时候一些技巧
    把网站部署到阿里云上的步骤
    typescript使用小结
    webpack 4.0尝鲜
    基于Quick-cocos2d-x的资源更新方案 二
    Android APK是否需要预解压
  • 原文地址:https://www.cnblogs.com/FuYan/p/4570304.html
Copyright © 2020-2023  润新知