Nginx之RTMP

1. RTMP协议介绍

RTMP(Real Time Messaging Protocol)实时消息传送协议是Adobe Systems公司为Flash播放器和服务器之间音频、视频和数据传输开发的私有协议。

它有三种变种：

1)工作在TCP之上的明文协议，使用端口1935；

2)RTMPT封装在HTTP请求之中，可穿越防火墙；

3)RTMPS类似RTMPT，但使用的是HTTPS连接；

 

RTMP协议就像一个用来装数据包的容器，这些数据可以是AMF格式的数据,也可以是FLV中的视/音频数据。一个单一的连接可以通过不同的通道传输多路网络流。这些通道中的包都是按照固定大小的包传输的。

 

 

   

 

 

                                           图1   RTMP交互图

 

更多协议的细节可以参见《rtmp specification 1.0》

2. RTMP server

2.1当前的流媒体server

现在主要有两种rtmp server，商业的和开源的。商业的比开源的支持的功能多，个人根据需要选择吧

  商业的有FMS Wowza

  开源RTMP server

  1.  red5 java  有名

  2.  crtmpserver c++ 支持多种rtmp协议，移动设备以及IPTV相关网络协议 http://www.rtmpd.com/ Erlyvideo erlong 有开源和商业版本 https//github.com/erlyvideo/erlyvideo h

 3.  aXeVideo haXe 一个实验性的，轻量级的服务器 http://code.google.com/p/haxevideo/ 

 4. FluorineFx .Net To be defined http://www/fluorinefx.com 

 5. nginx-rtmp c nginx模块 支持rtmp和HLS https://github.com/arut/nginx-rtmp-module

2.2 Wowza功能

FMS是Adobe公司的产品，license非常昂贵。下面就wowza这个商业软件讲下流媒体Server，不仅仅是RTMP Server，在达到生产环境所需要的功能。wowza最突出的特定是多终端适应性，这个在如今多媒体融合的网络环境下有很强的实用意义。究其原理并无深入研究。国内尚为视讯是其代理公司。

Wowza Media Server是一款高性能、多线程的流媒体服务器软件。专为多种终端设备提供音视频内容播放服务，支持iOS、windows、Android、BlackMerry等系统的终端设备，以HTTP、RTSP/ RTP、RTMP传输协议的流播放，还支持利用机顶盒进行播放的IPTV。

 

 

通过对Wowza Media Server的深度定制开发，尚为网络视听管理系统实现了对网络音视频内容的采集、编码、编辑、转码、审核、播出与监控等完整的生命周期管理，突出了以下能力：

1) 自动化内容收录

　　对网络视频的录制，采用服务器端录制模式，满足从28Kbps到10Mbps码流范围的H.264编码流的自动化定时收录。

2) 快速在线编辑

云计算架构设计，服务器端处理。所有编辑任务都处在云端，对编辑机无要求，任务处理快捷简单。

　　对视频的处理包括切条、合并、去除广告、添加logo等操作。

　　支持同一素材多格式文件的一次性编辑处理，提高工作效率。

3) 云式转码

　　采用云转码技术开发的音视频文件转码、实时流转码，实现了不同格式、码率、分辨率、帧数等参数的自由转换，满足不同终端的播放需求。

4) 多终端发布支持

　　结合Wowza Media Server支持多协议多终端的特性，尚为网络视听系统一个平台即可支持多终端设备的视频访问，无论用任何设备都可访问所需的视频内容。

　　在对多终端内容统一管理的基础之上，还可实现了多终端视频的断点续播功能。用户的播放在一个终端上播放暂停后，用户的信息、节目信息以及断点信息立刻传送给其它终端，实现了不同终端间的断点续播。

5) 稳定的安全保障

　　全LINUX架构，保障系统的安全性。

　　自动支持负载均衡部署，可满足大并发用户的数据响应处理。

扩展性好，可随需增减流媒体服务器来变更系统承载的并发用户数。

除此之外，个人认为完善的DRM版权管理对于视频直播分发是非常重要的功能，服务器状态实时监控是对运营的高效稳定也有非常最要的功能。

3. Nginx-basedRTMP server

3.1  Nginx rtmp 功能点

1.   支持音视频直播

2.   支持flv/mp4视频格式，输入可以是文件或者HTTP流

3.   支持两种流的分发模式 pushand pull

4.   可以将直播流录制成flv文件

5.   H264/AAC编码

6.   支持在线转码 Onlinetranscoding with FFmpeg

7.   支持HLS (HTTP LiveStreaming)需要 libavformat (>= 8. 53.31.100) from ffmpeg (ffmpeg.org)

8.   HTTPcallbacks (publish/play/record/update etc)

9.   支持外部程序(exec)

10.  HTTPcontrol module for recording audio/video and dropping clients

11.  先进内存控制技术，可以在使用少量内存的情况下完成流畅的直播功能。

12 . 可以和以下协同工作。FMS server（Wirecast, FMS, Wowza,）Player（JWPlayer, FlowPlayer, StrobeMediaPlayback,）外部程序（ffmpeg,avconv,rtmpdump,flvstreamer ）

13. Statistics in XML/XSL in machine- & human- readable form

14.  支持跨平台 Linux/FreeBSD/MacOS

项目地址

https://github.com/arut/nginx-rtmp-module

nginx-rtmp-module Directives

https://github.com/arut/nginx-rtmp-module/wiki/Directives

总的来说Nginx-RTMP是个比较轻量的项目，可以满足直播的采集，编码和分发工作，该项目丰富的完善了nginx对视频的支持，特别的nginx-rtmp实现了对HLS的支持。

3.2 编译nginx rtmp模块

编译安装，和其他nginx模块一样

./configure--add-module=/path/to/nginx-rtmp-module

对于HLS的支持，需要额外的一个模块 .

./configure--add-module=/path/to/nginx-rtmp-module--add-module=/path/to/nginx-rtmp-module/hls

3.3 配置以及功能介绍

RTMP 直播的一般格式是rtmp：//youdomain.com/app/name，其中app的名字对于application的名字，

1.      下列是直播的配置，app是live。

application live {

    live on;

}

2.    配置支持访问控制，你可以指定允许发布的IP以及允许收看的IP:

application live {

    live on;

    allow publish 127.0.0.1;

    deny publish all;

    allow play all;

3.   支持Multi-worker streaming工作方式，需要指令rtmp_auto_push on支持，这样nginx有多个worker的情况下，可以将流分发到多个进程进行处理，充分利用服务器资源。

rtmp_auto_push on;

rtmp {

    server {

        listen 1935;

        chunk_size 4000;

        # TV mode: one publisher, many subscribers

        application mytv {

            live on;

        }

    }

}

4. 流转码的功能，下面的例子使用了exec这种使用外部程序ffmpeg的功能.  Ffmpeg是一个强大的媒体处理工具，几乎可以做任意有关video/audio的处理。更多ffmpeg与RTMP流媒体连接用法可以参考以下链接。

http://www.chinavideo.org/viewthread.php?tid=15423

# Transcoding (ffmpeg needed)

application big {

            live on;

            # Multiple exec lines can be specified.

            exec /usr/bin/ffmpeg -re -i rtmp://localhost:1935/$app/$name -vcodec flv -acodec copy -s 32x32 -f flv rtmp://localhost:1935/small/${name};

}

application small {

            live on;

            # Video with reduced resolution comes here from ffmpeg

}

5.Push和pull模式，用在多个server协助的情况下，输出流可以push，输入流可以pull。

        application mypush {

            live on;

            # Every stream published here

            # is automatically pushed to 

            # these two machines

            push rtmp1.example.com;

            push rtmp2.example.com:1934;

        }

        application mypull {

            live on;

            # Pull all streams from remote machine

            # and play locally

            pull rtmp://rtmp3.example.com pageUrl=www.example.com/index.html;

        }

3.4 用nginx-rtmp-module搭建直播环境

1.      需要准备视频源，这个可以使用ffmpeg模拟，或者通过FMS采集。使用ffmpeg比较方便，例如ffmpeg -re -i /root/test123.flv -f flv rtmp://192.168.100.135/myapp/test，这样一条命令就可以发布一个直播源。

2.      配置nginx-rtmp，完成相关功能配置，可以参考以上描述。

3.      搭建客户端测试环境，本文测试播放器使用的是jwplayer

 

https://github.com/arut/nginx-rtmp-module项目里面test目录下有相关的播放器设置和配置文件。

配置文件

worker_processes  1;

error_log  logs/error.log debug;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;

#pid        logs/nginx.pid;


events {
    worker_connections  1024;
}


rtmp {

    server {

        listen 1935;

        chunk_size 128;

        publish_time_fix off;

        application myapp {

            live on;

            record keyframes;
         record_path /tmp;

            record_max_size 128K;
            record_interval 30s;

            record_suffix .flv;

            on_publish http://localhost:8080/publish;
            on_play http://localhost:8080/play;
            on_record_done http://localhost:8080/record_done;
        }

        application myapp2 {
            live on;
        }

#        application mypull {
#            live on;
#            pull myapp mystream localhost;
#        }

#        application mypush {
#            live on;
#            push myapp mystream localhost;
#            push myapp2 mystream localhost;
#        }
    }
}


http {

    server {

        listen      8080;

        location /publish {
            return 201;
        }

        location /play {
            return 202;
        }

        location /record_done {
            return 203;
        }

        location /stat {
            rtmp_stat all;
            rtmp_stat_stylesheet stat.xsl;
        }

        location /stat.xsl {
            root /home/rarutyunyan/nginx-rtmp-module/;
        }

        location /rtmp-publisher {
            root /home/rarutyunyan/nginx-rtmp-module/test;
        }
location / {
            root /home/rarutyunyan/nginx-rtmp-module/test/www;
        }


    }
}

测试用例：

/home/rarutyunyan/nginx-rtmp-module/test/rtmp-publisher

/home/rarutyunyan/nginx-rtmp-module/test/www

测试URL：

http://192.168.100.135:8080/index.html

http://192.168.100.135:8080/rtmp-publisher/player.html

效果：

支持的配置指令有很多，没有一一研究。参见：

https://github.com/arut/nginx-rtmp-module/wiki/Directives

max_streams

syntax: max_streams value
context: rtmp, server

Setsmaximum number of RTMP streams. Data streams are multiplexed into a single datastream. Different channels are used for sending commands, audio, video etc.Default value is 32 which is usually ok for many cases.

exec

Syntax: exec command arg*
Context: rtmp, server, application

Specifiesexternal command with arguments to be executed on every stream published. Whenpublishing stops the process is terminated. Full path to binary should bespecified as the first argument. There are no assumptions about what thisprocess should do. However this feature is useful with ffmpeg for streamtranscoding. FFmpeg is supposed to connect to nginx-rtmp as a client and outputtranscoded stream back to nginx-rtmp as publisher. Substitutions of form$var/${var} can be used within command line:

·        $name - stream name

·        $app - application name

·        $addr - client address

·        $flashver - client flashversion

·        $swfurl - client swf url

·        $tcurl - client tc url

·        $pageurl - client page url

Thefollowing ffmpeg call transcodes incoming stream to HLS-ready stream(H264/AAC). FFmpeg should be compiled with libx264 & libfaac support forthis example to work.

3.5 Nginx rtmp对于HLS支持

HTTP Live Streaming（缩写是 HLS）是一个由苹果公司提出的基于HTTP的流媒体网络传输协议。是苹果公司QuickTime X和iPhone软件系统的一部分。它的工作原理是把整个流分成一个个小的基于HTTP的文件来下载，每次只下载一些。当媒体流正在播放时，客户端可以选择从许多不同的备用源中以不同的速率下载同样的资源，允许流媒体会话适应不同的数据速率。在开始一个流媒体会话时，客户端会下载一个包含元数据的extended M3U (m3u8) playlist文件，用于寻找可用的媒体流。

HLS只请求基本的HTTP报文，与实时传输协议（RTP)不同，HLS可以穿过任何允许HTTP数据通过的防火墙或者代理服务器。它也很容易使用内容分发网络来传输媒体流。

此协议详细内容请参考apple官方网站：https://developer.apple.com/resources/http-streaming/

搭建HLS server方式有以下三种：

1.      利用apple SDK，

2.      利用adobe 的fms，4.5版本支持hls,可以参考，

http://www.adobe.com/products/flash-media-streaming/features._sl_id-contentfilter_sl_featuredisplaytypes_sl_new.html

利用其他商业软件也可以比如wowza。

3.    一种是利用opensouce.Nginx-rtmp。

下面主要是Nginx-RTMP对HLS直播的支持。

 

HTTP Live Streaming (HLS)is an HTTP-based media streaming communications protocol implemented by AppleInc.
If you are interested in any of the following:

·        Streaming audio or video toiPhone, iPod touch, iPad, or Apple TV

·        Streaming live events withoutspecial server software

·        Sending video on demand withencryption and authentication

图5 HLS（HTTP Live Streaming）

使用nginx-rtmp完成hls支持，需要额外的segmenter支持，该工具可以将文件分割成 ts小文件并且产生m3u8列表。项目地址：https://github.com/johnf/m3u8-segmenter。

下载编译只需要编译m3u8-segmenter.c即可，需要libc2.5以上支持。l

流化可以支持以下两种。第一种尚未找到具体方法，下面的实例是采用第二种基于文件的。

Stream Segmenter

Stream Segmenter reads live broadcast from network(normally udpprotocol) and publish HTTP Live Streaming into the internet. It reads theTransport Stream from the network and divides it into a series of small mediafiles of equal duration. Even though each segment is in a separate file, videofiles are made from a continuous stream which can be reconstructed seamlessly.

The segmenter also creates an index file containing references tothe individual media files. Each time the segmenter completes a new media file,the index file is updated. The index is used to track the availability andlocation of the media files. 
Media segments are saved as .ts files (MPEG-2 transport stream files). Indexfiles are saved as .M3U8 playlists.

File Segmenter

File Segmenter allows you to use a library of existing audio andvideo files for sending video on demand via HTTP Live Streaming. The FileSegmenter performs the same tasks as the Stream Segmenter, but it takes filesas input instead of streams.

Our File Segmenter supports MP4,TS, MOV, FLV and some otherfile formats. If you already have a media file encoded using supportedcodecs(H.264 + AAC or H.264 + MP3), you needn't to re-encode it, otherwise, youneed to re-encode the video or audio. The File Segmenter has two work mode:re-encode and no-re-encode.

 

1.      使用ffmpeg + segmenter：首先转化成ts文件，然后分割

ffmpeg -loglevel quiet  -i cctv1.ts -f mpegts - | segmenter -i - -d 10 -p /tmp/app/big_buck_bunny -m/tmp/app/big_buck.m3u8 -u http://inodes.org/hls/

2.       高版本的ffmpeg可以直接转化

参考链接：http://1.richitec.sinaapp.com/?p=64

ffmpeg -i test456.mp4 -f  segment -segment_time 10  -segment_format mpegts -segment_listlist_file.m3u8 -codec copy -bsf:v h264_mp4toannexb -map 0 output_file-%d.ts

HLS相关配置如下     

application hls {

               hls on;

               hls_path /tmp/app;

               hls_fragment 10s;

      }

      location /hls {
      # Serve HLS fragments
          alias /tmp/app;

      }

使用vlc测试。

测试成功。