【GStreamer开发】GStreamer基础教程12——流

目标

      直接播放Internet上的文件而不在本地保存就被称为流播放。我们在前面教程里已经这样做过了，使用了http://的URL。本教程展示的是在播放流的时候需要记住的几个点，特别是：

      如何设置缓冲

      如何从打断中恢复（因为失去了时钟）

介绍

      当在播放流的时候，一旦从网络上取到媒体数据块就会进行解码和放入显示队列。这意味着如果网络来的数据延迟了，那么显示队列就可能没有数据，播放就会停下来。

      解决这个问题的办法是建立缓冲，这就是说，在开始播放前允许队列里已经存储了一些数据。这样的话，播放虽然晚了一点开始，但如果网络有什么延时，那么还有一定的缓冲数据可以播放。

      这个方案已经在GStreamer里面实现了，但前面的教程中没有涉及到这个方面。有些element，像在playbin2里面用到的queue2和multiqueue，都可以建立自己的缓冲然后根据缓冲的等级发送消息到总线上。一个应用如果希望能更好的适应各种网络环境，那么就该关注这些消息，当缓冲等级低到一定程度时就要暂停播放。

      为了在多个sink中同步，我们使用了一个全局的时钟。这个时钟是GStreamer在所有的可以提供时钟的element中选出来的。在某些情况下，例如，一个RTP资源切换流或者更换输出设备，那么时钟就可能丢失。这时就需要重新建立一个时钟，这个过程在本教程会解释一下。

      当时钟丢失的时候，应用会从总线上得到一个消息。要建立一个新的时钟，应用仅仅把pipeline设置到PAUSED状态然后重新置成PLAYING即可。

一个适应网络的例子

<span style="font-size:14px;">#include <gst/gst.h>
#include <string.h>

typedef struct _CustomData {
  gboolean is_live;
  GstElement *pipeline;
  GMainLoop *loop;
} CustomData;

static void cb_message (GstBus *bus, GstMessage *msg, CustomData *data) {

  switch (GST_MESSAGE_TYPE (msg)) {
    case GST_MESSAGE_ERROR: {
      GError *err;
      gchar *debug;

      gst_message_parse_error (msg, &err, &debug);
      g_print ("Error: %s
", err->message);
      g_error_free (err);
      g_free (debug);

      gst_element_set_state (data->pipeline, GST_STATE_READY);
      g_main_loop_quit (data->loop);
      break;
    }
    case GST_MESSAGE_EOS:
      /* end-of-stream */
      gst_element_set_state (data->pipeline, GST_STATE_READY);
      g_main_loop_quit (data->loop);
      break;
    case GST_MESSAGE_BUFFERING: {
      gint percent = 0;

      /* If the stream is live, we do not care about buffering. */
      if (data->is_live) break;

      gst_message_parse_buffering (msg, &percent);
      g_print ("Buffering (%3d%%)
", percent);
      /* Wait until buffering is complete before start/resume playing */
      if (percent < 100)
        gst_element_set_state (data->pipeline, GST_STATE_PAUSED);
      else
        gst_element_set_state (data->pipeline, GST_STATE_PLAYING);
      break;
    }
    case GST_MESSAGE_CLOCK_LOST:
      /* Get a new clock */
      gst_element_set_state (data->pipeline, GST_STATE_PAUSED);
      gst_element_set_state (data->pipeline, GST_STATE_PLAYING);
      break;
    default:
      /* Unhandled message */
      break;
    }
}

int main(int argc, charchar *argv[]) {
  GstElement *pipeline;
  GstBus *bus;
  GstStateChangeReturn ret;
  GMainLoop *main_loop;
  CustomData data;

  /* Initialize GStreamer */
  gst_init (&argc, &argv);

  /* Initialize our data structure */
  memset (&data, 0, sizeof (data));

  /* Build the pipeline */
  pipeline = gst_parse_launch ("playbin2 uri=http://docs.gstreamer.com/media/sintel_trailer-480p.webm", NULL);
  bus = gst_element_get_bus (pipeline);

  /* Start playing */
  ret = gst_element_set_state (pipeline, GST_STATE_PLAYING);
  if (ret == GST_STATE_CHANGE_FAILURE) {
    g_printerr ("Unable to set the pipeline to the playing state.
");
    gst_object_unref (pipeline);
    return -1;
  } else if (ret == GST_STATE_CHANGE_NO_PREROLL) {
    data.is_live = TRUE;
  }

  main_loop = g_main_loop_new (NULL, FALSE);
  data.loop = main_loop;
  data.pipeline = pipeline;

  gst_bus_add_signal_watch (bus);
  g_signal_connect (bus, "message", G_CALLBACK (cb_message), &data);

  g_main_loop_run (main_loop);

  /* Free resources */
  g_main_loop_unref (main_loop);
  gst_object_unref (bus);
  gst_element_set_state (pipeline, GST_STATE_NULL);
  gst_object_unref (pipeline);
  return 0;
}</span>

工作流程

      这个例子中唯一特殊的是对特定消息的相互作用， 因此，初始化代码非常简单清晰。唯一新加的一点就是对实时流的检测：

<span style="font-size:14px;">  /* Start playing */
  ret = gst_element_set_state (pipeline, GST_STATE_PLAYING);
  if (ret == GST_STATE_CHANGE_FAILURE) {
    g_printerr ("Unable to set the pipeline to the playing state.
");
    gst_object_unref (pipeline);
    return -1;
  } else if (ret == GST_STATE_CHANGE_NO_PREROLL) {
    data.is_live = TRUE;
  }</span>

      实时流是不能暂停的，所以在PAUSED状态的行为和PLAYING状态是一样的。在设置实时流到PAUSED成功后，会返回GST_STATE_CHANGE_NO_PREROLL，而不是平常的GST_STATE_CHANGE_SUCCESS。因为状态的变化是渐变的（从NULL到READY，从PAUSED到PLAYING），所以我们把pipeline设置到PLAYING状态，也会收到NO_PROROLL这个返回值。

      我们关注实时流是因为我们希望可以关闭缓冲，所以我们一直在关注gst_element_set_state()的返回值并根据这个值来设置is_live变量。

      现在我们看一下消息解析的回调函数里的关键部分：

case GST_MESSAGE_BUFFERING: {
  gint percent = 0;

  /* If the stream is live, we do not care about buffering. */
  if (data->is_live) break;

  gst_message_parse_buffering (msg, &percent);
  g_print ("Buffering (%3d%%)
", percent);
  /* Wait until buffering is complete before start/resume playing */
  if (percent < 100)
    gst_element_set_state (data->pipeline, GST_STATE_PAUSED);
  else
    gst_element_set_state (data->pipeline, GST_STATE_PLAYING);
  break;
}

      首先，如果是一个实时源，就不用关心这个缓冲消息。

      我们使用gst_message_parse_buffering()来解析缓冲消息，从而获得缓冲等级。

      其次，我们在缓冲等级小于100%时把pipeline设置成PAUSED状态，并把消息在调试区域打印出来；反之，我们就把pipeline设置成PLAYING状态。

      在启动的时候，我们会看见在播放之前缓冲等级上升到100%，这就是我们希望达到的。如果在后面，网络变慢了或者失去响应，我们的缓冲也耗光了，我们会收到新的缓冲消息告诉我们缓冲等级已经低于100%，我们就把pipeline设置成PAUSED知道重新获得足够的数据。

case GST_MESSAGE_CLOCK_LOST:
  /* Get a new clock */
  gst_element_set_state (data->pipeline, GST_STATE_PAUSED);
  gst_element_set_state (data->pipeline, GST_STATE_PLAYING);
  break;

      对于丢失时钟这个网络问题，我们简单地把pipeline设置成PAUSED状态然后在切换到PLAYING，这样一个新的时钟会被选择上，等待收到新的媒体数据。