H.264采集、编码、传输的流程

转载自H.264采集、编码、传输的流程  

1 采集到的原始数据放入buf中
2 转化为yuv格式放入yuv
conv.RGB24_to_YV12(buf, yuv,IMAGE_WIDTH, IMAGE_HEIGHT) ;
3 调用编码器进行编码
3.1 从yuv中读取数据到m_pic
read_frame_yuv( &m_Pic, m_pOpt->hin, i_Frame + m_pOpt->i_seek )
m_pOpt->hin即为yuv
3.2 将m_pic编码成nal格式数据
x264_encoder_encode( m_pEnc, &nal, &i_nal, pic, &pic_out )
m_pEnc为编码器句柄
nal为一个数组（一帧可能被编码成多个nal）
3.3 将多个nal格式的数据读到一个m_pdata
x264_nal_encode( m_pData, &i_data, 1, &nal[i] )
1、加上startcode
2、写入nal头部
3、拷贝payload部分
3.4 将m_pdata中数据拷入hout中
write_nalu_bsf( hout, m_pData, i_size ,i_file,dec_out)
dec_out为一块公共数据区域，存放一帧的解码结果，也就是说其中可能包含几个nal的数据
4 调用解码器解码
pdecoder->Decode_frame((char *)VideoCodeDest,inLen,(char *)VideoRGB);
VideoCodeDest为一块公共数据区域，存放一帧的解码结果，也就是说其中可能包含几个nal的数据
输出放到VideoRGB
4.1 取出一个nal的数据去解码
nalLen=GetNextNal(inLen);
通过识别startcode取出一个nal的数据，存放在buf中

consumed_bytes=avcodec_decode_video(avc, picture, &got_picture,(unsigned char*)Buf, nalLen);
avc为编码器句柄
picture存放解码结果
got_picture：没有帧可以被解码则为0


= 有个关键问题
当一帧的原始图像被编码成几个nal：
1.在test264的例子中看到，这几个nal被一块处理，可能会共同写入到结果缓冲区中
2.那么是否这几个nal被解码的结果都是consumed_bytes>0？
3.我的猜想是几个nal的解码结果只有其中一个consumed_bytes>0，其余只会提供参考信息给解码器。
4.是要将nal以流形式还是包形式传输？
第一帧编解码结果：
+ nal[0] {i_ref_idc=0 i_type=6 i_payload=368 ...} x264_nal_t 没有帧被解码
+ nal[1] {i_ref_idc=3 i_type=7 i_payload=19 ...} x264_nal_t 没有帧被解码
+ nal[2] {i_ref_idc=3 i_type=8 i_payload=3 ...} x264_nal_t 没有帧被解码
+ nal[3] {i_ref_idc=3 i_type=5 i_payload=2388 ...} x264_nal_t 被解码
第二帧编解码结果：
+ nal[0] {i_ref_idc=2 i_type=1 i_payload=1278 ...} x264_nal_t 被解码
第n帧编解码结果：
+ nal[0] {i_ref_idc=3 i_type=7 i_payload=19 ...} x264_nal_t 被解码
+ nal[1] {i_ref_idc=3 i_type=8 i_payload=3 ...} x264_nal_t 被解码
+ nal[2] {i_ref_idc=3 i_type=5 i_payload=2342 ...} x264_nal_t 被解码


优先级i_ref_idc为：
enum nal_priority_e
{
NAL_PRIORITY_DISPOSABLE = 0,
NAL_PRIORITY_LOW = 1,
NAL_PRIORITY_HIGH = 2,
NAL_PRIORITY_HIGHEST = 3,
};
nal类型i_type为：
enum nal_unit_type_e
{
NAL_UNKNOWN = 0,
NAL_SLICE = 1,
NAL_SLICE_DPA = 2,
NAL_SLICE_DPB = 3,
NAL_SLICE_DPC = 4,
NAL_SLICE_IDR = 5,
NAL_SEI = 6,
NAL_SPS = 7,
NAL_PPS = 8,
NAL_AUD = 9,

};