音视频技术应用(17) 开启DXVA2硬件加速, 并使用SDL显示

实现了使用DXVA2 进行硬件加速，并且使用SDL渲染h264格式的视频, 视频大小为400x300。

一. 示例Code

test_decode_view_hw.cpp

#include <iostream>
#include <fstream>
#include <string>
#include "xvideo_view.h"

using namespace std;


extern "C" { // 指定函数是C语言函数，以C语言的方式去编译
#include <libavcodec/avcodec.h>
#include <libavutil/opt.h>
}

// 以预处理指令的方式导入库
#pragma comment(lib, "avcodec.lib")
#pragma comment(lib, "avutil.lib")


int main(int argc, char* argv[])
{

    // 创建一个XVideoView
    auto view = XVideoView::Create();

    // 分割H264存入AVPacket
    string filename = "test.h264";
    ifstream ifs(filename, ios::binary);
    if (!ifs) return -1;

    unsigned char inbuf[4096] = {0};

    AVCodecID codec_id = AV_CODEC_ID_H264;

    // 1. 查找解码器
    auto codec = avcodec_find_decoder(codec_id);
    
    // 2. 根据解码器创建解码器上下文
    auto c = avcodec_alloc_context3(codec);
    

    //////////////////////////////////////////////////
    /// 硬件加速部分

    auto hw_type = AV_HWDEVICE_TYPE_DXVA2;

    // 打印所有支持的硬件加速方式
    for (int i = 0;; i++)
    {
        auto config = avcodec_get_hw_config(codec, i);
        if (!config) break;
        if (config->device_type)
            cout << av_hwdevice_get_type_name(config->device_type) << endl;
    }

    // 初始化硬件加速上下文
    AVBufferRef* hw_ctx = nullptr;
    av_hwdevice_ctx_create(&hw_ctx, hw_type, nullptr, nullptr, 0);

    // 开启硬件加速
    c->hw_device_ctx = av_buffer_ref(hw_ctx);
    
    // 开启多线程解码
    c->thread_count = 16;

    // 3. 打开解码器
    avcodec_open2(c, nullptr, nullptr);

    // 分割上下文
    auto parser = av_parser_init(codec_id);
    auto pkt = av_packet_alloc();
    auto frame = av_frame_alloc();
    auto hw_frame = av_frame_alloc();               // 硬解码转换用，未来会把显存中的数据转换到此frame中

    auto begin = NowMs();

    int count = 0;                                  // 当前解码的帧数

    bool is_init_window = false;                    // 标志位，用于标识窗口是否已经初始化

    while (!ifs.eof())
    {
        ifs.read((char *)inbuf, sizeof(inbuf));

        if (ifs.eof())
        {
            ifs.clear();
            ifs.seekg(0, ios::beg);
        }

        int data_size = ifs.gcount();               // 读取的字节数
        if (data_size <= 0) break;

        auto data = inbuf;
        
        while (data_size > 0)                       // 一次可能有多帧数据
        {
            // 通过0001 截断输出到AVPacket 返回值代表帧的大小
            int ret = av_parser_parse2(parser, c, 
                &pkt->data, &pkt->size,             // 输出数据
                data, data_size,                   // 输入数据
                AV_NOPTS_VALUE, AV_NOPTS_VALUE, 0
            );

            // 移动指针位置
            data += ret;

            data_size -= ret;                       // 已处理数据

            if (pkt->size)
            {
                // cout << pkt->size << " " << flush;

                ret = avcodec_send_packet(c, pkt);
                if (ret < 0) break;

                // 获取多帧解码数据
                while (ret >= 0)
                {
                    // 每次都会调用av_frame_unref;
                    ret = avcodec_receive_frame(c, frame);
                    if (ret < 0) break;
                   
                    auto pframe = frame;
                    if (c->hw_device_ctx) // 如果设置了 hw_device_ctx 成员，则认为是硬件解码
                    {
                        // 硬解码出来的数据转换 GPU->CPU (从显存复制到内存，不想复制的话可以直接使用DX渲染)
                        av_hwframe_transfer_data(hw_frame, frame, 0);
                        
                        // 注意转换后的数据格式会变成NV12格式 (AV_PIX_FMT_NV12)
                        pframe = hw_frame;
                    }

                    cout << pframe->format << " " << flush;

                    if (!is_init_window)
                    {
                        // 根据第一帧的宽高来初始化窗口，若窗口已初始化，则将此标志位置为true
                        is_init_window = true;
                        view->Init(pframe->width, pframe->height, (XVideoView::Format)pframe->format);
                    }

                    view->DrawFrame(pframe);

                    // 解码成功后累积帧数
                    count++;

                    auto cur = NowMs();
                    if (cur - begin > 1000)                  // 每1秒计算一次
                    {
                        cout << "\nfps = " << count << endl;
                        // 重置起始时间
                        count = 0;
                        begin = cur;
                    }

                }
            }
        }

    }

    // 取出缓存数据，确保所有数据都能够得到解码
    int ret = avcodec_send_packet(c, NULL);

    while (ret >= 0)
    {
        ret = avcodec_receive_frame(c, frame);
        if (ret < 0) break;

        cout << frame->format << "-" << flush;
    }

    av_parser_close(parser);
    avcodec_free_context(&c);
    av_frame_free(&frame);
    av_packet_free(&pkt);

    return 0;
}

xvideo_view.h

#ifndef XVIDEO_VIEW_H
#define XVIDEO_VIEW_H

#include <mutex>
#include <fstream>

/**
 * @brief 自定义休眠函数
 * @param ms 休眠时间
*/
void MSleep(unsigned int ms);

/**
 * @brief 获取当前时间戳(单位是毫秒)
 * @return 当前时间戳
*/
long long NowMs();

struct AVFrame;
class XVideoView
{
public:

    /**
     * @brief 定义所有支持的图像的像素格式
    */
    enum Format                                    // 枚举中的值与FFmpeg中像素格式定义的值保持一致
    {
        YUV420P = 0,
        NV12 = 23,
        ARGB = 25,
        RGBA = 26,
        BGRA = 28
    };

    enum RenderType
    {
        SDL = 0
    };

    static XVideoView* Create(RenderType type = SDL);

    /**
     * @brief                    初始化渲染接口(线程安全)        可以多次调用
     * @param w                    窗口宽度
     * @param h                    窗口高度
     * @param fmt                绘制的像素格式(要绘制的图像的像素格式)
     * @param win_id            窗口句柄，如果为空，则创建窗口
     * @return                    是否创建成功
    */
    virtual bool Init(int w, int h, Format fmt = RGBA) = 0;

    /**
     * @brief 清理所有申请的资源，包括关闭窗口            线程安全
    */
    virtual void Close() = 0;

    /**
     * @brief                    渲染图像, 这里渲染的一帧完整的图像(线程安全)
     * @param data                渲染的二进制数据
     * @param linesize            一行数据的字节数，对于YUV420P的数据格式，就是Y一行的字节数, 如果linesize <= 0, 则根据宽度和像素格式自动算出大小
     * @return                    是否渲染成功
    */
    virtual bool Draw(const unsigned char *data, int linesize = 0) = 0;

    /**
     * @brief                    渲染图片，这里是对Y/U/V数据分别进行渲染(线程安全)
     * @param y                    Y分量的数据
     * @param y_pitch            Y 的个数
     * @param u                    U分量的数据
     * @param u_pitch            U的个数
     * @param v                    V分量的数据
     * @param v_pitch            V的个数
     * @return                    绘制的结果
    */
    virtual bool Draw(const unsigned char *y, int y_pitch, 
                      const unsigned char *u, int u_pitch,
                      const unsigned char *v, int v_pitch
    ) = 0;

    /**
     * @brief 提供一个接口用于显示缩放
     * @param w 实际显示的宽度
     * @param h 实际显示的高度
    */
    void Scale(int w, int h)
    {
        scale_w_ = w;
        scale_h_ = h;
    }

    /**
     * @brief 绘制AVFrame中的数据
     * @param frame AVFrame对象
     * @return 绘制结果
    */
    bool DrawFrame(AVFrame *frame);

    /**
     * @brief 处理窗口退出事件
     * @return 是否已退出
    */
    virtual bool isExit() = 0;

    /**
     * @brief 返回当前视频帧率
     * @return    当前视频帧率
    */
    int render_fps() { return render_fps_; }

    /**
     * @brief 打开文件
     * @param filepath    文件路径 
     * @return 打开结果
    */
    bool Open(std::string filepath);

    /**
     * @brief 读取一帧数据并返回AVFrame空间
     * @return 新读取的AVFrame数据，读取失败则返回nullptr
    */
    AVFrame* Read();

    /**
     * @brief 设置当前关联的窗口句柄
     * @param win 设置的窗口句柄
    */
    void set_win_id(void* win) { win_id_ = win; }

    // 注意，父类的析构函数必须定义成虚函数，避免父类指向子类对象时, 子类的析构不会调用
    virtual ~XVideoView();

protected:
    void* win_id_ = nullptr;                        // 当前关联的窗口句柄
    int render_fps_ = 0;                            // 当前视频帧率
    int width_ = 0;                                    // 材质的宽度
    int height_ = 0;                                // 材质的高度
    Format fmt_ = RGBA;                                // 像素格式

    std::mutex    mtx_;                                // 用于确保线程安全

    int scale_w_ = 0;                                // 实际显示的宽度
    int scale_h_ = 0;                                // 实际显示的高度

    long long beg_ms_ = 0;                            // 计时的开始时间
    int count_ = 0;                                    // 统计显示次数

private:
    std::ifstream ifs_;                                // 读取文件的流
    AVFrame* frame_ = nullptr;                        // 读取的AVFrame数据
    unsigned char* cache_ = nullptr;                // 复制NV12数据的缓冲
};


#endif 

xvideo_view.cpp

#include "xvideo_view.h"
#include "xsdl.h"

#include <iostream>

using namespace std;

extern "C"
{
#include <libavcodec/avcodec.h>
}

#pragma comment(lib, "avutil.lib")

XVideoView* XVideoView::Create(RenderType type)
{
    switch (type)
    {
    case XVideoView::SDL:
        return new XSDL();
        break;
    default:
        break;
    }


    // 如果不支持的话，就直接返回nullptr
    return nullptr;
}

XVideoView::~XVideoView()
{
    if (cache_)
        delete cache_;
    cache_ = nullptr;
}


bool XVideoView::DrawFrame(AVFrame* frame)
{
    if (!frame)
    {
        cout << "input frame can not be null" << endl;
        return false;
    }

    // 累积显示次数
    count_++;

    if (beg_ms_ <= 0)
    {
        beg_ms_ = clock();                                                // 开始计时
    }
    else if ((clock() - beg_ms_) / (CLOCKS_PER_SEC / 1000) >= 1000)        // 1s 计算一次fps
    {
        render_fps_ = count_;
        count_ = 0;
        beg_ms_ = clock();                                                // 重新计时
    }

    int linesize = 0;
    switch (frame->format)
    {
    case AV_PIX_FMT_YUV420P:
        return Draw(frame->data[0], frame->linesize[0],                // Y
                    frame->data[1], frame->linesize[1],                // U
                    frame->data[2], frame->linesize[2]                // V
        );
    case AV_PIX_FMT_NV12:
        if (!cache_)
        {
            // 若空间尚未分配，则申请一块较大的空间(4K的一幅图像的大小)
            cache_ = new unsigned char[4096 * 2160 * 1.5];
        }

        // PS: 注意！这里面涉及到一个内存对齐的问题！
        // 如果是400x300的YUV420P/NV12格式，它的linesize很可能会被FFmpeg自动进行字节对齐, 即当图像尺寸为400x300时，它的linesize可能
        // 不是400，而是416(假设ffmpeg是以16字节进行对齐)
        // 而在使用SDL进行渲染时，linesize若传递416，很可能导致渲染出现问题，为了避免出现这种情况，下面提供了一种逐行复制的策略。
        
        // 下面的内存拷贝主要目的是为了让数据是连续的
        linesize = frame->width;
        if (frame->linesize[0] == frame->width)
        {
            // ---------------- 若linesize与图像的宽度一致，说明未发生字节对齐 --------------- 
            // 拷贝所有Y分量
            memcpy(cache_, frame->data[0], frame->linesize[0] * frame->height); 
            // 拷贝所有的UV分量
            memcpy(cache_ + frame->linesize[0] * frame->height, frame->data[1], frame->linesize[1] * frame->height / 2);
        }
        else
        {
            // ---------------- 若linesize与图像的宽度一致，说明发生了字节对齐 --------------- 
            // 使用逐行拷贝的方式
            // 拷贝所有的Y分量
            for (int i = 0; i < frame->height; i++)
            {
                memcpy(cache_ + i * frame->width, 
                    frame->data[0] + i * frame->linesize[0], 
                    frame->width // 注意只需要拷贝frame->width个数即可，丢弃因为对齐产生的多余数据
                );
            }

            // 拷贝所有UV分量
            for (int i = 0; i < frame->height / 2; i++)
            {
                // 将指针定位到所有Y分量数据的结尾处，从所有Y分量数据的结尾处开始拷贝UV分量
                auto p = cache_ + frame->width * frame->height;
                memcpy(p + i * frame->width,
                    frame->data[1] + i * frame->linesize[1],
                    frame->width // 注意只需要拷贝frame->width个数即可，丢弃因为对齐产生的多余数据
                );
            }
        }

        return Draw(cache_, linesize);
    case AV_PIX_FMT_RGBA:
    case AV_PIX_FMT_BGRA:
    case AV_PIX_FMT_ARGB:
        return Draw(frame->data[0], frame->linesize[0]);
    default:
        break;
    }

    return false;
}

/**
 * @brief 返回当前时间戳
 * @return 当前时间戳
*/
long long NowMs()
{
    // 注意!!! 这里不要直接返回clock(), 这样的话只能在windows中当中使用，因为这个函数在windows当中返回的是毫秒数
    // 但是在linux当中这个值返回的是微秒数，所以需要除以 (CLOCKS_PER_SEC / 1000)
    // 因为在linux当中 CLOCKS_PER_SEC 这个值返回的是1000000, 但是在windows当中这个值返回的是1000.
    // 这样可以最大限度地保证兼容性和跨平台
    return clock() / (CLOCKS_PER_SEC / 1000);
}

AVFrame* XVideoView::Read()
{
    // 如果宽度小于0，高度小于0，且文件未成功打开，则直接返回
    if (width_ <= 0 || height_ <= 0 || !ifs_) return nullptr;

    // 若AVFrame内存空间已申请，但参数发生变化，则需要释放空间
    // 因为用户可能通过界面上的文本输入框重新设定图像大小
    if (frame_)
    {
        if (frame_->width != width_ ||
            frame_->height != height_ ||
            frame_->format != fmt_)
        {
            // 说明用户重新选择了界面参数(宽，高，像素格式)，需要释放AVFrame空间
            av_frame_free(&frame_);
        }
    }

    // 若frame为空，则重新申请
    if (!frame_)
    {
        frame_ = av_frame_alloc();
        frame_->width = width_;
        frame_->height = height_;
        frame_->format = fmt_;

        frame_->linesize[0] = width_ * 4;            // 默认像素格式为RGBA
        if (frame_->format == AV_PIX_FMT_YUV420P)
        {
            frame_->linesize[0] = width_;            // Y
            frame_->linesize[1] = width_ / 2;        // U
            frame_->linesize[2] = width_ / 2;        // V
        }

        // 生成AVFrame的buff空间，使用默认对齐方式
        auto re = av_frame_get_buffer(frame_, 0);
        if (re != 0)
        {
            char buf[1024] = { 0 };
            av_strerror(re, buf, sizeof(buf) - 1);
            cout << buf << endl;
            av_frame_free(&frame_);
            return nullptr;
        }
    }

    if (!frame_) return nullptr;

    // 读取一帧数据
    if (frame_->format == AV_PIX_FMT_YUV420P)
    {
        ifs_.read((char*)frame_->data[0], frame_->linesize[0] * height_);            // 读取Y
        ifs_.read((char*)frame_->data[1], frame_->linesize[1] * height_ / 2);        // 读取U
        ifs_.read((char*)frame_->data[2], frame_->linesize[2] * height_ / 2);        // 读取V
    }
    else
    {
        ifs_.read((char *)frame_->data[0], frame_->linesize[0] * height_);
    }

    // 如果读取到文件末尾，则直接返回
    if (ifs_.gcount() == 0)
        return nullptr;

    // 否则返回读取后的AVFrame数据
    return frame_;
}

bool XVideoView::Open(std::string filepath)
{
    if (ifs_.is_open())
    {
        ifs_.close();
    }

    ifs_.open(filepath, ios::binary);

    return ifs_.is_open();
}

xsdl.h

#ifndef XSDL_H
#define XSDL_H

#include "xvideo_view.h"

struct SDL_Window;
struct SDL_Renderer;
struct SDL_Texture;
class XSDL : public XVideoView
{

public:
    /**
    * @brief                    初始化渲染接口(线程安全)
    * @param w                    窗口宽度
    * @param h                    窗口高度
    * @param fmt                绘制的像素格式(要绘制的图像的像素格式)
    * @param win_id                窗口句柄，如果为空，则创建窗口
    * @return                    是否创建成功
    */
    bool Init(int w, int h, Format fmt = RGBA) override;

    /**
     * @brief                    清理的接口
    */
    void Close() override;

    /**
     * @brief                    渲染图像(线程安全)
     * @param data                渲染的二进制数据
     * @param linesize            一行数据的字节数，对于YUV420P的数据格式，就是Y一行的字节数, 如果linesize <= 0, 则根据宽度和像素格式自动算出大小
     * @return                    是否渲染成功
    */
    bool Draw(const unsigned char* data, int linesize = 0) override;

    /**
     * @brief                    渲染图片，这里是对Y/U/V数据分别进行渲染(线程安全)
    * @param y                    Y分量的数据
    * @param y_pitch            Y 的个数
    * @param u                    U分量的数据
    * @param u_pitch            U的个数
    * @param v                    V分量的数据
    * @param v_pitch            V的个数
    * @return                    绘制的结果
    */
    bool Draw(const unsigned char* y, int y_pitch,
        const unsigned char* u, int u_pitch,
        const unsigned char* v, int v_pitch
    ) override;

    /**
     * @brief 处理窗口退出事件
     * @return 是否已退出
    */
    bool isExit() override;

private:
    SDL_Window* win_ = nullptr;
    SDL_Renderer* render_ = nullptr;
    SDL_Texture* texture_ = nullptr;
};


#endif

xsdl.cpp

#include "xsdl.h"

#include <iostream>
#include <thread>

#include <sdl/SDL.h>

#pragma comment(lib, "SDL2.lib")

using namespace std;


void MSleep(unsigned int ms)
{
    auto beg = clock();
    for (int i = 0; i < ms; i++)
    {
        this_thread::sleep_for(1ms);
        if ((clock() - beg) / (CLOCKS_PER_SEC / 1000) >= ms)
            break;
    }
}


/**
 * @brief 初始化视频库
 * @return 初始化结果
*/
static bool InitVideo()
{
    static bool is_first = true;

    // 这里使用的是静态变量，表示多次进来使用的是同一个对象
    static mutex mux;
    unique_lock<mutex> sdl_lock(mux);

    // 表示已经初始化过了
    if (!is_first) return true;
    
    if (SDL_Init(SDL_INIT_VIDEO))
    {
        cout << SDL_GetError() << endl;
        return false;
    }

    // 设定缩放算法， 解决锯齿问题，这里采用的是线性插值算法
    // "0": 临近插值算法
    // "1": 线性插值算法
    // "2"：目前与线性插值算法一致
    SDL_SetHint(SDL_HINT_RENDER_SCALE_QUALITY, "1");
    return true;
}

bool XSDL::Init(int w, int h, Format fmt)
{
    // 判断输入的参数是否合法
    if (w <= 0 || h <= 0)
    {
        cout << "input width or height is error " << endl;
        return false;
    }


    // 初始化SDL Video 库
    if (!InitVideo())
    {
        cout << "init video failed" << endl;
        return false;
    }

    // 确保线程安全
    // unique_lock 相当于是在栈中分配了一个对象 sdl_lock, 只要这个对象一出栈，
    // 就会自动调用析构函数，它在析构函数中会调用 mtx_的 unlock()方法
    unique_lock<mutex> sdl_lock(mtx_);

    width_ = w;
    height_ = h;
    fmt_ = fmt;

    // 如果再次初始化时发现材质和渲染器已存在，则先对其进行销毁
    // 这样做的目的是为了保证多次初始化能够成功
    if (texture_)
    {
        SDL_DestroyTexture(texture_);
    }

    if (render_)
    {
        SDL_DestroyRenderer(render_);
    }

    // 1. 创建SDL窗口
    if (!win_)
    {
        if (!win_id_)
        {
            // 如果用户没有给出创建窗口的句柄，那我们就自行创建一个新的窗口
            win_ = SDL_CreateWindow("", 
                SDL_WINDOWPOS_UNDEFINED, 
                SDL_WINDOWPOS_UNDEFINED,
                width_,
                height_,
                SDL_WINDOW_OPENGL | SDL_WINDOW_RESIZABLE
            );
        }
        else
        {
            // 如果用户给定了创建窗口的句柄，则将画面渲染到用户的给定的控件窗口
            win_ = SDL_CreateWindowFrom(win_id_);
        }
    }

    if (!win_)
    {
        cerr << SDL_GetError() << endl;
        return false;
    }

    // 2. 创建渲染器
    render_ = SDL_CreateRenderer(win_, -1, SDL_RENDERER_ACCELERATED);
    if (!render_)
    {
        cerr << SDL_GetError() << endl;
        return false;
    }

    // 3. 创建材质 (存在于显存当中)
    unsigned int sdl_fmt = SDL_PIXELFORMAT_RGBA8888;
    switch (fmt)
    {
    case XVideoView::RGBA:
        sdl_fmt = SDL_PIXELFORMAT_RGBA32;
        break;
    case XVideoView::BGRA:
        sdl_fmt = SDL_PIXELFORMAT_BGRA32;
        break;
    case XVideoView::ARGB:
        sdl_fmt = SDL_PIXELFORMAT_ARGB32;
        break;
    case XVideoView::NV12:
        sdl_fmt = SDL_PIXELFORMAT_NV12;
        break;
    case XVideoView::YUV420P:
        sdl_fmt = SDL_PIXELFORMAT_IYUV;
        break;
    default:
        break;
    }

    texture_ = SDL_CreateTexture(render_, 
        sdl_fmt,                                            // 像素格式
        SDL_TEXTUREACCESS_STREAMING,                        // 频繁修改的渲染
        w, h                                                // 材质的宽高
    );
    if (!texture_)
    {
        cerr << SDL_GetError() << endl;
        return false;
    }

    
    // cout << "XSDL init success" << endl;

    return true;
}

bool XSDL::Draw(const unsigned char* data, int linesize)
{
    if (!data)
    {
        cout << "input data is null" << endl;
        return false;
    }

    // 保证线程同步
    unique_lock<mutex> sdl_lock(mtx_);
    
    if (!texture_ || !render_ || !win_ || width_ <= 0 || height_ <= 0)
    {
        cout << "draw failed, param error" << endl;
        return false;
    }

    if (linesize <= 0)
    {
        switch (fmt_)
        {
        case XVideoView::RGBA:
        case XVideoView::ARGB:
            linesize = width_ * height_ * 4;
            break;
        case XVideoView::YUV420P:
            linesize = width_;
            break;
        default:
            break;
        }
    }

    if (linesize <= 0)
    {
        cout << "linesize is error" << endl;
        return false;
    }

    // 复制内存到显存
    auto re = SDL_UpdateTexture(texture_, NULL, data, linesize);
    if (re)
    {
        cout << "update texture failed" << endl;
        return false;
    }

    // 清理渲染器
    SDL_RenderClear(render_);

    // 如果用户手动设置了缩放，就按照用户设置的大小显示
    // 如果用户没有设置，就传递null, 采用默认的窗口大小
    SDL_Rect *prect = nullptr;
    if (scale_w_ > 0 || scale_h_ > 0)
    {
        SDL_Rect rect;
        rect.x = 0;
        rect.y = 0;
        rect.w = scale_w_;
        rect.h = scale_h_;
        prect = &rect;
    }
    
    
    // 拷贝材质到渲染器
    re = SDL_RenderCopy(render_, texture_, NULL, prect);
    if (re)
    {
        cout << "copy texture failed" << endl;
        return false;
    }

    // 显示
    SDL_RenderPresent(render_);

    return true;
}


bool XSDL::Draw(const unsigned char* y, int y_pitch,
                const unsigned char* u, int u_pitch,
                const unsigned char* v, int v_pitch
)
{
    if (!y || !u || !v)
    {
        cout << "input y, u, v data can not be null" << endl;
        return false;
    }

    // 保证线程同步
    unique_lock<mutex> sdl_lock(mtx_);

    if (!texture_ || !render_ || !win_ || width_ <= 0 || height_ <= 0)
    {
        cout << "draw failed, param error" << endl;
        return false;
    }

    // 复制内存到显存
    auto re = SDL_UpdateYUVTexture(texture_, NULL,
        y, y_pitch,                    // Y
        u, u_pitch,                    // U
        v, v_pitch                    // V
    );
    if (re)
    {
        cout << "update texture failed" << endl;
        return false;
    }

    // 清理渲染器
    SDL_RenderClear(render_);

    // 如果用户手动设置了缩放，就按照用户设置的大小显示
    // 如果用户没有设置，就传递null, 采用默认的窗口大小
    SDL_Rect* prect = nullptr;
    if (scale_w_ > 0 || scale_h_ > 0)
    {
        SDL_Rect rect;
        rect.x = 0;
        rect.y = 0;
        rect.w = scale_w_;
        rect.h = scale_h_;
        prect = &rect;
    }

    // 拷贝材质到渲染器
    re = SDL_RenderCopy(render_, texture_, NULL, prect);
    if (re)
    {
        cout << "copy texture failed" << endl;
        return false;
    }

    // 显示
    SDL_RenderPresent(render_);

    return true;
}


void XSDL::Close()
{
    // 保证线程安全
    unique_lock<mutex> sdl_lock(mtx_);


    // 注意!!! 一定要先清理Texture, 再清理Render, 因为Texture是绑定在Render当中的，
    // 如果先清理render, 再清理Texture, 可能会有问题
    if (texture_)
    {
        SDL_DestroyTexture(texture_);
        texture_ = nullptr;
    }

    if (render_)
    {
        SDL_DestroyRenderer(render_);
        render_ = nullptr;
    }

    if (win_)
    {
        SDL_DestroyWindow(win_);
        win_ = nullptr;
    }

    // cout << "do Close()" << endl;
}


bool XSDL::isExit()
{
    // 创建一个event用于接收事件
    SDL_Event ev;
    SDL_WaitEventTimeout(&ev, 1);        // 等待1ms, 避免阻塞
    if (ev.type == SDL_QUIT)
    {
        return true;
    }

    return false;
}

二. 需要注意的地方

1. 开启硬件加速的方法

只需要设置解码器的 hw_device_ctx 成员的值即可，比如我这里将该成员的值设置为：

    // 开启硬件加速
    c->hw_device_ctx = av_buffer_ref(hw_ctx);

2. 硬解码出来的数据可能不是常规的格式

使用DXVA2硬解码出来的数据可能不是常规的YUV420格式，实际测试，硬解码出来的数据格式是： AV_PIX_FMT_DXVA2_VLD 这种格式。比如我在下面的code位置添加了一个断点，可以清楚地看到该数据格式：

注意到解码后的AVFrame中的format的值为53，而53是  AV_PIX_FMT_DXVA2_VLD 这种格式：

3. 从显存复制到内存后,frame的像素格式会变成NV12格式

从显存复制到内存后，像素格式会变成NV12格式：

注意此时的AVFrame中的format的值为23，而23是  AV_PIX_FMT_NV12 格式。

4. 图像的linesize可能在解码后发生改变

图像的linesize在解码后可能会发生改变，这样可能会导致SDL在渲染时发生异常，所以需要额外处理：

switch (frame->format)
    {
    case AV_PIX_FMT_YUV420P:
        return Draw(frame->data[0], frame->linesize[0],                // Y
                    frame->data[1], frame->linesize[1],                // U
                    frame->data[2], frame->linesize[2]                // V
        );
    case AV_PIX_FMT_NV12:
        if (!cache_)
        {
            // 若空间尚未分配，则申请一块较大的空间(4K的一幅图像的大小)
            cache_ = new unsigned char[4096 * 2160 * 1.5];
        }

        // PS: 注意！这里面涉及到一个内存对齐的问题！
        // 如果是400x300的YUV420P/NV12格式，它的linesize很可能会被FFmpeg自动进行字节对齐, 即当图像尺寸为400x300时，它的linesize可能
        // 不是400，而是416(假设ffmpeg是以16字节进行对齐)
        // 而在使用SDL进行渲染时，linesize若传递416，很可能导致渲染出现问题，为了避免出现这种情况，下面提供了一种逐行复制的策略。
        
        // 下面的内存拷贝主要目的是为了让数据是连续的
        linesize = frame->width;
        if (frame->linesize[0] == frame->width)
        {
            // ---------------- 若linesize与图像的宽度一致，说明未发生字节对齐 --------------- 
            // 拷贝所有Y分量
            memcpy(cache_, frame->data[0], frame->linesize[0] * frame->height); 
            // 拷贝所有的UV分量
            memcpy(cache_ + frame->linesize[0] * frame->height, frame->data[1], frame->linesize[1] * frame->height / 2);
        }
        else
        {
            // ---------------- 若linesize与图像的宽度一致，说明发生了字节对齐 --------------- 
            // 使用逐行拷贝的方式
            // 拷贝所有的Y分量
            for (int i = 0; i < frame->height; i++)
            {
                memcpy(cache_ + i * frame->width, 
                    frame->data[0] + i * frame->linesize[0], 
                    frame->width // 注意只需要拷贝frame->width个数即可，丢弃因为对齐产生的多余数据
                );
            }

            // 拷贝所有UV分量
            for (int i = 0; i < frame->height / 2; i++)
            {
                // 将指针定位到所有Y分量数据的结尾处，从所有Y分量数据的结尾处开始拷贝UV分量
                auto p = cache_ + frame->width * frame->height;
                memcpy(p + i * frame->width,
                    frame->data[1] + i * frame->linesize[1],
                    frame->width // 注意只需要拷贝frame->width个数即可，丢弃因为对齐产生的多余数据
                );
            }
        }

        return Draw(cache_, linesize);
    case AV_PIX_FMT_RGBA:
    case AV_PIX_FMT_BGRA:
    case AV_PIX_FMT_ARGB:
        return Draw(frame->data[0], frame->linesize[0]);
    default:
        break;
    }

    return false;
}