• 多媒体开发(2):录制视频


    上一节介绍了用ffplay来播放文件(或url),这里有一个概念,如果是播放已经存在的文件,那叫“回放”,也就是Playback(从流媒体的角度也叫点播),如果播放的是正在录制的数据(边录边播),那叫直播。

    不管是回放还是直播,都需要有媒体数据,那这个媒体数据是怎么来的呢?从已有的文件编辑而来是一个办法,但更直接更原始的办法是录制。

    录制,就是通过硬件设备,把声音或者图像保存到文件(或者推到文件)。

    在FFmpeg程序集中,有一个程序叫作ffmpeg(小写),这个程序提供了录制的功能。在上一节小程介绍了ffplay的安装,而实际上ffplay依赖于FFmpeg,所以当ffplay安装后,那FFmpeg程序集也就安装上了,也就是已经可以使用ffmpeg程序。

    本文介绍如何通过ffmpeg程序来实现声音、图像以及屏幕的录制。

    (一)录制命令

    对于图像,可以通过摄像头或者屏幕来录入,而对于声音则通过麦克风来录入。

    因为我使用的是mac电脑,所以,有必要先查看一下mac电脑有没有录制的设备,也就是输入设备。

    因为查看输入设备需要指定输入设备的格式类型,所以,先查看输入设备的格式类型

    ffmpeg -devices

    在我的电脑上,有这样的输出:

    avfoundation    AVFoundation input device
    lavfi           Libavfilter virtual input device
    qtkit           QTKit input device
    

    第一个类型,即avfoundation,为本机输入设备的格式类型,有了这个类型,就可以进一步查看输入设备了:

    ffmpeg -list_devices true -f avfoundation -i ""

    可以看到这样的信息:

    [AVFoundation input device @ 0x7f97326002e0] AVFoundation video devices:
    [AVFoundation input device @ 0x7f97326002e0] [0] FaceTime HD Camera
    [AVFoundation input device @ 0x7f97326002e0] [1] Capture screen 0
    [AVFoundation input device @ 0x7f97326002e0] AVFoundation audio devices:
    [AVFoundation input device @ 0x7f97326002e0] [0] Built-in Microphone
    

    上面的信息可以知道,视频输入(video devices)有两个设备,设备0为摄像头,设备1为屏幕,而声音输入(audio devices)则只有设备0,也就是麦克风。

    在知道设备号之后,就可以启用这个设备来录制,比如只打开摄像头进行录制(按'q'结束录制):

    ffmpeg -f avfoundation -framerate 30 -i "0" -s 320x240 -vsync 2 -y cam.mp4

    framerate是录制帧率,也就是一秒取多少帧,这些概念以后小程再详细介绍。-i "0"就是0号设备即摄像头,-s指定分辨率,比如可以设置一个在手机上较佳的使用分辨率。最后面的文件名,表示保存数据的文件。

    但需要注意,参数并非可以随意改动的,因为参数的值跟输入设备有关,比如我的mac只支持帧率30,而且分辨率也只有几个可以选择,所以,参数不能乱写。如果出错了,那应该根据出错信息作出修正。而且,参数的顺序也不能乱写,否则是可能出错的!

    另外,不同的ffmpeg的版本,对参数的要求也不一样,比如ffmpeg3.x需要指定framerate跟分辨率,而ffmpeg2.x则不需要,但出错后都有相应的信息提醒,你可以按指引来修正。

    如果想同时录制到声音,那就同时打开摄像头跟麦克风,进行录制:

    ffmpeg -f avfoundation -framerate 30 -i "0:0" -s 320x240 -vsync 2 -y cam2.mp4

    0:0,前面为图像设备,后面为声音设备。

    如果只录制声音,则:

    ffmpeg -f avfoundation -i ":0" sound.aac 
    或者:
    ffmpeg -f avfoundation -i ":0" -acodec libmp3lame sound2.mp3
    

    aac是音频的一种编码格式,我用的FFmpeg3.1.2会编码成aac格式(FFmpeg3.x内置aac编码),当然也可以指定编码成mp3,但要借助libmp3lame这个组件。你可以先忽略这些编码细节,只需要知道有这样一个功能就好。

    我在这里给出一个只用摄像头录制的效果,那是小程家里的灯,通过mac电脑录制到的视频:
    四叶灯

    如果只想录制屏幕,那只需要把-i "0"换成-i "1",也就是指定从屏幕录制。

    现在录制的命令有了,但是,作为一个追求便利的程序员,怎么才能快速而方便地进行启动录制呢?分明,我要再次使用之前介绍过的alfred跟python界面了。

    (二)快速启动录制

    先来写一个Python的界面,用来设置录制的各个参数,代码如下:

    from tkinter import *
    import tkinter.messagebox as msgbox
    import os
    import threading
    
    audiovalue = 0
    widthvalue = ""
    heightvalue = ""
    recordsourcevalue = ""
    
    def recordThreadFunc():
        global audiovalue, widthvalue, heightvalue, recordsourcevalue
        parms = recordsourcevalue.get()
        if (audiovalue.get()==1):
            parms = parms + ":0"
        recordtemppath = "'%s'/recordtemp.mp4" % os.getcwd()
        recordpath = "'%s'/record.mp4" % os.getcwd()
        ffstr = "ffmpeg -f avfoundation"
        if (recordsourcevalue.get()=="0"):
            ffstr = ffstr + " -framerate 30"
        ffstr = ffstr + " -i '%s' -s %sx%s -vsync 2 -y %s" % (parms, widthvalue.get(), heightvalue.get(), recordtemppath)
        print(ffstr)
        os.system("touch tempsh.sh")
        with open("tempsh.sh", "w") as f:
            f.write(ffstr)
            f.write("
    ffmpeg -i %s -pix_fmt yuv420p -y %s" % (recordtemppath, recordpath))
            f.write("
    rm %s" % recordtemppath)
        os.system("chmod +x tempsh.sh")
        os.system("open -a Terminal.app tempsh.sh")
        print("%d, %s, %s, %s" % (audiovalue.get(), widthvalue.get(), heightvalue.get(), recordsourcevalue.get()))
        os.system("open '%s'" % os.getcwd())
        pass
    
    def recordFunc():
        t1 = threading.Thread(target=recordThreadFunc)
        t1.start()
    
    def main():
        global audiovalue, widthvalue, heightvalue, recordsourcevalue
        window = Tk()
        window.title("录制控制台")
        window.geometry("320x320+100+100")
        audiovalue = IntVar()
        audioCheckBtn = Checkbutton(window, text="录入声音", variable=audiovalue, onvalue=1, offvalue=0)
        audioCheckBtn.place(x=10, y=10)
        label1 = Label(window, text="视频分辨率:")
        label1.place(x=10, y=50)
        widthlabel = Label(window, text="宽:")
        heightlabel = Label(window, text="高:")
        widthvalue = StringVar()
        heightvalue = StringVar()
        widthEntry = Entry(window, textvariable=widthvalue, width=10)
        heightEntry = Entry(window, textvariable=heightvalue, width=10)
        widthlabel.place(x=20, y=70)
        widthEntry.place(x=50, y=70)
        heightlabel.place(x=20, y=100)
        heightEntry.place(x=50, y=100)
        tiplabel = Label(window, text="如:320/1920/1280等")
        tiplabel.place(x=140, y=70)
        tiplabel = Label(window, text="如:240/1080/720等")
        tiplabel.place(x=140, y=100)
        recordsourcevalue = StringVar()
        rsourceRadioBtn1 = Radiobutton(window, text="从摄像头录制", value="0", variable=recordsourcevalue)
        rsourceRadioBtn2 = Radiobutton(window, text="从屏幕录制", value="1", variable=recordsourcevalue)
        rsourceRadioBtn1.place(x=20, y=170)
        rsourceRadioBtn2.place(x=140, y=170)
        tiplabel = Label(window, text="从哪里录制:")
        tiplabel.place(x=10, y=150)
        recordBtn = Button(window, text="开启录制", command=recordFunc)
        recordBtn.place(x=20, y=200)
        window.mainloop()
    
    if __name__ == '__main__':
        main()
    

    代码所在的文件叫main.py,运行这段代码可以看到这样的界面:
    录制控制台

    在界面上设置好参数,点击“开启录制”就可能看到你的摄像头打开了,但是,每次都要找到这个python脚本来执行是不完美的,所以,alfred出场了。

    同样,创建一个script filter:
    record的workflows

    script的设置如下:
    workflow的设置

    找到这个workflow的目录,增加一个cmd.sh文件,这个文件用来初始化python环境,并执行上面的mian.py文件:
    cmd.sh

    cmd.sh的内容如下:

    cd '/Users/freejet/Library/Application Support/Alfred/Alfred.alfredpreferences/workflows/user.workflow.0490D960-6C02-4F29-8265-51890350F2B4'
    source ~/Desktop/pyenv/bin/activate
    python3 main.py
    

    再把上面的main.py拷贝到这个目录,大功告成,用alfred来打下“record”,就可以来录制了,效果如下:
    启动录制的效果

    gif看不太清楚?没法子,视频转过来又要兼容大小,是这样的啦,这里又不能上传视频。


    好了,总结一下,本文主要介绍通过ffmpeg来录制声音或者视频。录制往往只是某件事情的一个环节,比如:在拿视频测试样本时可以自己录制、在直播时需要录制、在截屏时可以用录屏的方式来实现,等等。所以,理解这个环节的一个实现是有价值的。有缘再见,see you.

  • 相关阅读:
    《那些年,我们拿下FPGA》做笔记
    三种初始化
    hdu4417 Super Mario 树阵离线/划分树
    【设计模式】文章摘要 查找联系人控件
    STL set
    阐述 QUEST CENTRAL FOR DB2 八罪
    使用线程执行堆栈StackTraceElement设计Android日志模块
    苹果iOS苹果公司的手机用户都有权索赔
    Android 4.4 沉浸式透明状态栏与导航栏
    常见的几种RuntimeException
  • 原文地址:https://www.cnblogs.com/freeself/p/14142944.html
Copyright © 2020-2023  润新知