• darknet简述


    概述

    darknet官网:https://pjreddie.com/darknet/    https://github.com/AlexeyAB/darknet

    Darknet是一个比较小众的深度学习框架,没有社区,主要靠作者团队维护,所以推广较弱,用的人不多。而且由于维护人员有限,功能也不如tensorflow等框架那么强大,但是该框架还是有一些独有的优点:
    1.易于安装:在makefile里面选择自己需要的附加项(cuda,cudnn,opencv等)直接make即可,几分钟完成安装;
    2.没有任何依赖项:整个框架都用C语言进行编写,可以不依赖任何库,连opencv作者都编写了可以对其进行替代的函数;
    3.结构明晰,源代码查看、修改方便:其框架的基础文件都在src文件夹,而定义的一些检测、分类函数则在example文件夹,可根据需要直接对源代码进行查看和修改;
    4.友好python接口:虽然darknet使用c语言进行编写,但是也提供了python的接口,通过python函数,能够使用python直接对训练好的.weight格式的模型进行调用;
    5.易于移植:该框架部署到机器本地十分简单,且可以根据机器情况,使用cpu和gpu,特别是检测识别任务的本地端部署,darknet会显得异常方便。

    darknet是一个纯C的轻量级框架,专为Yolo设计,是yolo的最佳配合平台,可以体验yolo功能。

    darknet目录

    cfg文件夹内是一些模型的架构,每个cfg文件类似与caffe的prototxt文件,通过该文件定义的整个模型的架构。
    data文件夹内放置了一些label文件,如coco9k的类别名等,和一些样例图(该文件夹主要为演示用,或者是直接训练coco等对应数据集时有用,如果要用自己的数据自行训练,该文件夹内的东西都不是我们需要的)
    src文件夹内全是最底层的框架定义文件,所有层的定义等最基本的函数全部在该文件夹内,可以理解为该文件夹就是框架的源码
    examples文件夹是更为高层的一些函数,如检测函数,识别函数等,这些函数直接调用了底层的函数,我们经常使用的就是example中的函数
    include文件夹,顾名思义,存放头文件的地方
    scripts文件夹中是一些脚本,如下载coco数据集,将voc格式的数据集转换为训练所需格式的脚本等
    darknet.py是使用python对模型的调用方法,要实现python的调用,还需要用到darknet的动态库libdarknet.so

    darknet编译

    根据配置情况修改Makefile的相关参数,然后运行make即可。

    GPU=1: build with CUDA to accelerate by using GPU (CUDA should be in /usr/local/cuda)
    CUDNN: build with cuDNN v5-v7 to accelerate training by using GPU (cuDNN should be in /usr/local/cudnn)
    CUDNN_HALF=1: build for Tensor Cores (on Titan V / Tesla V100 / DGX-2 and later) speedup Detection 3x, Training 2x
    OPENCV=1: build with OpenCV 4.x/3.x/2.4.x - allows to detect on video files and video streams from network cameras or web-cams
    DEBUG=1: build debug version of Yolo
    OPENMP=1: build with OpenMP support to accelerate Yolo by using multi-core CPU

    检验:./darknet detector test ./cfg/coco.data ./cfg/yolov3.cfg ./yolov3.weights data/dog.jpg

    darknet命令

    如果使用的是作者提供的cfg模型结构,如yolov3,那么可以到其官网去下载预训练模型(如:darknet53.conv.74)来初始化模型参数,这样可以加快收敛。

    训练: darknet detector train data/obj.data yolo-obj.cfg darknet53.conv.74

    无参考模型: darknet detector train data/obj.data yolo-obj.cfg

    检测: darknet detector test data/obj.data yolo-obj.cfg yolo-obj_8000.weights

    检测模型精确效果:darknet detector map data/obj.data yolo-obj.cfg yolo-obj_8000.weights

    视频检测: darknet detector demo cfg/coco.data cfg/yolov3.cfg yolov3.weights my.mp4

    默认第一个摄像头视频: darknet detector demo cfg/coco.data cfg/yolov3.cfg yolov3.weights

    darknet配置文件解析

    cfg/yolov3.cfg
    [net]
    # Testing
    # batch=1
    # subdivisions=1
    # Training
    batch=64
    subdivisions=16
    width=608
    height=608
    channels=3
    momentum=0.9
    decay=0.0005
    angle=0
    saturation = 1.5
    exposure = 1.5
    hue=.1

    其中batch表示batchsize,而subdivisions是为了解决想要大batchsize而显存又不够的情况,每次代码只读取batchsize/subdivisions 个图像,如图中设置为64/16=4,但是会将16次的结果也就是64张图的结果,作为一个batch来统一处理。

    根据自己检测的类别,将每个[yolo](共有三个[yolo])下方的classes修改为自己需要检测的类别,如果只检测一类则classes=1。
    然后将每个[yolo] 上方的第一个filters的值进行修改,计算方式为(5+classes)*3,如果classes为1,则为18。

    [yolo]下方的random表示论文中提及的resize network来增强网络的适应性,如果显存足够,最好设置为1,如果显存不够,也可以将其设置为0,即不进行network resizing

    darknet训练参数解析

    [to do]

    Yolo_mark-标注工具

    Windows & Linux GUI for marking bounded boxes of objects in images for training Yolo v3 and v2.
    Yolo_mark是一个检测任务数据集制作工具,制作完成后的数据格式不是VOC或者COCO的数据格式,从它的名字也可以看出,它是专门为了YOLO系列的网络训练准备数据的,它没有使用任何一个已有的深度学习框架来实现他的代码,而是自己写了一个纯C的轻量级框架—darknet,所以它的训练数据准备也不是按照标准开源数据集那样的格式。

    参考官网:https://github.com/AlexeyAB/Yolo_mark

    编译

    Yolo_mark依赖opencv,ubuntu16.04下需要更新opencv版本,默认版本编译出错。现测试了opencv-3.4.8可正常运行。

    mkdir build
    cd build
    cmake ..
    make
    cd ..
    cp build/yolo_mark ..

    目录

    ├── CMakeLists.txt
    ├── LICENSE
    ├── linux_mark.sh
    ├── main.cpp
    ├── README.md
    ├── x64
    │   └── Release
    │       ├── data
    │       │   ├── img
    │       │   │   ├── air1.jpg
    │       │   │   ├── air1.txt
    │       │   │   ├── air2.jpg
    │       │   │   ├── air2.txt
    │       │   │   ├── air3.jpg
    │       │   │   ├── air3.txt
    │       │   │   ├── air4.jpg
    │       │   │   ├── air4.txt
    │       │   │   ├── air5.jpg
    │       │   │   ├── air5.txt
    │       │   │   ├── air6.jpg
    │       │   │   ├── air6.txt
    │       │   │   ├── bird1.jpg
    │       │   │   ├── bird1.txt
    │       │   │   ├── bird2.jpg
    │       │   │   ├── bird2.txt
    │       │   │   ├── bird3.jpg
    │       │   │   ├── bird3.txt
    │       │   │   ├── bird4.jpg
    │       │   │   └── bird4.txt
    │       │   ├── obj.data
    │       │   ├── obj.names
    │       │   └── train.txt
    │       ├── train_obj.cmd
    │       ├── yolo_mark.cmd
    │       └── yolo-obj.cfg
    ├── yolo_mark
    ├── yolo_mark.sln
    └── yolo_mark.vcxproj

    x86/Release/data: 存放需要标注的数据与标注后的结果。

    x86/Release/data/img: 训练的数据集,里面包含图片和每一张图片对应的标注数据。开始标注之前,img文件夹内只存放需要标注的图像数据(要求.jpg文件),一张图片标注完成后,会给该图片生成一个名字相同的.txt文件,里面存放的就是bbox的信息。

    x86/Release/data/img/*.txt: 每一行都是一个目标的信息,这意味着有几行数据,图像中就标注了几个目标,它根据“id x y w h”的形式存放,其中“ x y w h”都是经过归一化之后的。比如bird4.txt文件中的结果(bird的id是1,有一个目标因此只有一行):
    1 0.526953 0.502083 0.303906 0.226389

    x86/Release/data/train.txt: 数据集的相对路径集合,由img文件夹内存放的数据自动获取。

    x64/Release/data/img/air1.jpg
    x64/Release/data/img/air2.jpg
    x64/Release/data/img/air3.jpg
    x64/Release/data/img/air4.jpg
    x64/Release/data/img/air5.jpg
    x64/Release/data/img/air6.jpg
    x64/Release/data/img/bird1.jpg
    x64/Release/data/img/bird2.jpg
    x64/Release/data/img/bird3.jpg
    x64/Release/data/img/bird4.jpg

    x86/Release/data/obj.names: 数据集所有分类类名,每个类别的名称都在单独的一行,行数与名称一一对应。示例中有两个类别:air,bird。

    air
    bird

    x86/Release/data/obj.data: 数据集的配置信息:类别数量,训练和测试数据的txt文件列表,各个类别的名字。

    classes= 2
    train  = data/train.txt
    valid  = data/train.txt
    names = data/obj.names
    backup = backup/

    标注命令

    ./yolo_mark x64/Release/data/img x64/Release/data/train.txt x64/Release/data/obj.names

    训练命令

    拷贝yolo-obj.cfg, data/train.txt, data/obj.names, data/obj.data, darknet19_448.conv.23 and data/img到可执行文件darknet目录

    darknet detector train data/obj.data yolo-obj.cfg darknet19_448.conv.23

    参考:
    1. YOLOv3树叶识别实践 https://wenku.baidu.com/view/e4e9a41ef4335a8102d276a20029bd64793e626f.html
    2. 理解YOLOv2训练过程中输出参数含义 https://blog.csdn.net/dcrmg/article/details/78565440
    https://timebutt.github.io/static/understanding-yolov2-training-output/
    3. YOLOv3训练自己的模型 https://blog.csdn.net/StrongerL/article/details/81023603
    4. darknet的编译和YOLO在不同编译条件的运行速度对比 https://www.jianshu.com/p/c2a90b89fc21
    5. Darknet概述 https://blog.csdn.net/u010122972/article/details/83541978
    6. https://github.com/AlexeyAB/Yolo_mark

    7. YOLO系列网络训练数据准备工具—Yolo_mark https://blog.csdn.net/chaipp0607/article/details/80009195 

  • 相关阅读:
    ATM代码及遇到的问题总结
    暑假日报-52
    暑假日报-51
    暑假日报-50
    暑假日报-49
    暑假日报-48
    线段树优化建图(炸弹 + 选课)
    联考day2 C. 舟游
    联赛模拟测试5题解
    第19周作业
  • 原文地址:https://www.cnblogs.com/embedded-linux/p/12374634.html
Copyright © 2020-2023  润新知