《deep sort》复现过程

目录

• 1. 准备代码与数据
  • 1.1 数据集介绍
  • 1.1.1 det:
  • 1.1.2 img1
  • 1.1.3 gt
  • 1.1.4 seqinfo.ini文件
• 2. 运行目标跟踪器
• 3. generating detections
• 4. 如何在自己的数据上运行deep_sort,实现目标追踪？
  • 4.1 test
  • 4.2 train

1. 准备代码与数据

deep_sort开源代码

克隆到本地服务器

git clone https://github.com/nwojke/deep_sort.git

下载MOT16数据集（MOT:Multi-Object Tracking, 16的意思是相比MOT15多了更多的细节信息)
MOT16数据集

预训练权重下载

1.1 数据集介绍

该数据集分为了test和train，每个文件夹有7个子文件夹。

./MOT16/train

以训练集中的MOT16-02为例，探究数据数据集格式：
MOT16-02下包含三个四个子文件：det、gt、img1、seqinfo.ini

1.1.1 det:

det下只有一个文件，det.txt。每行一个标注，代表一个检测物体

格式为：

, , , , , , , , ,

• ：第几帧（可以看到img1中共600帧图）
• ：目标运动轨迹编号（在目标文件中都为-1）
• <bb_* >：bbox的坐标尺寸
• : 分类的置信度分数
• <x, y, z> ：用于3D检测，2D检测总是为1

1.1.2 img1

这个目录就是把视频一帧帧抽取出来的图片，总共600张。文件命名从000001.jpg到000600.jpg。

1.1.3 gt

gt文件夹下只有一个文件，gt.txt

第1个值：视频帧号
第2个值：目标运动轨迹的ID号
第3-6值：bbox坐标（x, y, w, h）
第7个值：目标轨迹是否进入考虑范围（0：忽略， 1：active）
第8个值：该轨迹对应的目标种类

第9个值：
box的visibility ratio，表示目标运动时被其他目标box包含/覆盖或者目标之间box边缘裁剪情况。

1.1.4 seqinfo.ini文件

视频的基本信息介绍

---

2. 运行目标跟踪器

python deep_sort_app.py 
--sequence_dir=./MOT16/test/MOT16-06 
--detection_file=./resources/detections/MOT16_POI_test/MOT16-06.npy 
--min_confidence=0.3 
--nn_budget=100 
--display=True

#在自己生成的feature运行tracker
python deep_sort_app.py 
--sequence_dir=./MOT16/test/MOT16-01 
--detection_file=./resources/detections/wemo_test/MOT16-01.npy 
--min_confidence=0.3 
--nn_budget=100 
--display=True

可选参数解释：
--sequence_dir：视频切成图片序列的文件夹，包含帧序列，每一帧的帧号、目标的bbox、
--detection_file：检测的权重文件 .npy
--output_file：输出类似于gt.txt的文件格式，轨迹不再是默认-1，发生变化
--min_confidence：检测结果阈值。低于这个阈值的检测结果将会被忽略
--nms_max_overlap：非极大抑制的阈值
--max_cosine_distance：余弦距离的控制阈值
--nn_budget：描述的区域的最大值
--display：显示目标追踪结果

3. generating detections

generate features for persons re-identification.

python tools/generate_detections.py 
    --model=resources/networks/mars-small128.pb 
    --mot_dir=./MOT16/train 
    --output_dir=./resources/detections/MOT16_train

#自定义生成feature
python tools/generate_detections.py 
    --model=resources/networks/mars-small128.pb 
    --mot_dir=./MOT16/test 
    --output_dir=./resources/detections/wemo_test

--model：是模型框架的权重参数文件
输入：

输出：

4. 如何在自己的数据上运行deep_sort,实现目标追踪？

4.1 test

1. 需要视频文件
2. 需要目标检测detection的权重文件（npy 文件）（ps：目标检测框架和deep_sort框架应该一致）

效果：直观来看还不错，当然这是基于目标检测的检测的结果，如果检测不到目标，tracking也无法做。当人行走过程中，被遮挡之后再次出现，目标ID还是维持不变。（思考：这里人一般是直线前行，如果目标在遮挡之后，掉头再出现，可能ID就会变化）。

很大的问题：生成的视频帧率很低，不到30FPS，肉眼能看出明显卡顿。（网上说通过优化可以达到高帧率，具体待查）

4.2 train

如何训练？
余弦度量学习方法