一、预处理数据部分
1、创建 tfrecord(修改 deeplab dateasets build_data.py)
模型本身是把一张张 jpg 和 png 格式图片读到一个 Example 里,写入 tfrecord。但我是一个大的 tif 文件,需要把几万像素的图片分割成小块写入到一个 tfrecord 文件里,而 tf 没有对 tif 格式的图片的解码,因此不能直接使用原来的 build_data.py。
先用 osgeo 里的 gdal 读取 tif 文件,得到大 tif 的 np.array,再设置步长一块块读取,调用 tobytes() 转成二进制字符串,保存到 tfrecord 中,不过需要把图片 shape 都设置好,大小还有维度,这点有待改进。
最后的 tfrecord 里就只有两个数组:原图片和标签值
加入高度和宽度信息后会报错,不知道怎么 debug,只能从头到尾固定好大小 321 了
2、data_generator读数据(修改 deeplab dateasets data_generator.py)
加入自己的数据集,只需模仿它已经创建的数据就好,训练验证测试大小,以及忽略值等
解码时用 tf.decode_raw() 解码,不用再根据后缀判断调用哪个。
二、训练部分
1、训练(修改 deeplab train.py)
参数设置里需要指定自己的数据集 dataset
由于类别数不同,设置 initialize_last_layer=False,last_layers_contain_logits_only=True
crop_size缩小为321(由于内存不够,将其改小,但是crop_size至少要大于300,遵循的公式是(crop_size-1)/4为整数)
2、修改 deeplab utils train_utils.py
159 行改成 exclude_list = ['global_step','logits'],即把 logits 层加到不恢复的列表中,这样才能训练自己的数据,改类别数
训练的一些问题可以参考:https://github.com/tensorflow/models/issues/3730
logits
is the last feature maps before softmax. logits 层是在 softmax 前的最后一层特征图,是没有经过归一化的预测值,如果面对分类问题再经过一层 softmax 就可以得到每类的概率
Maybe this can help you.
The vector of raw (non-normalized) predictions that a classification model generates, which is ordinarily then passed to a normalization function. If the model is solving a multi-class classification problem, logits typically become an input to the softmax function. The softmax function then generates a vector of (normalized) probabilities with one value for each possible class.
三、验证部分
1、验证(修改 deeplab eval.py)
eval.py 不会出现 miou 分数,在 summary 里加入一个 tf.Print 的 op,就可以显示了
四、可视化部分
1、可视化(修改 deeplab vis.py)
由于没有每个文件的文件名,需要把 vis.py 里有关文件名的地方做相应的修改,sample.HEIGHT,WIDTH 也没有要注释掉。_process_batch 的参数对应修改
需要在 get_dataset_colormap.py 中加入自己的数据集
2、可视化标签(再修改 deeplab vis.py)
原来的 vis 只可视化了图片和预测值,为了方便比较,把真值也显示,把 tfrecord 里的真值读出来就可以
3、可视化预测图像(修改 deeplab utils get_dataset_colormap.py)
加入自己的数据集,根据类别设置颜色个数
可视化真值时报错 label[255] 超出索引,把忽略值直接赋值为0解决
五、预测部分
1、修改deeplab datasets build_data_test.py
预测数据没有真值,需要重写一个 build_data
2、修改 deeplab input_preprocess.py
预测时 label 为 None,但原始影像还是要裁剪,去适配我的 data_generator,原始的不需要因为大小信息都在 tfrecord 里,会自动处理,我指定了大小
3、修改 deeplab datasets data_generator_test.py
不解析 label
参考:https://blog.csdn.net/weixin_38385446/article/details/82781109