CornerNet
hourglass network -> prediction module = corner pooling -> heatmaps + embedding + offsets
corner polling,获取角点信息
1、左上角的点和左边和上边的特征有关,因此角池化后会有这两个信息。
2、公式就是当前点到最左线和最上线的距离的和。
3、类似residual block形式,有skip connection
heatmaps,预测角点的位置
1、对负样本做欠采样以及focal loss: 重视困难(错分)样本 = 正样本损失值小,负样本损失值大。
2、改进focal loss, 对不同的负样本点的损失函数采取不同权重值。
offset, 取整计算丢失精度信息
1、像faster rcnn的ROI Pooling有精度丢失问题,引出该计算公式。
embedding,找出同一个目标的两个角点
1、两个损失函数,第一个公式用来缩小同一个目标距离,第二个公式用来扩大不属于同一个目标的距离
2、采用L1范数,大于0.5或者两点来自不同类别的目标都不能构成一对。
注意事项:
1、预测角点时,采用NMS来选择左上角前100个框和右下角前100个框。
2、0值填充作为网络的输入,而不是resize。
3、通过soft-nms 来去除冗余框,只保留前100个预测框
#################
CenterNet
改进CornerNet,提出关键点三元组。
anchor-base缺陷:anchor数量巨大,anchor人工设计,anchor与gt不对齐不利于分类。
anchor-free缺陷:CornerNet全局信息获取能力较弱,无法正确group同一物体的两个点。因为CornerNet的corner pooling仅依赖物体的边沿,并没有利用物体内部信息。这个问题可以通过互补信息解决--比如aspect ratio(anchor利用宽高比加速回归,对点没用)
1、center pooling
- 通过相加特征图水平和垂直方向上最大值获得。
- 首先提取物体边界最大值,然后在边界最大值处继续向内部(图中沿虚线方向)提取最大值,并与边界最大值相加,以此给角点特征提供更加丰富的关联物体语义信息
2、cascade corner pooling
类似corner pooling模块,只不过同时获取内部和边沿信息以增加稳定性。
注意事项:
1、中心区域的尺度会影响错误框去除效果。过小导致小尺度无法去除,过大导致多大尺度无法去除。因此引出尺度可调节的中心区域定义法:对大尺度减少中心域,对小尺度扩大中心域。