边缘检测测评标准

是 https://blog.csdn.net/AAAAshin/article/details/106793101#comments_13207070 中的第3种方法

也就是https://github.com/xwjabc/hed中使用的

 （评价指标可以参考：https://blog.csdn.net/AAAAshin/article/details/108042346）

评价指标有PR曲线、ODS、OIS、AP、（FPS可以有）

1.PR曲线

PR曲线参数的核心Matlab代码如下（edgesEvalImg.m）

for k = 1:K
  % threshhold and thin E
  E1 = double(E>=max(eps,thrs(k)));
  if(thin), E1=double(bwmorph(E1,'thin',inf)); end
  % compare to each ground truth in turn and accumualte
  Z=zeros(size(E)); matchE=Z; matchG=Z; allG=Z;
  for g = 1:n
    [matchE1,matchG1] = correspondPixels(E1,G{g},maxDist);
    matchE = matchE | matchE1>0;
    matchG = matchG + double(matchG1>0);
    allG = allG + G{g};
  end
  % compute recall (summed over each gt image)
  cntR(k) = sum(matchG(:)); sumR(k) = sum(allG(:));
  % compute precision (edges can match any gt image)
  cntP(k) = nnz(matchE); sumP(k) = nnz(E1);
  % optinally create visualization of matches
  if(nargout<6), continue; end; cs=[1 0 0; 0 .7 0; .7 .8 1]; cs=cs-1;
  FP=E1-matchE; TP=matchE; FN=(allG-matchG)/n;
  for g=1:3, V(:,:,g,k)=max(0,1+FN*cs(1,g)+TP*cs(2,g)+FP*cs(3,g)); end
  V(:,2:end,:,k) = min(V(:,2:end,:,k),V(:,1:end-1,:,k));
  V(2:end,:,:,k) = min(V(2:end,:,:,k),V(1:end-1,:,:,k));
end

由于核心算法correspondPixels是mexw封装的，没有办法查看到，给代码的理解带来了一定困难。通过对19行FP、TP、FN三个变量的理解，可以反推出：

E1：所有边缘图（手工标注的真值，共6个）二值化的结果（大于阈值的为1，反之为0）

matchE：预测正确的边缘为1，否则为0（预测为边缘的点，在6个真值中存在至少一个对应点为边缘），所以TP=matchE。也就是说预测的边缘点在6个真值中的对应点有一个为边缘，就算你预测的对

matchG：你预测的边缘点在真值中的对应点也为边缘的数量（0~6），也就是说，matchE是matchG二值化的结果（非0值设为1）

allG：真值中把该点预测为边缘的数量（0~6）

这几个变量大小都是H*W的跟输入图片的高宽相同的二维矩阵。

另外，correspondPixels算法中有一个maxDist，作用是对预测结果tolerant，也就是在预测的边缘的maxDist范围内存在真值为边缘，就算你对。代码默认设置为0.0075，应该是相对图片大小的相对量。

cntR

cntR(k) = sum(matchG(:))

sumR

sumR(k) = sum(allG(:));

cntP 

cntP(k) = nnz(matchE)

sumP

sumP(k) = nnz(E1);

最后获得的有用参数为：[thrs cntR sumR cntP sumP]，每张图片会在有一个[id]_evl.txt文件与之对应。有99行，分别对应99个不同阈值和相应的cntR sumR cntP sumP值

之后参考：https://github.com/yun-liu/plot-edge-pr-curves 就可以画出如下的PR曲线（图来自HED）

2.OIS/ODS

2.1.OIS

将每张图片对应的txt文件读出来后

function [R,P,F] = computeRPF(cntR,sumR,cntP,sumP)
% compute precision, recall and F measure given cnts and sums
    R=cntR./max(eps,sumR); 
    P=cntP./max(eps,sumP); 
    F=2*P.*R./max(eps,P+R);
end

求出R、P、F，都是矩阵[T，1]，其中T为阈值个数。

然后求其中使F值最大的值

function [bstR,bstP,bstF,bstT] = findBestRPF(T,R,P)
% linearly interpolate to find best thr for optimizing F
if(numel(T)==1), bstT=T; bstR=R; bstP=P;
  bstF=2*P.*R./max(eps,P+R); return; end
A=linspace(0,1,100); B=1-A; bstF=-1;
for j = 2:numel(T)
  Rj=R(j).*A+R(j-1).*B; Pj=P(j).*A+P(j-1).*B; Tj=T(j).*A+T(j-1).*B;
  Fj=2.*Pj.*Rj./max(eps,Pj+Rj); [f,k]=max(Fj);
  if(f>bstF), bstT=Tj(k); bstR=Rj(k); bstP=Pj(k); bstF=f; end
end
end

这里使用了一个线性插值，通过对相邻阈值插值，可以得到更细致的阈值，使结果更好（把阈值间隔细化100份）

然后将得到的结果保存在eval_bdry_img.txt内。

对每张图片计算[R,P,F] = computeRPF(cntR1,sumR1,cntP1,sumP1); [~,k]=max(F);

这样就能找到使F值最大的阈值k，在计算PR曲线时得到的[id]_evl.txt文件中就能读出相应的cntR1(k),sumR1(k),cntP1(k),sumP1(k)

找到使每张图片F值最大的cntR,sumR,cntP,sumP，然后分别求和，使用computeRPF(cntR,sumR,cntP,sumP）求出对应的P、R、F就是OIS所需参数

2.2.ODS

比OIS的求法更简单，直接将所有图片的cntR,sumR,cntP,sumP安阈值分别求和，computeRPF(cntR,sumR,cntP,sumP得到不同阈值下的T、R、P，然后利用findBestRPF(T,R,P)找到其中能让F取到最大值的那一组。

3.AP

 AP指平均准确率，为PR曲线的积分（也就是PR曲线下方的面积），因为PR曲线没有表达式，所以难以积分，通常做法是在PR曲线上采样求均值。

[~,k]=unique(R);%去重，阈值改变，可能查全率不变，这样准确率也不会变，这样的点在PR曲线上是同一个点，不应该统计多次
 k=k(end:-1:1);
 R=R(k);
 P=P(k);
 T=T(k);
 F=F(k);
 AP=0;
if(numel(R)>1), 
    AP=interp1(R,P,0:.01:1);%插值，来提高精确度
    AP=sum(AP(~isnan(AP)))/100; %求均值
end

4.R50

代码如下

[~,o]=unique(P); R50=interp1(P(o),R(o),max(P(o(1)),.5));

　　代码同时给出R50这一标准，但是论文中没有R50，暂时就先不探究了。