• NCNN使用总结


    NCNN简介

    ncnn 是一个为手机端极致优化的高性能神经网络前向计算框架。ncnn 从设计之初深刻考虑手机端的部署和使用。无第三方依赖,跨平台,手机端 cpu 的速度快于目前所有已知的开源框架。基于 ncnn,开发者能够将深度学习算法轻松移植到手机端高效执行,开发出人工智能 APP,将 AI 带到你的指尖。ncnn 目前已在腾讯多款应用中使用,如 QQ,Qzone,微信,天天P图等。

    关于安装、编译、使用步骤等不在赘述,官网有很详细文档

    Windows Linux MacOS Android iOS
    intel-cpu ✔️ ✔️ ✔️ /
    intel-gpu ✔️ ✔️ /
    amd-cpu ✔️ ✔️ ✔️ /
    amd-gpu ✔️ ✔️ /
    nvidia-gpu ✔️ ✔️ /
    qcom-cpu ✔️ / /
    qcom-gpu ✔️ / ✔️ /
    arm-cpu / /
    arm-gpu / ✔️ /
    apple-cpu / / / /
    apple-gpu / / / / ✔️

    NCNN注意事项

    其实ncnn已经是一个完整的库,很少有人去改源码,当然如果你项目特别需要使可以的。

    使用出现问题主要是输入输出的地方不对应,以下是本人使用出现的问题。

    • 网络问题一

    使用caffe模型的时候,input部分一定要写成规范格式:

    input: "data"
    layer {
      name: "data"
      type: "Input"
      top: "data"
      input_param { shape: { dim: 1 dim: 1 dim: 256 dim: 512 } }
    }
    

    千万别图省事写成如下格式,caffe可以运行没问题,但是转化无法识别,这个ncnn数据结构导致!!!

    input: "data"
    input_dim: 1
    input_dim: 1
    input_dim: 256
    input_dim: 512
    
    • 网络问题二

    网络定义的层千万别出现重复情况,一定要规范定义:

    layer {
      name: "AAAA"
      type: "Concat"
      bottom: "box_softmax"
      bottom: "conv6_2"
      top: "concat_out1"
      concat_param {
        axis: 2
      }
    }
    layer {
      name: "BBBB"
      type: "Concat"
      bottom: "box_softmax"
      bottom: "concat_out1"
      top: "concat_out2"
      concat_param {
        axis: 2
      }
    }
    

    千万别写成如下网络,在caffe可以稳定运行,但是ncnn会读取上第一次出现的top层!!!

    第一层输出是concat_out1,第二层输出也是concat_out1,当使用ncnn.extract会出现错误!!!

    layer {
      name: "AAAA"
      type: "Concat"
      bottom: "box_softmax"
      bottom: "conv6_2"
      top: "concat_out1"
      concat_param {
        axis: 2
      }
    }
    layer {
      name: "BBBB"
      type: "Concat"
      bottom: "box_softmax"
      bottom: "concat_out1"
      top: "concat_out1"
      concat_param {
        axis: 2
      }
    }
    
    • NCNN网络问题三

    这貌似是算作caffe的问题,在笔者使用的过程忽略了这一点,干脆算NCNN操作里面了。

    Batch Normalization层有个use_global_stats参数,这个操作的作用是:是否使用caffe内部的均值和方差

    换句话的意思就是:

    ---------true :使用caffe内部的均值和方差,其中方差和均值都是固定的,模型训练好之后,这两个值就固定了。
    ---------false :使用当前层计算的方差和均值,这个是不固定的,是在训练过程一直改变,训练好的时候达到最优。

    其中NCNN默认使用true状态,不管是false还是true,最终都是算作true

    caffe测试的时候得手动设置为true

    • NCNN输入数据一

    正常来说ncnncaffe原版的误差范围在0.001左右,我的数据在0.000X范围徘徊,如果你的数据精确不到第三个有效数字,那就得检查网络输入精度了。

    输入的substract_mean_normalize得尽量精确,尤其是归一化的值!!!

    假设0-255的图像需要归一化到0-1

    const float noml_vals[1] = { 0.0078431372549019607843137254902f };
    

    千万不要写成下面这样,读者可以自己测试,精度差别较大。

    const float noml_vals[1] = { 0.0078 }
    
    • NCNN输入数据二

    这里没有错误点,只有心得点。

    1. 如果输入的是opencv的Mat对象,那只能是CV_8U类型,别想着去使用CV_32F等其他类型,对结果没有影响的。
    2. 关于使用opencv的处理图像和ncnn的处理图像效果一样,比如opencv的resize、normalize、cvtcolor等函数,和ncnn的from_pixels_resize、substract_mean_normalize效果基本没有区别,本人已经测试。

    NCNN使用心得

    小技巧

    • 输出为多层

    看了NCNN的官网给的例子,它是将输出转化为一行数据,然后一个一个的进行处理:

    ncnn::Mat out_flatterned = out.reshape(out.w * out.h * out.c);
    std::vector<float> scores;
    scores.resize(out_flatterned.w);
    for (int j=0; j<out_flatterned.w; j++)
    {
        scores[j] = out_flatterned[j];
    }
    

    个人感觉使用这种处理小数据还是可以的,本人使用网络输出100 × 100 × 10,这种情况该如何处理?

    1. 你可以使用那种方法去一个一个保存到数组,就是浪费点时间。
    2. 当你需要处理结果的时候呢?比如简单说去找每个channels的最大值,且主要知道坐标?

    本人使用处理如下:

    	for (size_t i = 0; i < out.c; i++)
    	{
    		cv::Mat cv_mat = cv::Mat::zeros(cv::Size(100, 100), CV_8UC1);
    		ncnn::Mat ppp = out.channel(i);
             //转化为opencv的Mat进行操作,因为有很多矩阵运算就很方便
    		ppp.to_pixels(cv_mat.data, ncnn::Mat::PIXEL_GRAY);
    		double max_c = 0, min_c = 0;
    		cv::Point min_loc, max_loc;
    		cv::minMaxLoc(cv_mat, &min_c, &max_c, &min_loc, &max_loc);
    		/*---------------后续操作-----------------*/
    	}
    

    小想法

    NCNN官网有个人问能不能输入和输出多个通道数据,后者已经在上文实现,以下看前者。

    • NCNN的输入为Extractor.input(const char* blob_name, const Mat& in),其中inncnn::Mat类型数据,显然是

      可以多个channels输入的。

    • 可以使用ncnn创建100×100×10数据,然后对每个channel通过from_pixel进行赋值操作即可。

    没有经过具体实现,官网也没说明,不清楚能不能行,读者可以根据以上自己尝试。

  • 相关阅读:
    spring学习10-AOP
    spring学习9-代理模式
    spring学习6-bean的自动装配
    PyQT5使用心得
    Python 时间戳和日期相互转换
    requests模块的入门使用
    Celery异步任务
    MySQL和python交互
    MySQL高级
    MySQL中select的使用
  • 原文地址:https://www.cnblogs.com/wjy-lulu/p/11370546.html
Copyright © 2020-2023  润新知