• An Efficient Spiking Neural Network for Recognizing Gestures with a DVS Camera on the Loihi Neuromorphic Processor


    郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布!

     

    IJCNN, pp.1-9, (2020)

    Abstract

      脉冲神经网络(SNN)是第三代神经网络,由于其生物学合理性和与传统人工深度神经网络(DNN)相比降低的复杂性,已成为基于机器学习的应用程序的关注焦点。这些SNN可以在英特尔Loihi研究芯片等神经形态处理器上以极高的能效实现,并由基于事件的传感器(如DVS摄像头)提供数据。然而,多层DNN在图像分类和识别任务上可以达到较高的准确率,因为SNN的学习规则在实际应用中的研究还不成熟。SNN的准确度结果通常是通过将训练的DNN转换为SNN,或者通过在脉冲域中直接设计和训练SNN来获得的。对于从DNN到SNN的转换,我们对专门为英特尔Loihi设计的此类过程进行了全面分析,展示了我们设计SNN的方法,该方法可实现与其相应DNN几乎相同的准确度结果。为了使用基于事件的传感器,我们设计了一种预处理方法,针对DvsGesture数据集进行了评估,这使得它可以在DNN域中使用。因此,基于第一次分析的结果,我们为预处理的DvsGesture数据集训练了一个DNN,并将其转换为脉冲域,以便在英特尔Loihi上进行部署,从而实现实时手势识别。结果表明,我们的SNN达到了89.64%的分类准确率,并且只占用了37个Loihi核。用于生成我们实验的源代码可在线获得,用于可重复的研究。

    Index Terms—Machine Learning, Spiking Neural Networks, Gesture Recognition, Event-Based Processing, Neuromorphic Processor, Loihi, Accuracy, Conversion, DVS Camera.

    I. INTRODUCTION

      人工深度神经网络 (DNN) 的最新发展推动了图像识别领域的最新发展[9]。然而,这些网络在边缘设备上执行推理任务时所需的高功率需求[16][24]限制了DNN在能源/功耗至关重要的场景/用例中的传播[23][28]。另一方面,脉冲神经网络(SNN)由于其模型生物学合理,在功率/能源效率和实时分类性能方面都显示出可喜的结果[27]。通过利用神经元之间基于脉冲的通信,SNN保证了较低的计算负载,以及延迟的减少。作为附带,当受到对抗性攻击的威胁时,SNN也表现出与DNN不同的行为[17]。

    II. BACKGROUND AND RELATED WORK

    A. Spiking Neural Networks

    B. Intel Loihi Neuromorphic Research Chip

    C. DNN-to-SNN Conversion

    III. A COMPREHENSIVE ANALYSIS ON THE DNN-TO-SNN CONVERSION SETUP

    A. Evaluation Metrics for the Conversion Quality

    B. Tunable Conversion Parameters

    C. DNN Training

    D. Conversion Process

    E. Experimental Setup

    F. Results Varying the DThIR

    G. Results Varying the Duration and Reset Mode

    H. Results Discussion

    IV. PRE-PROCESSING METHODS FOR THE DVSGESTURE DATASET

    A. Events Accumulation

    B. Time Window Size

    C. Events Polarity

    D. Frame Size

    E. Dataset Structure

    V. ACCURACY RESULTS

    VI. CONCLUSION

  • 相关阅读:
    个推技术实践 | 掌握这两个调优技巧,让你的TiDB性能提速千倍!
    3·8节,带你走进程序媛小姐姐的一天.mp4
    c++ fstream读写方式
    c++ ignore
    AI 智能写情诗、藏头诗
    随机数生成
    R script 入门教程
    Error: Cannot find module '@vue/clipluginbabel'
    Please, upgrade your dependencies to the actual version of corejs.
    java获取不到真实ip;获取不到ip地址;
  • 原文地址:https://www.cnblogs.com/lucifer1997/p/15963733.html
Copyright © 2020-2023  润新知