MindSpore应用目标
以下将展示MindSpore近一年的高阶计划,会根据用户的反馈诉求,持续调整计划的优先级。
总体而言,会努力在以下几个方面不断改进。
1. 提供更多的预置模型支持。
2. 持续补齐API和算子库,改善易用性和编程体验。
3. 提供华为昇腾AI处理器的全面支持,并不断优化性能及软件架构。
4. 完善可视化、调试调优、安全相关工具。
预置模型
· CV:目标检测、GAN、图像分割、姿态识别等场景经典模型。
· NLP:RNN、Transformer类型神经网络,拓展基于Bert预训练模型的应用。
· 其它:GNN、强化学习、概率编程、AutoML等。
易用性
· 补齐算子、优化器、Loss函数等各类API
· 完善Python语言原生表达支持
· 支持常见的Tensor/Math操作
· 增加更多的自动并行适用场景,提高策略搜索的准确性
性能优化
· 优化编译时间
· 低比特混合精度训练/推理
· 提升内存使用效率
· 提供更多的融合优化手段
· 加速PyNative执行性能
架构演进
· 图算融合优化:使用细粒度Graph IR表达算子,构成带算子边界的中间表达,挖掘更多图层优化机会。
· 支持更多编程语言
· 优化数据增强的自动调度及分布式训练数据缓存机制
· 持续完善MindSpore IR
· Parameter Server模式分布式训练
MindInsight调试调优
· 训练过程观察
o 直方图
o 计算图/数据图展示优化
o 集成性能Profiling/Debugger工具
o 支持多次训练间的对比
· 训练结果溯源
o 数据增强溯源对比
· 训练过程诊断
o 性能Profiling
o 基于图模型的Debugger
MindArmour安全增强包
· 测试模型的安全性
· 提供模型安全性增强工具
· 保护训练和推理过程中的数据隐私
推理框架
· 算子性能与完备度的持续优化
· 支持语音模型推理
· 端侧模型的可视化
· Micro方案,适用于嵌入式系统的超轻量化推理, 支持ARM Cortex-A、Cortex-M硬件
· 支持端侧重训及联邦学习
· 端侧自动并行特性
· 端侧MindData,包含图片Resize、像素数据转换等功能
· 配套MindSpore混合精度量化训练(或训练后量化),实现混合精度推理,提升推理性能
· 支持Kirin NPU、MTK APU等AI加速硬件
· 支持多模型推理pipeline
· C++构图接口