ONNX MLIR方法
MLIR中的开放式神经网络交换实现。
Prerequisites
gcc >= 6.4
libprotoc >= 3.11.0
cmake >= 3.15.4
在UNIX上安装MLIR
首先，安装MLIR（作为LLVM-Project的一部分）:
git clone https://github.com/llvm/llvm-project.git
# Check out a specific branch that is known to work with ONNX MLIR.
cd llvm-project && git checkout 496fb70b141ccbfaba9761294f3b4b97717096a3 && cd ..
mkdir llvm-project/build
cd llvm-project/build
cmake -G Ninja ../llvm
-DLLVM_ENABLE_PROJECTS=mlir
-DLLVM_BUILD_EXAMPLES=ON
-DLLVM_TARGETS_TO_BUILD="host"
-DCMAKE_BUILD_TYPE=Release
-DLLVM_ENABLE_ASSERTIONS=ON
-DLLVM_ENABLE_RTTI=ON
cmake --build . --target -- ${MAKEFLAGS}
cmake --build . --target check-mlir
ONNX-MLIR (this project)
需要设置两个环境变量：
- LLVM_PROJ_SRC指向llvm-project src目录（例如llvm-project /）。
- LLVM_PROJ_BUILD指向llvm-project构建目录（例如，llvm-project / build）。
要构建ONNX-MLIR，使用以下命令：
same-as-file: <> ({“ref”: “utils/install-onnx-mlir.sh”, “skip-doc”: 2})
git clone --recursive https://github.com/onnx/onnx-mlir.git
# Export environment variables pointing to LLVM-Projects.
export LLVM_PROJ_SRC=$(pwd)/llvm-project/
export LLVM_PROJ_BUILD=$(pwd)/llvm-project/build
mkdir onnx-mlir/build && cd onnx-mlir/build
cmake ..
cmake --build .
# Run FileCheck tests:
export LIT_OPTS=-v
cmake --build . --target check-onnx-lit
上述命令成功onnx-mlir执行后，可执行文件应出现在bin目录中。
在Windows上安装
在Windows上构建onnx-mlir，需要构建一些默认情况下不可用的其它预先条件。
文件中的说明假定正在使用Visual Studio 2019社区版。建议安装具有C ++的桌面开发和具有C ++工作负载的Linux开发。这样可以确保拥有编译此工程，及其在Windows上的依赖项所需的所有工具链和库。
从“ VS 2019开发人员命令提示符”开始的外壳程序中运行所有命令。
Protobuf
将protobuf构建为静态库。
set root_dir=%cd%
git clone --recurse-submodules https://github.com/protocolbuffers/protobuf.git
cd protobuf
cd cmake
cmake -G "Visual Studio 16 2019" -A x64 -T host=x64 -DCMAKE_BUILD_TYPE=Release -Dprotobuf_MSVC_STATIC_RUNTIME=OFF -Dprotobuf_BUILD_TESTS=OFF -Dprotobuf_BUILD_EXAMPLES=OFF -Dprotobuf_WITH_ZLIB=OFF -DCMAKE_INSTALL_PREFIX="%root_dir%protobufinstall"
call msbuild protobuf.sln /m /p:Configuration=Release
call msbuild INSTALL.vcxproj /p:Configuration=Release
在为onnx-mlir运行CMake之前，确保此protobuf的bin目录在PATH中的其它任何目录之前：
set PATH=%root_dir%protobufinstallin;%PATH%
PDCurses
Build a local version of the curses library, used by various commandline tools in onnx-mlir. These instructions assume you use Public Domain Curses.
Run this from a Visual Studio developer command prompt since you will need access to the appropriate version of Visual Studio’s nmake tool.
构建curses库的本地版本，供onnx-mlir中的各种命令行工具使用。这些说明假定使用Public Domain Curses。
从Visual Studio开发命令提示符运行此命令，需要访问相应版本的Visual Studio的nmake工具。
set root_dir=%cd%
git clone https://github.com/wmcbrine/PDCurses.git
set PDCURSES_SRCDIR=%root_dir%/PDCurses
cd PDCurses
call nmake -f wincon/Makefile.vc
MLIR
安装MLIR（作为LLVM-Project的一部分）：
git clone https://github.com/llvm/llvm-project.git
# Check out a specific branch that is known to work with ONNX MLIR.
cd llvm-project && git checkout 496fb70b141ccbfaba9761294f3b4b97717096a3 && cd ..
set root_dir=%cd%
md llvm-projectuild
cd llvm-projectuild
call cmake -G "Visual Studio 16 2019" -A x64 -T host=x64 ..llvm ^
-DCMAKE_INSTALL_PREFIX="%root_dir%llvm-projectuildinstall" ^
-DLLVM_ENABLE_PROJECTS=mlir ^
-DLLVM_BUILD_EXAMPLES=ON ^
-DLLVM_TARGETS_TO_BUILD="host" ^
-DCMAKE_BUILD_TYPE=Release ^
-DLLVM_ENABLE_ASSERTIONS=ON ^
-DLLVM_ENABLE_RTTI=ON ^
-DLLVM_ENABLE_ZLIB=OFF
call cmake --build . --config Release --target -- /m
call cmake --build . --config Release --target install
call cmake --build . --config Release --target check-mlir
ONNX-MLIR (this project)
在构建onnx-mlir之前，需要设置以下环境变量：
- CURSES_LIB_PATH：curses库的路径（例如c：/ repos / PDCurses）
- LLVM_PROJ_BUILD：LLVM构建目录的路径（例如c：/ repos / llvm-project / build）
- LLVM_PROJ_SRC：LLVM源目录的路径（例如c：/ repos / llvm-project）
该项目使用带lit（LLVM的Integrated Tester）进行单元测试。运行CMake时，使用LLVM_EXTERNAL_LIT定义从LLVM指定lit工具的路径。
要构建ONNX MLIR，使用以下命令：
same-as-file: <> ({“ref”: “utils/install-onnx-mlir.cmd”, “skip-doc”: 2})
git clone --recursive https://github.com/onnx/onnx-mlir.git
REM Export environment variables pointing to LLVM-Projects.
set root_dir=%cd%
set CURSES_LIB_PATH=%root_dir%/PDCurses
set LLVM_PROJ_BUILD=%root_dir%/llvm-project/build
set LLVM_PROJ_SRC=%root_dir%/llvm-project
md onnx-mliruild
cd onnx-mliruild
call cmake -G "Visual Studio 16 2019" -A x64 -T host=x64 -DLLVM_EXTERNAL_LIT="%root_dir%llvm-projectuildReleaseinllvm-lit.py" -DCMAKE_BUILD_TYPE=Release ..
call cmake --build . --config Release --target onnx-mlir -- /m
REM Run FileCheck tests
set LIT_OPTS=-v
call cmake --build . --config Release --target check-onnx-lit
上述命令成功onnx-mlir执行后，可执行文件应出现在bin目录中。
使用ONNX-MLIR
onnx-mlir用法如下：
OVERVIEW: ONNX MLIR modular optimizer driver
USAGE: onnx-mlir [options] <input file>
OPTIONS:
Generic Options:
--help - Display available options (--help-hidden for more)
--help-list - Display list of available options (--help-list-hidden for more)
--version - Display the version of this program
ONNX MLIR Options:
These are frontend options.
Choose target to emit:
--EmitONNXIR - Ingest ONNX and emit corresponding ONNX dialect.
--EmitMLIR - Lower model to MLIR built-in transformation dialect.
--EmitLLVMIR - Lower model to LLVM IR (LLVM dialect).
--EmitLLVMBC - Lower model to LLVM IR and emit (to file) LLVM bitcode for model.
Example
例如，要将ONNX模型（例如add.onnx）降低为ONNX方言，使用以下命令：
./onnx-mlir --EmitONNXIR add.onnx
输出应如下所示：
module {
func @main_graph(%arg0: tensor<10x10x10xf32>, %arg1: tensor<10x10x10xf32>) -> tensor<10x10x10xf32> {
%0 = "onnx.Add"(%arg0, %arg1) : (tensor<10x10x10xf32>, tensor<10x10x10xf32>) -> tensor<10x10x10xf32>
return %0 : tensor<10x10x10xf32>
}
}