mdz/pytorch/superglue

superglue

下载

✨ 一键下载开发流程中所需的各种文件，包括编译使用的量化校准集、运行时工程的依赖库，以及输入输出文件。

💡 推荐使用linux版下载脚本，其wget包含断网自动重连功能，不会出现下载文件遗漏情况。

windows

📌 第一次使用，请在C盘根目录下新建icraft_auth.txt，保存下载站账号密码，以换行符分隔

需要事先下载windows版本wget：

（若点击以下链接后未直接下载，请选择 1.20.3 版本下的对应系统链接进行下载）

x86系统wget下载 x64系统wget下载

使用时需要将wget.exe的路径作为命令行参数传入，注意不是exe的父文件夹目录，而是包含wget.exe的完整绝对路径：

不下载Deps：./download.ps1 "PATH_TO_WGET_EXE"

如果您是第一次使用我们的模型库，请下载包括工程依赖库的所有文件：./download.ps1 "PATH_TO_WGET_EXE" -d

💡 下载过程中可能因网络问题出现中断情况，需 自行重新运行 下载脚本。

linux

📌 第一次使用，请在/usr根目录下新建icraft_auth.txt，保存下载站账号密码，以换行符分隔

为确保文件格式正确，请在运行脚本前安装格式转换工具dos2unix，并执行格式转换命令：

sudo apt-get install dos2unix
dos2unix /usr/icraft_auth.txt
dos2unix ./download.sh

如果您是第一次使用我们的模型库，请下载包括工程依赖库的所有文件：./download.sh -d

如果之前已经在使用别的模型时下载过Deps依赖库，可以直接将其中的thirdparty部分复制到路径3_deploy/Deps，只需下载量化校准集和输入输出文件即可：./download.sh

🌟 Tips：

• 若想要直接获取原始weights和导出保存的模型，可分别前往 weights 和 fmodels 网页上根据框架及模型名寻找并下载。

0. 文件结构说明

AI部署模型需要以下几部分文件

• 2_compile >Icraft编译器编译模型时所需要的文件
• 3_deploy >将Icraft编译器编译出的模型部署到硬件时需要的c++工程

1. python工程准备

1. 模型来源：

• code：https://gitee.com/mxh-spiger/custom_model.git
• branch：master
• commit_id：ca5edee
• weights：https://github.com/magicleap/SuperGluePretrainedNetwork

2. 保存模型

目的：将模型保存成可以被Icraft编译器编译的形态

• 根据https://gitee.com/mxh-spiger/custom_model/tree/master/superglue_twt中的介绍进行模型保存。

2.使用Icraft编译器编译模型

目的： 使用Icraft编译器将上一步保存好的框架模型转化为硬件可部署模型

• 1）相关命名说明：

  1）fmodel：frame model >用于Icraft编译器的框架模型

  2）imodel：icraft model >用Icraft编译器编译出的模型

  3）qtset：Quantitative Calibration Set >Icraft编译器所需的量化校准集

• 2）确认已安装正确的icraft版本

  检查方法：打开cmd运行：icraft --version

  若已正常安装则会显示当前icraft版本，例如：

  Icraft 版本:
   * 3.7.1
  
  CLI 版本:
  3.7.0.0-a90988f(2412231401)
  

• 3）执行编译：

  在 /2_compile目录下执行编译：

选择编译outdoor模型：输入大小为1200*1600，限制点数为512

icraft compile .\config\superpoint-1200x1600.toml    
icraft compile .\config\superglue-outdoor-512-norm.toml

选择编译indoor模型：输入大小为512*640，限制点数为256

icraft compile .\config\superpoint-512x640.toml 
icraft compile .\config\superglue-indoor-256-norm.toml

如果过程顺利，将得到 icraft model（以 .json （graph）.raw（param）的格式保存）

其中包括编译各阶段产生的中间结果模型和最终用于片上部署的BY模型，直接被保存到: 3_deploy/modelzoo/superglue/imodel

3. 部署模型

部署环境检查

• 以root账户登录片上系统terminal（ssh或串口皆可），模型库默认的模型存放路径为以下目录，如果没有请预先创建：

/home/fmsh/ModelZoo/

• 检查板上环境是否正确：

  1. 查看环境变量，指令： icraft --version

     看打印信息是否如下：

     Icraft 版本:
     * v3.7.1
     
     CLI 版本:
     3.7.0.0-a90988f(2412231401)
     

  2. 若是，在任意目录下输入icraft-serve即可打开server

  3. 检查icraft和customop安装包版本是否为arm64

     # 检查icraft安装包版本
     dpkg -l | grep icraft
     # 检查customop安装包版本
     dpkg -l | grep customop
     

     如果依次显示如下信息，则安装版本正确：

     ii  icraft                         3.7.1                             arm64        This is Icraft for arm64
     ii  customop                       3.7.1                             arm64        This is Icraft CustomOp for arm64
     

  4. 如果环境配置有误，请参考[Part 1_1 2.3.1 片上系统环境 编译环境准备](https://gitee.com/mxh-spiger/tutorial-runtime/blob/tt3.7.1/docs/Part 1_1 quick-start.md#1编译环境准备-2)进行部署环境配置。

  5. 根据此模型使用的硬算子，选择合适的位流，并在板上安装，所用硬算子及可选位流版本可参见本说明文档起始处的状态徽章，位流下载及安装说明请参考1/4) 其他下载资源。

c++ runtime:

目的：编译c/c++可执行程序，在AI硬件上执行模型前向推理

模型库以ubuntu操作系统为例：

1. 编译环境准备

   • os: ubuntu20.04
   • cmake>=3.10
   • compiler: aarch64-linux-gnu-g++/aarch64-linux-gnu-gcc 编译c++程序

   #在3.1所需的linux编译环境中
   cd 3_deploy/modelzoo/superglue/build_arm
   cmake ..
   make -j
   

2. 执行程序

将编译后的build_arm下文件放入/home/fmsh/ModelZoo/modelzoo/superglue/build_arm文件夹

cd /home/fmsh/ModelZoo/modelzoo/superglue/build_arm
chmod 777 *
#测试outdoor模型
./superglue ../cfg/superglue_ourdoor.yaml
#测试indoor模型
./superglue ../cfg/superglue_indoor.yaml

在io/output中查看结果

4. 模型性能记录

superpoint-8bit	input shape	time
outdoor输入	[ 1, 1200, 1600, 1]	88 ms
indoor输入	[ 1, 512, 640, 1]	15ms

superglue-8bit	input shape	time
512点数	[1,512,1,256],[1,512,1,2],[1,512,1,1],[1,512,1,256],[1,512,1,2],[1,512,1,1]	207 ms
256点数	[1,256,1,256],[1,256,1,2],[1,256,1,1],[1,256,1,256],[1,256,1,2],[1,256,1,1]	58 ms