17 KiB

Raw Permalink Blame History

PolyLaneNet

下载

✨ 一键下载开发流程中所需的各种文件，包括编译使用的量化校准集、运行时工程的依赖库，以及输入输出文件。

💡 推荐使用linux版下载脚本，其wget包含断网自动重连功能，不会出现下载文件遗漏情况。

windows

📌 第一次使用，请在C盘根目录下新建icraft_auth.txt，保存下载站账号密码，以换行符分隔

需要事先下载windows版本wget：

（若点击以下链接后未直接下载，请选择 1.20.3 版本下的对应系统链接进行下载）

x86系统wget下载 x64系统wget下载

使用时需要将wget.exe的路径作为命令行参数传入，注意不是exe的父文件夹目录，而是包含wget.exe的完整绝对路径：

不下载Deps：./download.ps1 "PATH_TO_WGET_EXE"

如果您是第一次使用我们的模型库，请下载包括工程依赖库的所有文件：./download.ps1 "PATH_TO_WGET_EXE" -d

💡 下载过程中可能因网络问题出现中断情况，需 自行重新运行 下载脚本。

linux

📌 第一次使用，请在/usr根目录下新建icraft_auth.txt，保存下载站账号密码，以换行符分隔

为确保文件格式正确，请在运行脚本前安装格式转换工具dos2unix，并执行格式转换命令：

sudo apt-get install dos2unix
dos2unix /usr/icraft_auth.txt
dos2unix ./download.sh

如果您是第一次使用我们的模型库，请下载包括工程依赖库的所有文件：./download.sh -d

如果之前已经在使用别的模型时下载过Deps依赖库，可以直接将其中的thirdparty部分复制到路径3_deploy/Deps，只需下载量化校准集和输入输出文件即可：./download.sh

🌟 Tips：

若想要直接获取原始weights和导出保存的模型，可分别前往 weights 和 fmodels 网页上根据框架及模型名寻找并下载。

0. 文件结构说明

AI部署模型需要以下几部分文件

0_PolyLaneNet >模型原始工程，需要自行下载
weights >存放原始权重，需要自行下载
1_scripts >若干脚本，用于保存Icraft编译器需要的模型、编译后仿真等功能
2_compile >Icraft编译器编译模型时所需要的文件
3_deploy >将Icraft编译器编译出的模型部署到硬件时需要的c++工程

1. python工程准备

1. 模型来源：

code：https://github.com/lucastabelini/PolyLaneNet.git
branch：master
commit_id：6155ce2
weights：https://drive.google.com/open_id=1oyZncVnUB1GRJl5L4oXz50RkcNFM_FFC

2. 保存模型

目的：将模型保存成可以被Icraft编译器编译的形态

1）根据模型来源中的地址：https://drive.google.com/open_id=1oyZncVnUB1GRJl5L4oXz50RkcNFM_FFC ，下载原始weights，存放于 /weights文件夹中

注意：

有时开源的weights url可能会变更。如果上述weights url失效，请根据原工程相应的branch以及commit版本寻找正确的下载链接
若上述weights url永久失效，请联系本模型库相关人员获取权限下载

2）根据模型来源中的地址，下载指定commit id版本的源代码，文件夹名称要设置为：0_PolyLaneNet

# 在此模型根目录
mkdir 0_PolyLaneNet
git clone -b master https://github.com/lucastabelini/PolyLaneNet.git 0_PolyLaneNet
cd 0_PolyLaneNet
git checkout 6155ce2

3）进入1_scripts执行保存模型脚本

# 在此模型根目录
cd 1_scripts
python 1_save.py

1_scripts提供脚本说明：

环境要求：Icraft编译器对导出框架模型时使用的框架版本有要求。即以下脚本中所有导出模型的脚本 1_save.py ，必须在要求的框架版本下执行，其他脚本不限制。要求的版本：
- pytorch：支持pytorch1.9.0、pytorch2.0.1两个版本的原生网络模型文件（.pt格式），以及pytorch框架保存为onnx（opset=17）格式的模型文件（.onnx格式）
- paddle：仅支持PaddlePaddle框架保存为onnx（opset=11）格式的模型文件（.onnx格式），不支持框架原生网络模型文件
- darknet：支持Darknet框架原生网络模型GitHub - pjreddie/darknet: Convolutional Neural Networks
0_infer.py >可以推理一张图并得到最终结果，模型原始权重会从 /weights 中寻找，需要您预先下载
1_save.py >保存模型，保存好的用于Icraft编译器的模型，会存放在 /2_compile/fmodel
2_save_infer.py >用修改后保存的模型做前向推理，验证保存的模型与原模型是否一致

2.使用Icraft编译器编译模型

目的：使用Icraft编译器将上一步保存好的框架模型转化为硬件可部署模型

1）相关命名说明：

1）fmodel：frame model >用于Icraft编译器的框架模型

2）imodel：icraft model >用Icraft编译器编译出的模型

3）qtset：Quantitative Calibration Set >Icraft编译器所需的量化校准集
2）确认已安装正确的icraft版本

检查方法：打开cmd运行：icraft --version

若已正常安装则会显示当前icraft版本，例如：
```
Icraft 版本:
 * 3.7.1

CLI 版本:
3.7.0.0-a90988f(2412231401)
```
3）执行编译：

在 /2_compile目录下执行编译：
```
 icraft compile config/PolyLaneNet_8.toml
```

首先根据默认的config/PolyLaneNet_8.toml编译模型，其中quantize阶段的mix_precision = "auto"
编译完成后，打开.icraft/logs/PolyLaneNet/PolyLaneNet_mix_config.csv文件，将倒数第一个icraft::xir::AvgpoolNode算子的dtype改为INT16后保存。
1. 将config/PolyLaneNet_8.toml文件中quantize阶段的混合精度配置为：mix_precision = ".icraft/logs/PolyLaneNet/PolyLaneNet_mix_config.csv"。
2. 再次编译模型，完成编译。
3. 如果过程顺利，将在3_deploy/modelzoo/PolyLaneNet/imodel/8得到 icraft model（以 .json （graph）.raw（param）的格式保存）
您也可以直接编译config/PolyLaneNet_mix.toml,将在3_deploy/modelzoo/PolyLaneNet/imodel/mix得到 icraft model

3. 仿真

通过配置3_deploy/modelzoo/PolyLaneNet/cfg/中yaml文件的sim字段为true实现模型仿真。

imodel:
   ...
   sim: true
   ...

4. 部署模型

部署环境检查

以root账户登录片上系统terminal（ssh或串口皆可），模型库默认的模型存放路径为以下目录，如果没有请预先创建：

/home/fmsh/ModelZoo/

检查板上环境是否正确：
1. 查看环境变量，指令： icraft --version
  
  看打印信息是否如下：
```
Icraft 版本:
* v3.7.1

CLI 版本:
3.7.0.0-a90988f(2412231401)
```
2. 若是，在任意目录下输入icraft-serve即可打开server
3. 检查icraft和customop安装包版本是否为arm64
```
# 检查icraft安装包版本
dpkg -l | grep icraft
# 检查customop安装包版本
dpkg -l | grep customop
```
  如果依次显示如下信息，则安装版本正确：
```
ii  icraft                         3.7.1                             arm64        This is Icraft for arm64
ii  customop                       3.7.1                             arm64        This is Icraft CustomOp for arm64
```
4. 如果环境配置有误，请参考Part 1_1 2.3.1 片上系统环境编译环境准备进行部署环境配置。
5. 根据此模型使用的硬算子，选择合适的位流，并在板上安装，所用硬算子及可选位流版本可参见本说明文档起始处的状态徽章，位流下载及安装说明请参考1/4) 其他下载资源。

python runtime:

目的：在AI硬件上执行模型前向推理

python运行虚拟环境要求与准备
- python版本：3.8（否则无法使用icraft的python API）
- 确保已安装icraft的python安装包
  - socket模式使用：pip install icraft-3.x.x-cp38-none-win_amd64.whl
  - axi模式使用：pip install icraft-3.x.x-cp38-none-manylinux2014_aarch64.whl
- 在选定的python运行虚拟环境中安装python运行时所需要的依赖包
```
cd 3_deploy/modelzoo/PolyLaneNet
pip install -r requirements.txt
```
- 安装一些便于开发pyrt的依赖包
```
cd 3_deploy/Deps/modelzoo
pip install -e .
```
  由于python运行时代码在引入依赖包时候已经通过sys.path.append(R"../../../Deps/modelzoo")将一些便于开发pyrt的依赖包加入到了系统路径下，因此可以不用执行该步骤即可直接运行2.执行程序。这里提供额外的[pip install -e .]安装方式是为了在python运行时代码时候方便进行pyrtutils的依赖跳转。

执行程序

python ./PolyLaneNet_psin.py ../cfg/PolyLaneNet.yaml

在io/output中查看结果

5. 模型性能记录

PolyLaneNet	input shape	hard time	精度
float	[1, 3, 360, 640]	-	-
8bit	[1, 3, 360, 640]	5.786ms	-
16bit	[1, 3, 360, 640]	12.705ms	-

17 KiB Raw Permalink Blame History Unescape Escape