18 KiB

Raw Permalink Blame History

siamfc++

下载

✨ 一键下载开发流程中所需的各种文件，包括编译使用的量化校准集、运行时工程的依赖库，以及输入输出文件。

💡 推荐使用linux版下载脚本，其wget包含断网自动重连功能，不会出现下载文件遗漏情况。

windows

📌 第一次使用，请在C盘根目录下新建icraft_auth.txt，保存下载站账号密码，以换行符分隔

需要事先下载windows版本wget：

（若点击以下链接后未直接下载，请选择 1.20.3 版本下的对应系统链接进行下载）

x86系统wget下载 x64系统wget下载

使用时需要将wget.exe的路径作为命令行参数传入，注意不是exe的父文件夹目录，而是包含wget.exe的完整绝对路径：

不下载Deps：./download.ps1 "PATH_TO_WGET_EXE"

如果您是第一次使用我们的模型库，请下载包括工程依赖库的所有文件：./download.ps1 "PATH_TO_WGET_EXE" -d

💡 下载过程中可能因网络问题出现中断情况，需 自行重新运行 下载脚本。

linux

📌 第一次使用，请在/usr根目录下新建icraft_auth.txt，保存下载站账号密码，以换行符分隔

为确保文件格式正确，请在运行脚本前安装格式转换工具dos2unix，并执行格式转换命令：

sudo apt-get install dos2unix
dos2unix /usr/icraft_auth.txt
dos2unix ./download.sh

如果您是第一次使用我们的模型库，请下载包括工程依赖库的所有文件：./download.sh -d

如果之前已经在使用别的模型时下载过Deps依赖库，可以直接将其中的thirdparty部分复制到路径3_deploy/Deps，只需下载量化校准集和输入输出文件即可：./download.sh

🌟 Tips：

若想要直接获取原始weights和导出保存的模型，可分别前往 weights 和 fmodels 网页上根据框架及模型名寻找并下载。

0. 文件结构说明

AI部署模型需要以下几部分文件

2_compile >Icraft编译器编译模型时所需要的文件
3_deploy >将Icraft编译器编译出的模型部署到硬件时需要的c++工程

1. python工程准备

1. 模型来源：

code：https://gitee.com/mxh-spiger/custom_model.git
branch：master
commit_id：ca5edee
weights："https://drive.usercontent.google.com/download?id=1bVYfCEen0rwiK1jp3uwKopse8RICBJxj&export=download&confirm=t&uuid=78d8ecc0-3b23-473b-a160-29541ff33978"

2. 保存模型

目的：将模型保存成可以被Icraft编译器编译的形态

根据https://gitee.com/mxh-spiger/custom_model/tree/master/siamfc++中的介绍进行模型保存。

2.使用Icraft编译器编译模型

目的：使用Icraft编译器将上一步保存好的框架模型转化为硬件可部署模型

1）相关命名说明：

1）fmodel：frame model >用于Icraft编译器的框架模型

2）imodel：icraft model >用Icraft编译器编译出的模型

3）qtset：Quantitative Calibration Set >Icraft编译器所需的量化校准集
2）确认已安装正确的icraft版本

检查方法：打开cmd运行：icraft --version

若已正常安装则会显示当前icraft版本，例如：
```
Icraft 版本:
 * 3.7.1

CLI 版本:
3.7.0.0-a90988f(2412231401)
```

3）执行编译：

在 /2_compile目录下执行编译：

 icraft compile config/siamfc++-net-1_psin_8.toml
 icraft compile config/siamfc++-net-2_psin_8.toml

如果过程顺利，将得到 icraft model（以 `.json` （graph）`.raw`（param）的格式保存）

其中包括编译各阶段产生的中间结果模型和最终用于片上部署的BY模型，直接被保存到:  3_deploy/modelzoo/siamfc++/imodel

3. 部署模型

部署环境检查

以root账户登录片上系统terminal（ssh或串口皆可），模型库默认的模型存放路径为以下目录，如果没有请预先创建：

/home/fmsh/ModelZoo/

检查板上环境是否正确：
1. 查看环境变量，指令： icraft --version
  
  看打印信息是否如下：
```
Icraft 版本:
* v3.7.1

CLI 版本:
3.7.0.0-a90988f(2412231401)
```
2. 若是，在任意目录下输入icraft-serve即可打开server
3. 检查icraft和customop安装包版本是否为arm64
```
# 检查icraft安装包版本
dpkg -l | grep icraft
# 检查customop安装包版本
dpkg -l | grep customop
```
  如果依次显示如下信息，则安装版本正确：
```
ii  icraft                         3.7.1                             arm64        This is Icraft for arm64
ii  customop                       3.7.1                             arm64        This is Icraft CustomOp for arm64
```
4. 如果环境配置有误，请参考Part 1_1 2.3.1 片上系统环境编译环境准备进行部署环境配置。
5. 根据此模型使用的硬算子，选择合适的位流，并在板上安装，所用硬算子及可选位流版本可参见本说明文档起始处的状态徽章，位流下载及安装说明请参考1/4) 其他下载资源。

c++ runtime:

PSIN工程示例

目的：编译c/c++可执行程序，在AI硬件上执行模型前向推理

模型库以ubuntu操作系统为例：

编译环境准备
- os: ubuntu20.04
- cmake>=3.10

compiler: aarch64-linux-gnu-g++/aarch64-linux-gnu-gcc 编译c++程序

#在3.1所需的linux编译环境中
cd 3_deploy/modelzoo/siamfc++/build_arm
cmake ..
make -j

执行程序

cd /home/fmsh/ModelZoo/modelzoo/siamfc++/build_arm
chmod 777 *
./siamfc++_psin ../cfg/siamfc++_psin.yaml

在io/output中查看结果；

PLIN工程示例

本工程还提供了两种PLIN demo

单目标追踪多线程PLIN

siamfc++_plin.cpp：该脚本是siamfc++单目标追踪的多线程PLIN demo。

使用方法：

a）首先，需要重新编译模型，包括：siamfc++-net-1_plin.toml、siamfc++-net-2_plin.toml；

b）然后，修改siamfc++plin.cpp中目标初始位置：init_rect={x,y,w,h}，保存；

c）最后，再修改cmakelist.txt，并按照章节3.3编译c++程序，将执行文件拷贝到板子上，并按照章节3.6执行程序，指令如下：

cd /home/fmsh/ModelZoo/modelzoo/siamfc++/build_arm
chmod 777 *
./siamfc++_plin

单目标检测+追踪多线程PLIN

yolov5s+siamfc++_plin.cpp：该脚本是yolov5s+siamfc++的单目标检测+追踪的多线程PLIN demo，默认只检测+追踪人，如需更改检测目标，可修改N_CLASS参数。

使用方法：

a）首先，需要重新编译模型，包括：yolov5s_plin.toml、siamfc++-net-1_plin.toml、siamfc++-net-2_plin.toml；

b）然后，修改cmakelist.txt，并按照章节3.3编译c++程序；

c）最后，将执行文件拷贝到板子上，并按照章节3.6执行程序，指令如下：

cd /home/fmsh/ModelZoo/modelzoo/siamfc++/build_arm
chmod 777 *
./yolov5s+siamfc++_plin

4. 精度测试

由于精度测试需要遍历一个数据集中的所有图片，因此需要使用上位机作为主控操作系统（demo中是按windows作为上位机操作系统来做的），使用网口连接板子，运行时输入数据会通过上位机经由网口传到片上进行推理。

1. 环境准备

若已准备好环境请跳过此部分

1. 网口调试环境准备（如果已经准备好网口调试环境则看下一条）

安装ssh

查看或配置板子ip

使用串口连接板子
vim /etc/rc.local
查看或设置ip

#!/bin/bash
ifconfig eth0 192.168.125.171 netmask 255.255.255.0
systemctl start sshd

修改本地网络适配器配置

参考配置
- ipv4地址：192.168.125.2
- 子网掩码：255.255.255.0
- 默认网关：192.168.125.1
- 连接速度与双工：100mbps全双工

使用网口或串口进入板上系统打开server

上位机：

ssh root@192.168.125.171

板上：确保位于root账户下，执行：

icraft-serve

请确保在root账户下执行上述命令
设备成功打开示意图

root@U:~# icraft-serve
[02/22/24 02:02:00.388] [I] Using port : 9981
[02/22/24 02:02:00.388] [I] synchronous mode
[02/22/24 02:02:00.388] [I] [irpc::port::tcp::_waitNewConn] wait for new connection

如果能正确运行则可以继续下一步。

2.编译环境准备

请参考2.1Windows编译环境准备进行精度测试环境配置。

2. 测试说明

1.数据集准备

测试数据集下载：LaSOT
模型测试使用LaSOT数据集中随机抽取的部分数据集，测试序列存放于 3_deploy\modelzoo\siamfc++\io\input及 3_deploy\modelzoo\siamfc++\io\test.txt中
如需测试其他数据集，需自行将图片存放于 3_deploy\modelzoo\siamfc++\io\input,并准备对应的input.txt

2.修改运行时的yaml配置文件：

运行时需要配置一些模型路径，输入数据，后处理参数等，其配置文件在 3_deploy/modelzoo/siamfc++/cfg/

测试时使用：siamfc++_psin_test.yaml

需要修改：

imodel中参数：修改精度测试所用模型文件路径dir，根据所使用板子ip设置ip。
dataset中参数：更改自己的精度测试数据集路径。
param中参数：如果模型没有重训，则无需更改，若重训则需要修改对应部分参数。

3.编译、执行运行时程序

./siamfc++_psin ../cfg/siamfc++_psin_test.yaml

4.使用metrics测试脚本，将保存的测试结果计算出精度指标

metrics测试脚本使用与配置说明：

精度测试脚本存放于：https://gitee.com/mxh-spiger/benchmark
本模型使用 ./sot_track/analysis_results.py

5. 模型性能记录

时间测试如下：

siamfc++	input shape	hard time
siamfc++-net-1-8bit	[1,3,127,127]	0.9482 ms
siamfc++-net-2-8bit	[1,3,303,303]	3.672 ms
siamfc++-net-1-16bit	[1,3,127,127]	1.5125 ms
siamfc++-net-2-16bit	[1,3,303,303]	5.9922 ms

精度测试如下：

siamfc++	qt_strategy	AUC	Precision	Precision_norm
float	-	52.3	54.07	61.06
8bit	kld-pc	51.36	52.45	60.40
16bit	kld-pc	51.24	52.09	60.36

18 KiB Raw Permalink Blame History Unescape Escape