spider-mxh
/
mdz
1
0
Fork 1
Code Issues Pull Requests Packages Projects Releases Wiki Activity
mdz/pytorch/yolov5_seg/readme.md

22 KiB
Raw Permalink Blame History

yolov5_seg

version author
metrics speed
FPGA_ops
Bitstream
模型清单
OS

下载

✨ 一键下载开发流程中所需的各种文件，包括编译使用的量化校准集、运行时工程的依赖库，以及输入输出文件。

💡 推荐使用linux版下载脚本，其wget包含断网自动重连功能，不会出现下载文件遗漏情况。

windows

📌 第一次使用，请在C盘根目录下新建icraft_auth.txt，保存下载站账号密码，以换行符分隔

需要事先下载windows版本wget：

（若点击以下链接后未直接下载，请选择 1.20.3 版本下的对应系统链接进行下载）

x86系统wget下载 x64系统wget下载

使用时需要将wget.exe的路径作为命令行参数传入，注意不是exe的父文件夹目录，而是包含wget.exe的完整绝对路径：

不下载Deps：./download.ps1 "PATH_TO_WGET_EXE"

如果您是第一次使用我们的模型库，请下载包括工程依赖库的所有文件：./download.ps1 "PATH_TO_WGET_EXE" -d

💡 下载过程中可能因网络问题出现中断情况，需 自行重新运行 下载脚本。

linux

📌 第一次使用，请在/usr根目录下新建icraft_auth.txt，保存下载站账号密码，以换行符分隔

为确保文件格式正确，请在运行脚本前安装格式转换工具dos2unix，并执行格式转换命令：

sudo apt-get install dos2unix
dos2unix /usr/icraft_auth.txt
dos2unix ./download.sh

如果您是第一次使用我们的模型库，请下载包括工程依赖库的所有文件：./download.sh -d

如果之前已经在使用别的模型时下载过Deps依赖库，可以直接将其中的thirdparty部分复制到路径3_deploy/Deps，只需下载量化校准集和输入输出文件即可：./download.sh

🌟 Tips：

  • 若想要直接获取原始weights和导出保存的模型，可分别前往 weights 和 fmodels 网页上根据框架及模型名寻找并下载。

0. 文件结构说明

AI部署模型需要以下几部分文件

  • 0_yolov5_seg >模型原始工程，需要自行下载
  • weights >存放原始权重，需要自行下载
  • 1_scripts >若干脚本，用于保存Icraft编译器需要的模型、编译后仿真等功能
  • 2_compile >Icraft编译器编译模型时所需要的文件
  • 3_deploy >将Icraft编译器编译出的模型部署到硬件时需要的c++工程

1. python工程准备

1. 模型来源：

2. 保存模型

目的：将模型保存成可以被Icraft编译器编译的形态

1）根据模型来源中的地址：https://github.com/ultralytics/yolov5/releases/download/v7.0/yolov5s-seg.pt ，下载原始weights，存放于 /weights文件夹中

注意：
  • 有时开源的weights url可能会变更。如果上述weights url失效，请根据原工程相应的branch以及commit版本寻找正确的下载链接
  • 若上述weights url永久失效，请联系本模型库相关人员获取权限下载
2）根据模型来源中的地址，下载指定commit id版本的源代码，文件夹名称要设置为：0_yolov5_seg及0_ultralytics 
# 在此模型根目录
mkdir 0_yolov5_seg
git clone -b master https://github.com/ultralytics/yolov5.git 0_yolov5_seg
cd 0_yolov5_seg
git checkout e4df1ec
mkdir 0_ultralytics
git clone -b main https://github.com/ultralytics/ultralytics.git 0_ultralytics
cd 0_ultralytics
git checkout 437b430

3）进入1_scripts执行保存模型脚本

该目录下各个脚本中参数路径，均通过在各脚本代码最开始几行的全局变量控制。

由于1_scripts中脚本存在所使用的推理输入数据来自2_compile/qtset中，请先执行最开头的下载脚本，下载好量化校准集

# 在此模型根目录
cd 1_scripts
# 通过更改脚本中的L75~76行的INP_H和INP_W 导出不同数据流下需要的不同尺寸的模型
# psin(640x640)
# psin(512x960)
python 1_save.py

1_scripts提供脚本说明：

  • 环境要求：Icraft编译器对导出框架模型时使用的框架版本有要求。即以下脚本中所有导出模型的脚本1_save.py ，必须在要求的框架版本下执行，其他脚本不限制。要求的版本：

    • pytorch：支持pytorch1.9.0、pytorch2.0.1两个版本的原生网络模型文件（.pt格式），以及pytorch框架保存为onnx（opset=17）格式的模型文件（.onnx格式）
    • paddle：仅支持PaddlePaddle框架保存为onnx（opset=11）格式的模型文件（.onnx格式），不支持框架原生网络模型文件
    • darknet：支持Darknet框架原生网络模型GitHub - pjreddie/darknet: Convolutional Neural Networks

  • 0_infer.py >可以推理一张图并得到最终结果，模型原始权重会从 /weights 中寻找，需要您预先下载

  • 1_save.py >保存模型，保存好的用于Icraft编译器的模型，会存放在 `/2_compile/fmodel

保存模型时的修改点：

  1. 将网络模型输出只保留到卷积层，然后返回结果
def traced_Detect_forward(self, x):
z = []  # inference output
for i in range(self.nl):
  x[i] = self.m[i](x[i])  # conv
return x

Detect.forward = traced_Detect_forward

def traced_Segment_forward(self, x):
p = self.proto(x[0])
x = self.detect(self, x)
# return[x[0], x[1], x[2]]

return [x[0], x[1], x[2],p]
Segment.forward = traced_Segment_forward

通过更改INP_H = 640 INP_W = 640 为INP_H = 512 INP_W = 960 可以导出供plin编译和部署的模型文件

  • 2_save_infer.py >用修改后保存的模型做前向推理，验证保存的模型与原模型是否一致

2.使用Icraft编译器编译模型

目的： 使用Icraft编译器将上一步保存好的框架模型转化为硬件可部署模型

  • 1）相关命名说明：

    1）fmodel：frame model >用于Icraft编译器的框架模型

    2）imodel：icraft model >用Icraft编译器编译出的模型

    3）qtset：Quantitative Calibration Set >Icraft编译器所需的量化校准集

  • 2）确认已安装正确的icraft版本

    检查方法：打开cmd运行：icraft --version

    若已正常安装则会显示当前icraft版本，例如：

    Icraft 版本:
 * 3.7.1

CLI 版本:
3.7.0.0-a90988f(2412231401)

  • 3）执行编译：

    在 /2_compile目录下执行编译：

     icraft compile config/yolov5s_seg_8.toml
  # 若要部署plin工程则编译对应的plin模型
icraft compile config/yolov5s_seg_8_plin.toml # plin 

    如果过程顺利，将得到 icraft model（以 `.json` （graph）`.raw`（param）的格式保存）

其中包括编译各阶段产生的中间结果模型和最终用于片上部署的BY模型，直接被保存到:  3_deploy/modelzoo/yolov5_seg/imodel

3. 仿真

通过配置3_deploy/modelzoo/yolov5_seg/cfg/中yaml文件的sim字段为True实现模型仿真。

imodel:
   ...
   sim: true
   ...

4. 部署模型

部署环境检查

  • 以root账户登录片上系统terminal（ssh或串口皆可），模型库默认的模型存放路径为以下目录，如果没有请预先创建：
/home/fmsh/ModelZoo/
  • 检查板上环境是否正确：

    1. 查看环境变量，指令： icraft --version

      看打印信息是否如下：

      Icraft 版本:
* v3.7.1

CLI 版本:
3.7.0.0-a90988f(2412231401)

    2. 若是，在任意目录下输入icraft-serve即可打开server

    3. 检查icraft和customop安装包版本是否为arm64

      # 检查icraft安装包版本
dpkg -l | grep icraft
# 检查customop安装包版本
dpkg -l | grep customop

      如果依次显示如下信息，则安装版本正确：

      ii  icraft                         3.7.1                             arm64        This is Icraft for arm64
ii  customop                       3.7.1                             arm64        This is Icraft CustomOp for arm64

    4. 如果环境配置有误，请参考Part 1_1 2.3.1 片上系统环境 编译环境准备进行部署环境配置。

    5. 根据此模型使用的硬算子，选择合适的位流，并在板上安装，所用硬算子及可选位流版本可参见本说明文档起始处的状态徽章，位流下载及安装说明请参考1/4) 其他下载资源。

c++ runtime:

目的：编译c/c++可执行程序，在AI硬件上执行模型前向推理

模型库以ubuntu操作系统为例：

  1. 编译环境准备

    • os: ubuntu20.04
    • cmake>=3.10
    • compiler: aarch64-linux-gnu-g++/aarch64-linux-gnu-gcc 编译c++程序
    #在3.1所需的linux编译环境中
<<<<<<< HEAD
# 通过修改CMakeLists中的工程命名和对应的src cpp代码可以编译不同数据流的上板程序
# 例如：修改CMakeLists使其编译pin工程
# set(TARGET_NAME yolov5s_seg_plin) 
# add_executable(${TARGET_NAME} src/${TARGET_NAME}.cpp)
cd 3_deploy/modelzoo/yolov5_seg/build_arm
cmake ..
make -j

  2. 执行程序

    cd /home/fmsh/ModelZoo/modelzoo/yolov5_seg/build_arm
chmod 777 *
./yolov5s_seg_psin ../cfg/yolov5s_seg_psin.yaml # psin
./yolov5s_seg_plin ../cfg/yolov5s_seg_plin.yaml # plin
./yolov5s_seg_plin_mt ../cfg/yolov5s_seg_plin.yaml # plin 多线程

    在io/output中查看结果

    注意若执行plin工程则需要在开发板上接摄像头，若需要显示则需要外接显示器，查看推理结果

5. 精度测试

由于精度测试需要遍历一个数据集中的所有图片，因此需要使用上位机作为主控操作系统（demo中是按windows作为上位机操作系统来做的），使用网口连接板子，运行时输入数据会通过上位机经由网口传到片上进行推理。

1. 环境准备

若已准备好环境请跳过此部分

1. 网口调试环境准备（如果已经准备好网口调试环境则看下一条）

  1. 安装ssh

  2. 查看或配置板子ip

    • 使用串口连接板子
    • vim /etc/rc.local
    • 查看或设置ip
    #!/bin/bash
ifconfig eth0 192.168.125.171 netmask 255.255.255.0
systemctl start sshd

  3. 修改本地网络适配器配置

    参考配置

    • ipv4地址：192.168.125.2
    • 子网掩码：255.255.255.0
    • 默认网关：192.168.125.1
    • 连接速度与双工：100mbps全双工

  4. 使用网口或串口进入板上系统打开server

    上位机：

    ssh root@192.168.125.171

    板上： 确保位于root账户下，执行：

    icraft-serve
    • 请确保在root账户下执行上述命令
    • 设备成功打开示意图
    root@U:~# icraft-serve
[02/22/24 02:02:00.388] [I] Using port : 9981
[02/22/24 02:02:00.388] [I] synchronous mode
[02/22/24 02:02:00.388] [I] [irpc::port::tcp::_waitNewConn] wait for new connection

    如果能正确运行则可以继续下一步。

2.编译环境准备

请参考2.1Windows编译环境准备进行精度测试环境配置。

2. 测试说明

  1. 如果使用了DetPost硬算子（如果未使用则忽略此条）

    • 1）修改customop toml

      customop toml 即 config\customop\xxmodel.toml

      需要将该文件中的thr_f配置成0.001

      [ImageMake]
no_imkpad = 0

[DetPost]
thr_f = 0.001 # 阈值
cmp_en = 1  # 是否做阈值比较

groups = 3
anchor_num = 3
position = 5

    • 2）重新进行模型编译

       icraft compile config/yolov5s_seg_8.toml

      由于测精度程序由上位机控制，生成的imodel不用再复制到板子中

  2. 数据集准备

    • 测试数据集下载：coco2017val
    • 模型测试使用COCO2017数据集的Val部分，测试图片存放于 3_deploy\modelzoo\yolov5_seg\io\input及3_deploy\modelzoo\yolov5_seg\io\cocoval_2017.txt中
    • 如需测试其他数据集，需自行将图片存放于3_deploy\modelzoo\yolov5_seg\io\input,并准备对应的input.txt

  3. 修改 运行时的yaml配置文件：

    运行时需要配置一些模型路径，输入数据，后处理参数等，其配置文件在3_deploy/modelzoo/yolov5_seg/cfg/

    测试时使用：yolov5s_seg_test.yaml

    需要修改：

    • imodel中参数：修改精度测试所用模型文件路径dir，根据所使用板子ip设置ip。
    • dataset中参数：更改自己的精度测试数据集路径。
    • param中参数：如果模型没有重训，则无需更改，若 重训则需要修改对应部分参数。

  4. 编译、执行运行时程序

    cd 3_deploy/modelzoo/yolov5_seg
mkdir build_win
cd build_win
cmake ..
cmake --build . --config Release
./Release/yolov5s_seg_psin.exe ../cfg/yolov5s_seg_test.yaml

    注意：如果使用visualstudio打开sln进行调试，需要右键工程-属性-调试-环境中配置./Release/yolov5s_seg_psin.exe ../cfg/yolov5s_seg_test.yaml

  5. 使用metrics测试脚本，将保存的测试结果计算出精度指标

需要配置

    parser.add_argument('--txtDir', required=True, help='onboard txt results path')
    #txtDir即上述，res:精度测试结果保存路径

    parser.add_argument('--dtJson', required=True, help='txt save to json path')
    #txt转为json后文件的保存路径及json文件命名，会自动生成，但需要配置

6. 模型性能记录

YoloV5_seg input shape hard time qt_strategy 精度
float [1, 3, 640, 640] - - box: ap50-95:0.376; mask: ap50-95:0.292
int8 [1, 3, 640, 640] 7.7881ms kld-pc box: ap50:0.550; ap50-95:0.349; mask: ap50:0.479; ap50-95:0.275
int16 [1, 3, 640, 640] 17.677ms kld-pc box: box:ap50:0.558; ap50-95:0.367; mask:ap50:0.489; ap50-95:0.282

注：float中mask精度信息为重测后结果