515 lines
24 KiB
Markdown
515 lines
24 KiB
Markdown
# yolov8
|
||
 <br> <br><br><br><a href="../../index.md#cv-det-1" target="_blank"><img alt="模型清单" src="https://img.shields.io/badge/cv--det-模型清单-cornflowerblue?logo=quicklook"></a><br>
|
||
|
||
# 下载
|
||
|
||
✨ 一键下载开发流程中所需的各种文件，包括编译使用的量化校准集、运行时工程的依赖库，以及输入输出文件。
|
||
|
||
💡 推荐使用linux版下载脚本，其wget包含断网自动重连功能，不会出现下载文件遗漏情况。
|
||
|
||
## windows
|
||
📌 第一次使用，请在C盘根目录下新建`icraft_auth.txt`，保存下载站账号密码，以换行符分隔
|
||
|
||
需要事先下载windows版本wget：
|
||
|
||
（若点击以下链接后未直接下载，请选择 ***1.20.3*** 版本下的对应系统链接进行下载）
|
||
|
||
[x86系统wget下载](https://eternallybored.org/misc/wget/1.20.3/32/wget.exe) [x64系统wget下载](https://eternallybored.org/misc/wget/1.20.3/64/wget.exe)
|
||
|
||
使用时需要将wget.exe的路径作为命令行参数传入，注意不是exe的父文件夹目录，而是包含wget.exe的完整绝对路径：
|
||
|
||
不下载Deps：`./download.ps1 "PATH_TO_WGET_EXE"`
|
||
|
||
如果您是第一次使用我们的模型库，请下载包括工程依赖库的所有文件：`./download.ps1 "PATH_TO_WGET_EXE" -d`
|
||
|
||
💡 下载过程中可能因网络问题出现中断情况，需 **自行重新运行** 下载脚本。
|
||
|
||
## linux
|
||
|
||
📌 第一次使用，请在/usr根目录下新建`icraft_auth.txt`，保存下载站账号密码，以换行符分隔
|
||
|
||
为确保文件格式正确，请在运行脚本前安装格式转换工具`dos2unix`，并执行格式转换命令：
|
||
```shell
|
||
sudo apt-get install dos2unix
|
||
dos2unix /usr/icraft_auth.txt
|
||
dos2unix ./download.sh
|
||
```
|
||
|
||
如果您是第一次使用我们的模型库，请下载包括工程依赖库的所有文件：`./download.sh -d`
|
||
|
||
如果之前已经在使用别的模型时下载过Deps依赖库，可以直接将其中的thirdparty部分复制到路径`3_deploy/Deps`，只需下载量化校准集和输入输出文件即可：`./download.sh`
|
||
|
||
|
||
🌟 Tips：
|
||
|
||
- 若想要直接获取原始weights和导出保存的模型，可分别前往 [weights](https://download.fdwxhb.com/data/04_FMSH-100AI/100AI/04_modelzoo/modelzoo_pub/weights/) 和 [fmodels](https://download.fdwxhb.com/data/04_FMSH-100AI/100AI/04_modelzoo/modelzoo_pub/compile/fmodels/) 网页上根据框架及模型名寻找并下载。
|
||
|
||
|
||
# 0. 文件结构说明
|
||
|
||
AI部署模型需要以下几部分文件
|
||
|
||
- 0_yolov8 >模型原始工程，本demo无需下载
|
||
- weights >存放原始权重，需要自行下载
|
||
- 1_scripts >若干脚本，用于保存Icraft编译器需要的模型、编译后仿真等功能
|
||
- 2_compile >Icraft编译器编译模型时所需要的文件
|
||
- 3_deploy >将Icraft编译器编译出的模型部署到硬件时需要的c++工程
|
||
|
||
# 1. python工程准备
|
||
|
||
## 1. **模型来源：**
|
||
|
||
- code：https://github.com/ultralytics/ultralytics.git
|
||
- branch：master
|
||
- commit_id：437b430
|
||
- weights：https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8n.pt
|
||
|
||
## 2. **保存模型**
|
||
|
||
**目的：将模型保存成可以被Icraft编译器编译的形态**
|
||
|
||
1）根据模型来源中的地址：https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8n.pt ，下载原始weights，存放于 `/weights`文件夹中
|
||
|
||
<div style="background-color: #FFFFCC; color: #000000; padding: 10px; border-left: 5px solid #FFA500;">
|
||
注意：
|
||
|
||
* 有时开源的weights url可能会变更。如果上述weights url失效，请根据原工程相应的branch以及commit版本寻找正确的下载链接
|
||
* 若上述weights url永久失效，请联系本模型库相关人员获取权限下载
|
||
</div>
|
||
2）根据模型来源中的地址，下载指定commit id版本的源代码，文件夹名称要设置为：0_yolov8
|
||
|
||
```shell
|
||
# 在此模型根目录
|
||
mkdir 0_yolov8
|
||
git clone -b main https://github.com/ultralytics/ultralytics.git 0_yolov8
|
||
cd 0_yolov8
|
||
git checkout 437b430
|
||
```
|
||
|
||
3）进入1_scripts执行保存模型脚本
|
||
|
||
* 该目录下各个脚本中参数路径，均通过在各脚本代码最开始几行的全局变量控制。
|
||
|
||
* 由于1_scripts中各个脚本所使用的推理输入数据来自2_compile/qtset中，请先执行最开头的下载脚本，下载好量化校准集
|
||
* 建议在ultralytics 8.0.199 + torch 1.9.0版本下运行1_scripts相关脚本
|
||
```shell
|
||
pip install ultralytics==8.0.199
|
||
```
|
||
|
||
|
||
```shell
|
||
# 在此模型根目录
|
||
cd 1_scripts
|
||
python 1_save.py
|
||
```
|
||
|
||
**1_scripts提供脚本说明：**
|
||
|
||
- **环境要求：**Icraft编译器对**导出框架模型时**使用的**框架版本**有要求。即以下脚本中所有导出模型的脚本`1_save.py `，必须在要求的框架版本下执行，其他脚本不限制。要求的版本：
|
||
|
||
- **pytorch**：支持pytorch1.9.0、pytorch2.0.1两个版本的原生网络模型文件（.pt格式），以及pytorch框架保存为onnx（opset=17）格式的模型文件（.onnx格式）
|
||
- **paddle**：仅支持PaddlePaddle框架保存为onnx（opset=11）格式的模型文件（.onnx格式），不支持框架原生网络模型文件
|
||
- **darknet**：支持Darknet框架原生网络模型[GitHub - pjreddie/darknet: Convolutional Neural Networks](https://github.com/pjreddie/darknet)
|
||
|
||
- 0_infer.py >可以推理一张图并得到最终结果，模型原始权重会从 `/weights `中寻找，需要您预先下载
|
||
|
||
parser4pred.add_option('--save', type=str, default=False, help='save results') # 是否保存结果
|
||
parser4pred.add_option('--show', type=str, default=True, help='show results') # 是否可可视化结果
|
||
可以更改这两个Option的default值来选择是否保存结果或者对结果进行可视化显示。
|
||
|
||
- 1_save.py >保存模型，保存好的用于Icraft编译器的模型，会存放在 `/2_compile/fmodel`
|
||
|
||
> 保存模型时的修改点：
|
||
>
|
||
> 1. 在torch1.9.0版本下导出模型会报错：:Inplace update to inference tensor outside InferenceMode is not allowed.
|
||
>
|
||
> ```python
|
||
> def new_smart_inference_mode():
|
||
> """Applies torch.inference_mode() decorator if torch>=1.9.0 else torch.no_grad() decorator."""
|
||
>
|
||
> def decorate(fn):
|
||
> """Applies appropriate torch decorator for inference mode based on torch version."""
|
||
> if TORCH_2_0 and torch.is_inference_mode_enabled():
|
||
> return fn # already in inference_mode, act as a pass-through
|
||
> else:
|
||
> return (torch.inference_mode if TORCH_2_0 else torch.no_grad)()(fn)
|
||
>
|
||
> return decorate
|
||
> ```
|
||
>
|
||
> 2. 去除后处理
|
||
>
|
||
> ```python
|
||
> def new_predict_once(self, x, profile=False, visualize=False):
|
||
> y, dt = [], [] # outputs
|
||
> for m in self.model:
|
||
> if m.f != -1: # if not from previous layer
|
||
> x = y[m.f] if isinstance(m.f, int) else [x if j == -1 else y[j] for j in m.f] # from earlier layers
|
||
> if profile:
|
||
> self._profile_one_layer(m, x, dt)
|
||
> # 去除了后处理
|
||
> if m.i == 22 : # 为了在cat前输出
|
||
> return m(x)
|
||
> else:
|
||
> x = m(x) # run
|
||
> y.append(x if m.i in self.save else None) # save output
|
||
> if visualize:
|
||
> feature_visualization(x, m.type, m.i, save_dir=visualize)
|
||
> return x
|
||
> ```
|
||
>
|
||
> 3. 并解耦分类头和检测头
|
||
>
|
||
> ```python
|
||
> def new_Detect_forward(self, x):
|
||
> """Concatenates and returns predicted bounding boxes and class probabilities."""
|
||
> cls_dfl_head = []
|
||
> for i in range(self.nl):
|
||
> cls_dfl_head.append(self.cv3[i](x[i]))
|
||
> cls_dfl_head.append(self.cv2[i](x[i]))
|
||
> # x[i] = torch.cat((self.cv2[i](x[i]), self.cv3[i](x[i])), 1)
|
||
> return cls_dfl_head
|
||
> ```
|
||
|
||
**另外不必关注运行代码后的traced后模型保存位置，trace后模型实际保存在"../2_compile/fmodel/yolov8n_640x640.pt"**
|
||
|
||
- 2_save_infer.py >用修改后保存的模型做前向推理，验证保存的模型与原模型是否一致
|
||
|
||
# 2.使用Icraft编译器编译模型
|
||
|
||
目的： 使用[Icraft编译器](https://gitee.com/mxh-spiger/icraft-introduction.git)将上一步保存好的**框架模型**转化为**硬件可部署模型**
|
||
|
||
- **1）相关命名说明：**
|
||
|
||
1）**fmodel**：frame model >用于Icraft编译器的框架模型
|
||
|
||
2）**imodel**：icraft model >用Icraft编译器编译出的模型
|
||
|
||
3）**qtset**：Quantitative Calibration Set >Icraft编译器所需的量化校准集
|
||
|
||
|
||
|
||
- **2）确认已安装正确的icraft版本**
|
||
|
||
检查方法：打开cmd运行：`icraft -v`
|
||
|
||
若已正常安装则会显示当前icraft版本，例如：
|
||
|
||
```
|
||
Icraft 版本:
|
||
* 3.7.1
|
||
|
||
CLI 版本:
|
||
3.7.0.0-a90988f(2412231401)
|
||
|
||
```
|
||
|
||
|
||
|
||
- 3）**执行编译：**
|
||
**在 `/2_compile`目录下执行编译：**
|
||
|
||
```shell
|
||
icraft compile config/Yolov8n_8.toml
|
||
```
|
||
|
||
|
||
如果过程顺利，将在imodel中得到 icraft model（以 `.json` （graph）`.raw`（param）的格式保存）
|
||
其中包括编译各阶段产生的中间结果模型和最终用于片上部署的BY模型，直接被保存到: 3_deploy/modelzoo/yolov8/imodel
|
||
|
||
# 3. 仿真
|
||
|
||
通过配置3_deploy/modelzoo/yolov8/cfg/中yaml文件的sim字段为True实现模型仿真。
|
||
|
||
```shell
|
||
imodel:
|
||
...
|
||
sim: true
|
||
...
|
||
|
||
```
|
||
|
||
|
||
|
||
|
||
# 4. 部署模型
|
||
|
||
## 部署环境检查
|
||
|
||
* 以root账户登录片上系统terminal（ssh或串口皆可），模型库默认的模型存放路径为以下目录，如果没有请预先创建：
|
||
|
||
```
|
||
/home/fmsh/ModelZoo/
|
||
```
|
||
|
||
* 检查板上环境是否正确：
|
||
1. 查看环境变量，指令：
|
||
`icraft --version`
|
||
|
||
看打印信息是否如下：
|
||
|
||
```shell
|
||
Icraft 版本:
|
||
* v3.7.1
|
||
|
||
CLI 版本:
|
||
3.7.0.0-a90988f(2412231401)
|
||
```
|
||
|
||
2. 若是，在任意目录下输入`icraft-serve`即可打开server
|
||
|
||
3. 检查icraft和customop安装包版本是否为`arm64`
|
||
|
||
```shell
|
||
# 检查icraft安装包版本
|
||
dpkg -l | grep icraft
|
||
# 检查customop安装包版本
|
||
dpkg -l | grep customop
|
||
```
|
||
|
||
如果依次显示如下信息，则安装版本正确：
|
||
|
||
```shell
|
||
ii icraft 3.7.1 arm64 This is Icraft for arm64
|
||
ii customop 3.7.1 arm64 This is Icraft CustomOp for arm64
|
||
```
|
||
|
||
4. 如果环境配置有误，请参考[Part 1_1 2.3.1 片上系统环境 编译环境准备](https://gitee.com/mxh-spiger/tutorial-runtime/blob/tt3.7.1/docs/Part%201_1%20quick-start.md#1%E7%BC%96%E8%AF%91%E7%8E%AF%E5%A2%83%E5%87%86%E5%A4%87-2)进行部署环境配置。
|
||
|
||
5. 根据此模型使用的硬算子，选择合适的位流，并在板上安装，所用硬算子及可选位流版本可参见本说明文档起始处的状态徽章，位流下载及安装说明请参考[1/4) 其他下载资源](https://gitee.com/mxh-spiger/icraft-introduction/tree/icraft_v3.7.1/#4%E5%85%B6%E4%BB%96%E4%B8%8B%E8%BD%BD%E8%B5%84%E6%BA%90)。
|
||
|
||
## c++ runtime:
|
||
|
||
## 4.1 PSIN工程示例
|
||
目的：编译c/c++可执行程序，在AI硬件上执行模型前向推理
|
||
|
||
模型库以ubuntu操作系统为例：
|
||
|
||
1. **编译环境准备**
|
||
- os: ubuntu20.04
|
||
- cmake>=3.10
|
||
- compiler: aarch64-linux-gnu-g++/aarch64-linux-gnu-gcc
|
||
**编译c++程序**
|
||
|
||
```shell
|
||
#在3.1所需的linux编译环境中
|
||
cd 3_deploy/modelzoo/yolov8/build_arm
|
||
cmake ..
|
||
make -j
|
||
```
|
||
|
||
|
||
|
||
5. **执行程序**
|
||
|
||
```
|
||
cd /home/fmsh/ModelZoo/modelzoo/yolov8/build_arm
|
||
chmod 777 *
|
||
./yolov8n ../cfg/yolov8n.yaml
|
||
```
|
||
|
||
在io/output中查看结果
|
||
|
||
## 4.2 PLIN工程示例
|
||
本工程还提供了两种PLIN demo
|
||
### 单线程工程示例
|
||
`yolov8_plin.cpp`：为yolov8目标检测的单线程PLIN demo<br>
|
||
使用方法：
|
||
* 进入`2_compile` 重新编译模型，编译配置为：`Yolov8n_8_plin.toml`
|
||
* 进入`3_deploy` 修改CMakeList.txt
|
||
```C++
|
||
# set sln name
|
||
set(TARGET_NAME yolov8_plin)
|
||
```
|
||
* 编译c++程序，将执行文件拷贝到板子上，程序执行指令如下
|
||
```
|
||
cd /home/fmsh/ModelZoo/modelzoo/yolov8/build_arm
|
||
chmod 777 *
|
||
./yolov8_plin ../cfg/yolov8n.yaml
|
||
```
|
||
### 多线程工程示例
|
||
`yolov8n_multi_thread_plin.cpp`：为yolov8目标检测的多线程PLIN demo<br>
|
||
使用方法：
|
||
* 进入`2_compile` 重新编译模型，编译配置为：`Yolov8n_8_plin.toml`
|
||
* 进入`3_deploy` 修改CMakeList.txt
|
||
```C++
|
||
# set sln name
|
||
set(TARGET_NAME yolov8n_multi_thread_plin)
|
||
```
|
||
* 编译c++程序，将执行文件拷贝到板子上，程序执行指令如下
|
||
```
|
||
cd /home/fmsh/ModelZoo/modelzoo/yolov8/build_arm
|
||
chmod 777 *
|
||
./yolov8n_multi_thread_plin
|
||
```
|
||
|
||
# 5. 精度测试
|
||
|
||
<div style="background-color: #FFFFCC; color: #000000; padding: 10px; border-left: 5px solid #FFA500;">
|
||
由于精度测试需要遍历一个数据集中的所有图片，因此需要使用上位机作为主控操作系统（demo中是按windows作为上位机操作系统来做的），使用网口连接板子，运行时输入数据会通过上位机经由网口传到片上进行推理。
|
||
</div>
|
||
|
||
## 1. 环境准备
|
||
|
||
若已准备好环境请跳过此部分
|
||
|
||
**1. 网口调试环境准备**（如果已经准备好网口调试环境则看下一条）
|
||
|
||
1. 安装ssh
|
||
|
||
2. 查看或配置板子ip
|
||
|
||
- 使用串口连接板子
|
||
|
||
- `vim /etc/rc.local`
|
||
|
||
- 查看或设置ip
|
||
|
||
```
|
||
#!/bin/bash
|
||
ifconfig eth0 192.168.125.171 netmask 255.255.255.0
|
||
systemctl start sshd
|
||
```
|
||
|
||
3. 修改本地网络适配器配置
|
||
|
||
参考配置
|
||
|
||
- ipv4地址：`192.168.125.2`
|
||
|
||
- 子网掩码：`255.255.255.0`
|
||
|
||
- 默认网关：`192.168.125.1`
|
||
- 连接速度与双工：100mbps全双工
|
||
|
||
4. 使用网口或串口进入板上系统打开server
|
||
|
||
上位机：
|
||
|
||
```cmd
|
||
ssh root@192.168.125.171
|
||
```
|
||
|
||
板上：
|
||
|
||
确保位于root账户下，执行：
|
||
|
||
```shell
|
||
icraft-serve
|
||
```
|
||
* 请确保在root账户下执行上述命令
|
||
* 设备成功打开示意图
|
||
```
|
||
root@U:~# icraft-serve
|
||
[02/22/24 02:02:00.388] [I] Using port : 9981
|
||
[02/22/24 02:02:00.388] [I] synchronous mode
|
||
[02/22/24 02:02:00.388] [I] [irpc::port::tcp::_waitNewConn] wait for new connection
|
||
```
|
||
如果能正确运行则可以继续下一步。
|
||
|
||
|
||
|
||
**2.编译环境准备**
|
||
|
||
- os: windows
|
||
|
||
- [cmake3.28](https://github.com/Kitware/CMake/releases/download/v3.28.1/cmake-3.28.1-windows-x86_64.msi)
|
||
|
||
- [visualstudio2022](https://visualstudio.microsoft.com/zh-hans/thank-you-downloading-visual-studio/?sku=Community&channel=Release&version=VS2022&source=VSLandingPage&passive=false&cid=2030)
|
||
|
||
|
||
|
||
|
||
## 2. 测试说明
|
||
|
||
1. **如果使用了DetPost硬算子**（如果未使用则忽略此条）
|
||
|
||
- 1）修改customop toml
|
||
|
||
customop toml 即 config\customop\xxmodel.toml
|
||
|
||
需要将该文件中的`thr_f`配置成0.001
|
||
|
||
```toml
|
||
[ImageMake]
|
||
no_imkpad = 0
|
||
|
||
[DetPost]
|
||
thr_f = 0.001 # 阈值
|
||
cmp_en = 1 # 是否做阈值比较
|
||
|
||
groups = 3
|
||
anchor_num = 1
|
||
position = 0
|
||
|
||
```
|
||
|
||
- 2）重新进行模型编译
|
||
|
||
```shell
|
||
icraft compile config/Yolov8n_8.toml
|
||
```
|
||
|
||
由于测精度程序由上位机控制，生成的imodel不用再复制到板子中
|
||
|
||
|
||
|
||
2. **数据集准备**
|
||
|
||
测试数据集下载：[coco2017val](http://images.cocodataset.org/zips/val2017.zip)
|
||
|
||
模型测试使用COCO2017数据集的Val部分，测试图片存放于 `3_deploy\modelzoo\yolov8\io\input`及`3_deploy\modelzoo\yolov8\io\cocoval_2017.txt`中
|
||
|
||
如需测试其他数据集，需自行将图片存放于`3_deploy\modelzoo\yolov8\io\input`,并准备对应的input.txt
|
||
|
||
3. **修改 运行时的yaml配置文件**：
|
||
|
||
运行时需要配置一些模型路径，输入数据，后处理参数等，其配置文件在`3_deploy/modelzoo/yolov8/cfg/`
|
||
|
||
测试时使用：`yolov8n_test.yaml`
|
||
|
||
需要修改：
|
||
|
||
* imodel中参数：修改精度测试所用模型文件路径`dir`，根据所使用板子ip设置`ip`。
|
||
* dataset中参数：更改自己的精度测试数据集路径。
|
||
* params中参数：如果模型没有重训，则无需更改，若 重训则需要修改对应部分参数。
|
||
|
||
4. **编译、执行运行时程序**
|
||
|
||
```shell
|
||
cd 3_deploy/modelzoo/yolov8
|
||
mkdir build_win
|
||
cd build_win
|
||
cmake ..
|
||
cmake --build . --config Release
|
||
./Release/yolov8n.exe ../cfg/yolov8n_test.yaml
|
||
```
|
||
|
||
注意：如果使用visualstudio打开sln进行调试，需要右键工程-属性-调试-命令参数中配置`./Release/yolov8n.exe ../cfg/yolov8n_test.yaml`
|
||
|
||
|
||
|
||
5. **使用metrics测试脚本，将保存的测试结果计算出精度指标**
|
||
|
||
metrics测试脚本使用与配置说明：
|
||
|
||
精度测试脚本位于：[box_mAP · spiger/benchmark - 码云 - 开源中国 (gitee.com)](https://gitee.com/mxh-spiger/benchmark/tree/master/box_mAP)
|
||
|
||
需要配置:
|
||
|
||
```
|
||
parser.add_argument('--txtDir', required=True, help='onboard txt results path')
|
||
#txtDir即上述，res:精度测试结果保存路径
|
||
|
||
parser.add_argument('--dtJson', required=True, help='txt save to json path')
|
||
#txt转为json后文件的保存路径及json文件命名，会自动生成，但需要配置
|
||
```
|
||
|
||
# 5. 模型性能记录
|
||
|
||
| yolov8 | input shape | hard time | qt_strategy | 精度 |
|
||
| -------------- | ----------- | --------- | ----------- | -------------------- |
|
||
| float | [1,3,640,640] | - | - | ap50-95:37.3 |
|
||
| 8bit | [1,3,640,640] | 4.035274ms | kld-pc | ap50:51.8, ap50-95:36.3 |
|
||
| 16bit | [1,3,640,640] | 8.244985ms | kld-pc | ap50:52.4, ap50-95:36.8 |
|