21 KiB
CAM++
下载
✨ 一键下载开发流程中所需的各种文件，包括编译使用的量化校准集、运行时工程的依赖库，以及输入输出文件。
💡 推荐使用linux版下载脚本，其wget包含断网自动重连功能，不会出现下载文件遗漏情况。
windows
📌 第一次使用，请在C盘根目录下新建icraft_auth.txt，保存下载站账号密码，以换行符分隔
需要事先下载windows版本wget：
（若点击以下链接后未直接下载，请选择 1.20.3 版本下的对应系统链接进行下载）
使用时需要将wget.exe的路径作为命令行参数传入，注意不是exe的父文件夹目录，而是包含wget.exe的完整绝对路径：
不下载Deps：./download.ps1 "PATH_TO_WGET_EXE"
如果您是第一次使用我们的模型库，请下载包括工程依赖库的所有文件：./download.ps1 "PATH_TO_WGET_EXE" -d
💡 下载过程中可能因网络问题出现中断情况，需 自行重新运行 下载脚本。
linux
📌 第一次使用，请在/usr根目录下新建icraft_auth.txt，保存下载站账号密码，以换行符分隔
为确保文件格式正确，请在运行脚本前安装格式转换工具dos2unix，并执行格式转换命令：
sudo apt-get install dos2unix
dos2unix /usr/icraft_auth.txt
dos2unix ./download.sh
如果您是第一次使用我们的模型库，请下载包括工程依赖库的所有文件：./download.sh -d
如果之前已经在使用别的模型时下载过Deps依赖库，可以直接将其中的thirdparty部分复制到路径3_deploy/Deps，只需下载量化校准集和输入输出文件即可：./download.sh
🌟 Tips：
0. 文件结构说明
AI部署模型需要以下几部分文件
- 0_CAM++ >模型原始工程，需要自行下载
- weights >存放原始权重，需要自行下载
- 1_scripts >若干脚本，用于保存Icraft编译器需要的模型、编译后仿真等功能
- 2_compile >Icraft编译器编译模型时所需要的文件
- 3_deploy >将Icraft编译器编译出的模型部署到硬件时需要的部署工程
1. python工程准备
1. 模型来源：
- code：https://gitee.com/yeyupiaoling/VoiceprintRecognition-Pytorch.git
- branch：release/1.0.5
- commit_id：69e1cef
- weights：https://download.fdwxhb.com/data/04_FMSH-100AI/100AI/04_modelzoo/modelzoo_pub/weights/pytorch/CAM++/CAMPPlus_Fbank/best_model/model.pth
2. 保存模型
目的：将模型保存成可以被Icraft编译器编译的形态
1）根据模型来源中的地址：https://download.fdwxhb.com/data/04_FMSH-100AI/100AI/04_modelzoo/modelzoo_pub/weights/pytorch/CAM++/CAMPPlus_Fbank/best_model/model.pth ，下载原始weights，存放于 /weights文件夹中
- 有时开源的weights url可能会变更。如果上述weights url失效，请根据原工程相应的branch以及commit版本寻找正确的下载链接
- 若上述weights url永久失效，请联系本模型库相关人员获取权限下载
2）根据模型来源中的地址，下载指定commit id版本的源代码，文件夹名称要设置为：0_CAM++
# 在此模型根目录
mkdir 0_CAM++
git clone -b release/1.0.5 https://gitee.com/yeyupiaoling/VoiceprintRecognition-Pytorch.git 0_CAM++
cd 0_CAM++
git checkout 69e1cef
3）进入1_scripts执行保存模型脚本
# 在此模型根目录
cd 1_scripts
python 1_save.py
1_scripts提供脚本说明：
-
环境要求：Icraft编译器对导出框架模型时使用的框架版本有要求。即以下脚本中所有导出模型的脚本
1_save.py，必须在要求的框架版本下执行，其他脚本不限制。要求的版本：- pytorch：支持pytorch1.9.0、pytorch2.0.1两个版本的原生网络模型文件（.pt格式），以及pytorch框架保存为onnx（opset=17）格式的模型文件（.onnx格式）
- paddle：仅支持PaddlePaddle框架保存为onnx（opset=11）格式的模型文件（.onnx格式），不支持框架原生网络模型文件
- darknet：支持Darknet框架原生网络模型GitHub - pjreddie/darknet: Convolutional Neural Networks
-
0_infer.py >可以推理一张图并得到最终结果，模型原始权重会从
/weights中寻找，需要您预先下载 -
1_save.py >保存模型，保存好的用于Icraft编译器的模型，会存放在
/2_compile/fmodel -
2_save_infer.py >用修改后保存的模型做前向推理，验证保存的模型与原模型是否一致
2.使用Icraft编译器编译模型
目的： 使用Icraft编译器将上一步保存好的框架模型转化为硬件可部署模型
-
1）相关命名说明：
1）fmodel：frame model >用于Icraft编译器的框架模型
2）imodel：icraft model >用Icraft编译器编译出的模型
3）qtset：Quantitative Calibration Set >Icraft编译器所需的量化校准集
-
2）确认已安装正确的icraft版本
检查方法：打开cmd运行：
icraft --version若已正常安装则会显示当前icraft版本，例如：
Icraft 版本: * 3.7.1 CLI 版本: 3.7.0.0-a90988f(2412231401) -
3）执行编译：
在
/2_compile目录下执行编译：icraft compile config/CAM++_8.toml如果过程顺利，将得到 icraft model（以
.json（graph）.raw（param）的格式保存）其中包括编译各阶段产生的中间结果模型和最终用于片上部署的BY模型，直接被保存到: 3_deploy/modelzoo/CAM++/imodel
3. 仿真
通过配置3_deploy/modelzoo/CAM++/cfg/中yaml文件的sim字段为true实现模型仿真。
imodel:
...
sim: true
...
4. 部署模型
部署环境检查
- 以root账户登录片上系统terminal（ssh或串口皆可），模型库默认的模型存放路径为以下目录，如果没有请预先创建：
/home/fmsh/ModelZoo/
- 检查板上环境是否正确：
-
查看环境变量，指令：
icraft --version看打印信息是否如下：
Icraft 版本: * v3.7.1 CLI 版本: 3.7.0.0-a90988f(2412231401) -
若是，在任意目录下输入
icraft-serve即可打开server -
检查icraft和customop安装包版本是否为
arm64# 检查icraft安装包版本 dpkg -l | grep icraft # 检查customop安装包版本 dpkg -l | grep customop如果依次显示如下信息，则安装版本正确：
ii icraft 3.7.1 arm64 This is Icraft for arm64 ii customop 3.7.1 arm64 This is Icraft CustomOp for arm64 -
如果环境配置有误，请参考Part 1_1 2.3.1 片上系统环境 编译环境准备进行部署环境配置。
-
根据此模型使用的硬算子，选择合适的位流，并在板上安装，所用硬算子及可选位流版本可参见本说明文档起始处的状态徽章，位流下载及安装说明请参考1/4) 其他下载资源。
-
python runtime:
目的：在AI硬件上执行模型前向推理
-
python运行虚拟环境要求与准备
-
python版本：3.8（否则无法使用icraft的python API）
-
确保已安装icraft的python安装包
- socket模式使用：
pip install icraft-3.x.x-cp38-none-win_amd64.whl - axi模式使用：
pip install icraft-3.x.x-cp38-none-manylinux2014_aarch64.whl
- socket模式使用：
-
在选定的python运行虚拟环境中安装python运行时所需要的依赖包
cd 3_deploy/modelzoo/CAM++ pip install -r requirements.txt -
安装一些便于开发pyrt的依赖包
cd 3_deploy/Deps/modelzoo pip install -e .由于python运行时代码在引入依赖包时候已经通过sys.path.append(R"../../../Deps/modelzoo")将一些便于开发pyrt的依赖包加入到了系统路径下，因此可以不用执行该步骤即可直接运行2.执行程序。这里提供额外的[pip install -e .]安装方式是为了在python运行时代码时候方便进行pyrtutils的依赖跳转。
-
-
执行程序
python ./CAM++_psin.py ../cfg/CAM++.yaml在io/output中查看结果
5. 精度测试
1. 环境准备
若已准备好环境请跳过此部分
1. 网口调试环境准备（如果已经准备好网口调试环境则看下一条）
-
安装ssh
-
查看或配置板子ip
- 使用串口连接板子
vim /etc/rc.local- 查看或设置ip
#!/bin/bash ifconfig eth0 192.168.125.171 netmask 255.255.255.0 systemctl start sshd -
修改本地网络适配器配置
参考配置
- ipv4地址：
192.168.125.2 - 子网掩码：
255.255.255.0 - 默认网关：
192.168.125.1 - 连接速度与双工：100mbps全双工
- ipv4地址：
-
使用网口或串口进入板上系统打开server
上位机：
ssh root@192.168.125.171板上： 确保位于root账户下，执行：
icraft-serve- 请确保在root账户下执行上述命令
- 设备成功打开示意图
root@U:~# icraft-serve [02/22/24 02:02:00.388] [I] Using port : 9981 [02/22/24 02:02:00.388] [I] synchronous mode [02/22/24 02:02:00.388] [I] [irpc::port::tcp::_waitNewConn] wait for new connection如果能正确运行则可以继续下一步。
2.编译环境准备
请参考2.1Windows编译环境准备进行精度测试环境配置。
- os: windows
- cmake3.28
- visualstudio2022
2. 测试说明
-
如果使用了detpost硬算子（本模型未使用，请忽略此条）
-
1）修改customop toml
customop toml 即 config\customop\xxmodel.toml
需要将该文件中的
thr_f配置成0.001[ImageMake] no_imkpad = 0 [DetPost] thr_f = 0.001 # 阈值 cmp_en = 1 # 是否做阈值比较 groups = 3 anchor_num = 3 position = 5 -
2）重新进行模型编译
icraft compile config/EcapaTDNN_8.toml由于测精度程序由上位机控制，生成的imodel不用再复制到板子中
-
-
数据集准备
- 测试数据集下载：cn-celeb-test.zip
- 模型测试使用cn-celeb数据集的test部分，下载测试数据集请存放于
\3_deploy\modelzoo\CAM++\pyrt\dataset\cn-celeb-test cn-celeb-test数据集结构为：
├── cn-celeb-test
│ ├── enroll_list.txt
│ ├── trials_list.txt
│ ├── enroll
│ │ ├── id00800-enroll.flac
│ │ ├── id00801-enroll.flac
│ │ ├── id00802-enroll.flac
│ │ ├── ...
│ │ └── id00999-enroll.flac
│ └── test
│ │ ├── id00800-singing-01-001.flac
│ │ ├── id00800-singing-01-002.flac
│ │ ├── id00800-singing-01-003.flac
│ │ ├── ...
│ │ └── id00999-singing-02-006.flac
- 运行
0_CAM++/extract_features.py,给定配置文件后获得处理后的音频输入特征，存放在cn-celeb-test/enroll_list_features.txt、cn-celeb-test/trials_list_features.txt和dataset/features
├── features
│ ├── 0
│ ├── 1
│ ├── 2
│ │ ├── 1726823086218.npy
│ │ ├── 1726823086250.npy
│ │ ├── i1726823086298.npy
│ │ ├── ...
│ │ └── 1726828544094.npy
│ │ ...
│ └── 799
│ │ ├── 1726828516307.npy
│ │ ├── 1726828516555.npy
│ │ ├── 1726828516569.npy
│ │ ├── ...
│ │ └── 1726828521188.npy
-
修改 运行时的yaml配置文件：
运行时需要配置一些模型路径，输入数据，后处理参数等，其配置文件在
3_deploy/modelzoo/CAM++/cfg/测试时使用：
CAM++_test.yaml需要修改：
- imodel中参数：根据所使用板子ip设置ip
- dataset中参数：更改自己的dataset精度测试数据集路径
-
编译、执行运行时程序
python运行时（不需要编译）：
cd 3_deploy/modelzoo/CAM++/pyrt python ./CAM++_test.py ../cfg/CAM++_test.yaml程序结束自动计算出精度指标
6. 模型性能记录
| CAM++ | input shape | hard time | qt_strategy | 精度 |
|---|---|---|---|---|
| float | [1, 365, 80] | - | - | EER:0.14227 MinDCF:0.66743 |
| 8bit | [1, 365, 80] | 14.09 ms | [kld-pc] | EER:0.15173 MinDCF:0.71847 |
| 16bit | [1, 365, 80] | 19.569ms | [kld-pc] | EER:0.14892 MinDCF:0.69324 |