mdz/pytorch/TSN

TSN

下载

✨ 一键下载开发流程中所需的各种文件，包括编译使用的量化校准集、运行时工程的依赖库，以及输入输出文件。

💡 推荐使用linux版下载脚本，其wget包含断网自动重连功能，不会出现下载文件遗漏情况。

windows

📌 第一次使用，请在C盘根目录下新建icraft_auth.txt，保存下载站账号密码，以换行符分隔

需要事先下载windows版本wget：

（若点击以下链接后未直接下载，请选择 1.20.3 版本下的对应系统链接进行下载）

x86系统wget下载 x64系统wget下载

使用时需要将wget.exe的路径作为命令行参数传入，注意不是exe的父文件夹目录，而是包含wget.exe的完整绝对路径：

不下载Deps：./download.ps1 "PATH_TO_WGET_EXE"

如果您是第一次使用我们的模型库，请下载包括工程依赖库的所有文件：./download.ps1 "PATH_TO_WGET_EXE" -d

💡 下载过程中可能因网络问题出现中断情况，需 自行重新运行 下载脚本。

linux

📌 第一次使用，请在/usr根目录下新建icraft_auth.txt，保存下载站账号密码，以换行符分隔

为确保文件格式正确，请在运行脚本前安装格式转换工具dos2unix，并执行格式转换命令：

sudo apt-get install dos2unix
dos2unix /usr/icraft_auth.txt
dos2unix ./download.sh

如果您是第一次使用我们的模型库，请下载包括工程依赖库的所有文件：./download.sh -d

如果之前已经在使用别的模型时下载过Deps依赖库，可以直接将其中的thirdparty部分复制到路径3_deploy/Deps，只需下载量化校准集和输入输出文件即可：./download.sh

🌟 Tips：

• 若想要直接获取原始weights和导出保存的模型，可分别前往 weights 和 fmodels 网页上根据框架及模型名寻找并下载。

0. 文件结构说明

AI部署模型需要以下几部分文件

• 0_TSN >模型原始工程，需要自行下载
• weights >存放原始权重，需要自行下载
• 1_scripts >若干脚本，用于保存Icraft编译器需要的模型、编译后仿真等功能
• 2_compile >Icraft编译器编译模型时所需要的文件
• 3_deploy >将Icraft编译器编译出的模型部署到硬件时需要的c++工程

1. python工程准备

1. 模型来源：

• code：https://github.com/open-mmlab/mmaction2.git
• branch：main
• commit_id：4d6c934
• weights：https://download.openmmlab.com/mmaction/v1.0/recognition/tsn/tsn_imagenet-pretrained-r50_8xb32-1x1x3-100e_kinetics400-rgb/tsn_imagenet-pretrained-r50_8xb32-1x1x3-100e_kinetics400-rgb_20220906-cd10898e.pth

2. 保存模型

目的：将模型保存成可以被Icraft编译器编译的形态

1）根据模型来源中的地址：https://download.openmmlab.com/mmaction/v1.0/recognition/tsn/tsn_imagenet-pretrained-r50_8xb32-1x1x3-100e_kinetics400-rgb/tsn_imagenet-pretrained-r50_8xb32-1x1x3-100e_kinetics400-rgb_20220906-cd10898e.pth ，下载原始weights，存放于 /weights文件夹中

注意：

• 有时开源的weights url可能会变更。如果上述weights url失效，请根据原工程相应的branch以及commit版本寻找正确的下载链接
• 若上述weights url永久失效，请联系本模型库相关人员获取权限下载

2）根据模型来源中的地址，下载指定commit id版本的源代码，文件夹名称要设置为：0_TSN

# 在此模型根目录
mkdir 0_TSN
git clone -b main https://github.com/open-mmlab/mmaction2.git 0_TSN
cd 0_TSN
git checkout 4d6c934

3）mmaction2环境配置，可参考官方文档:安装 — MMAction2 1.2.0 文档。由于mmaction中使用到了mmcv1.x版本，因此必须在GPU环境下进行配置。参考配置：python==3.8.0、torch1.9.0+cu111、torchvision-0.10.0、mmcv==1.21.0、mmengine等

4）安装好环境后，将1_scripts中的文件手动复制到0_TSN中，执行保存模型脚本1_save.py。

注意：如需导出其它segment大小的模型，需重新设置“SEGMENTS=n”字段，表示将视频总共视频切分为n段

# 在此模型根目录
cd 1_scripts
python 1_save.py

1_scripts提供脚本说明：

• 环境要求：Icraft编译器对导出框架模型时使用的框架版本有要求。即以下脚本中所有导出模型的脚本 1_save.py ，必须在要求的框架版本下执行，其他脚本不限制。要求的版本：

  • pytorch：支持pytorch1.9.0、pytorch2.0.1两个版本的原生网络模型文件（.pt格式），以及pytorch框架保存为onnx（opset=17）格式的模型文件（.onnx格式）
  • paddle：仅支持PaddlePaddle框架保存为onnx（opset=11）格式的模型文件（.onnx格式），不支持框架原生网络模型文件
  • darknet：支持Darknet框架原生网络模型GitHub - pjreddie/darknet: Convolutional Neural Networks

• 0_infer.py >可以推理一段视频并得到最终结果，模型原始权重会从 /weights 中寻找，需要您预先下载

• 1_save.py >保存模型，保存好的用于Icraft编译器的模型，会存放在 /2_compile/fmodel

  保存模型时的修改点：
  1.将模型分为两部分，一部分TSN-net1用于每帧都进行特征提取，另一部分TSN-net2则用于将segment帧TSN-net1的输出融合到一起，产生段共识，即得到动作类别得分。为方便量化部署，将TSN-ne1和TSN-net2两部分使用expand(SEGMENTS, -1)拼接到一起,导出一个TSN网络，编译完成后，再在部署阶段将其拆分为两部分。
  2.将AvgConsensus()等效替换为mean(dim=1,keepdim=True)，即将TSN-net2的输入[1,25,2048]在dim=1维度上求均值。
  3.简化了源码求动作类别得分的代码。
  

2.使用Icraft编译器编译模型

目的： 使用Icraft编译器将上一步保存好的框架模型转化为硬件可部署模型

• 1）相关命名说明：

  1）fmodel：frame model >用于Icraft编译器的框架模型

  2）imodel：icraft model >用Icraft编译器编译出的模型

  3）qtset：Quantitative Calibration Set >Icraft编译器所需的量化校准集

• 2）确认已安装正确的icraft版本

  检查方法：打开cmd运行：icraft --version

  若已正常安装则会显示当前icraft版本，例如：

  Icraft 版本:
   * 3.7.1
  
  CLI 版本:
  3.7.0.0-a90988f(2412231401)
  

• 3）执行编译：

在 /2_compile目录下执行编译：

 ```shell
  icraft compile config/TSN_25frames_psin_8.toml
 ```

 如果过程顺利，将得到 icraft model（以 `.json` （graph）`.raw`（param）的格式保存）

 其中包括编译各阶段产生的中间结果模型和最终用于片上部署的BY模型，直接被保存到:  3_deploy/modelzoo/TSN/imodel
 
  **注意**：toml中generate阶段参数不能修改，因后续plin工程中对网络中的hardop进行view操作，必须关闭MMU和ocm。

3. 仿真

通过配置3_deploy/modelzoo/TSN/cfg/中yaml文件的sim字段为True实现模型仿真。

imodel:
   ...
   sim: true
   ...

4. 部署模型

部署环境检查

• 以root账户登录片上系统terminal（ssh或串口皆可），模型库默认的模型存放路径为以下目录，如果没有请预先创建：

/home/fmsh/ModelZoo/

• 检查板上环境是否正确：

  1. 查看环境变量，指令： icraft --version

     看打印信息是否如下：

     Icraft 版本:
     * v3.7.1
     
     CLI 版本:
     3.7.0.0-a90988f(2412231401)
     

  2. 若是，在任意目录下输入icraft-serve即可打开server

  3. 检查icraft和customop安装包版本是否为arm64

     # 检查icraft安装包版本
     dpkg -l | grep icraft
     # 检查customop安装包版本
     dpkg -l | grep customop
     

     如果依次显示如下信息，则安装版本正确：

     ii  icraft                         3.7.1                             arm64        This is Icraft for arm64
     ii  customop                       3.7.1                             arm64        This is Icraft CustomOp for arm64
     

  4. 如果环境配置有误，请参考Part 1_1 2.3.1 片上系统环境 编译环境准备进行部署环境配置。

  5. 根据此模型使用的硬算子，选择合适的位流，并在板上安装，所用硬算子及可选位流版本可参见本说明文档起始处的状态徽章，位流下载及安装说明请参考1/4) 其他下载资源。

python runtime:

目的：在AI硬件上执行模型前向推理

1. python运行虚拟环境要求与准备

   • python版本：3.8（否则无法使用icraft的python API）

   • 确保已安装icraft的python安装包

     • socket模式使用：pip install icraft-3.x.x-cp38-none-win_amd64.whl
     • axi模式使用：pip install icraft-3.x.x-cp38-none-manylinux2014_aarch64.whl

   • 在选定的python运行虚拟环境中安装python运行时所需要的依赖包

     cd 3_deploy/modelzoo/TSN
     pip install -r requirements.txt
     

   • 安装一些便于开发pyrt的依赖包

     cd 3_deploy/Deps/modelzoo
     pip install -e .
     

     由于python运行时代码在引入依赖包时候已经通过sys.path.append(R"../../../Deps/modelzoo")将一些便于开发pyrt的依赖包加入到了系统路径下，因此可以不用执行该步骤即可直接运行2.执行程序。这里提供额外的[pip install -e .]安装方式是为了在python运行时代码时候方便进行pyrtutils的依赖跳转。

2. 执行程序

   （1）若是需要测精度，则需先下载kinetic数据集，划分好测试集后，运行以下代码进行精度测试。

   注意：该代码支持parse、optimize、quantize阶段仿真，以及BY阶段上板

   python ./TSN_psin_video_metric.py ../cfg/TSN_psin_test.yaml
   

   在io/output中查看结果

   （2）若是需要验证一段视频或测试时间，运行以下代码：

   ​ a) 每25帧才进行一次动作识别：

   python ./TSN_psin_video.py ../cfg/TSN_psin_video.yaml
   

   ​ b) 等待25帧后，每一帧和前面24帧一同均进行动作识别分类，从而实现实时动作分类：

   python ./TSN_psin_video_online.py ../cfg/TSN_psin_video.yaml
   

   用户可修改TSN_psin_video.yaml中param中的参数：

   • interval：表示间隔取帧送入TSN-net1网络，可拉大时间间隔的同时，不影响网络效率
   • num_segments： 表示将segment帧的TSN-net1的结果拼接，送入TSN-net2网络做一次动作识别。

   注意：因使用了PLDDR<->PLDDR搬数的优化操作，来减少TSN-net1输出与TSN-net2输入网络连接的耗时，因此TSN_psin_video.py和TSN_psin_video_online.py仅支持BY阶段上板运行。

c++ runtime:

PSIN工程示例

目的：编译c/c++可执行程序，在AI硬件上执行模型前向推理

模型库以ubuntu操作系统为例：

1. 编译环境准备

   • os: ubuntu20.04
   • cmake>=3.10
   • compiler: aarch64-linux-gnu-g++/aarch64-linux-gnu-gcc

2. 编译c++程序

   #在3.x所需的linux编译环境中
   cd 3_deploy/modelzoo/TSN/build_arm
   cmake ..
   make -j
   

3. 执行程序

   cd /home/fmsh/ModelZoo/modelzoo/TSN/build_arm
   chmod 777 *
   ./TSN_psin ../cfg/TSN_psin.yaml
   

   在io/output中查看结果

   注意：CRT运行时仅提供了对抽取出的视频帧进行动作识别操作；如需测试其它动作，需先提取出视频帧，并准备好对应的txt文档，记录需要运行的视频帧顺序。

PLIN工程示例

TSN_plin_online.cpp：该脚本是TSN动作识别的多线程PLIN demo。此demo将网络拆分为三部分（imk、TSN-net1、TSN-net2）多线程并行加速，且会在每一帧运行TSN-net1用于提取特征，当TSN-net1运行25帧后，会将当前帧及前面24帧的TSN-net1的输出拼接起来，用于TSN-net2网络的输入，TSN-net2会输出当前帧的动作识别结果。

使用方法：

​ a）首先，需要重新编译模型，包括：TSN_25frames_plin.toml;

​ b）修改cmakelist.txt，将第三行修改为set(TARGET_NAME TSN_plin_online)，并按照章节4.3重新编译c++程序，指令如下：

#在4.1所需的linux编译环境中
cd 3_deploy/modelzoo/TSN/build_arm
cmake ..
make -j

​ c）将编译生成的可执行文件拷贝到板子上，并运行以下指令执行程序：

cd /home/fmsh/ModelZoo/modelzoo/TSN/build_arm
chmod 777 *
./TSN_plin_online

5. 精度测试

由于精度测试需要遍历一个数据集中的所有图片，因此需要使用上位机作为主控操作系统（demo中是按windows作为上位机操作系统来做的），使用网口连接板子，运行时输入数据会通过上位机经由网口传到片上进行推理。

1. 环境准备

若已准备好环境请跳过此部分

1. 网口调试环境准备（如果已经准备好网口调试环境则看下一条）

1. 安装ssh

2. 查看或配置板子ip

   • 使用串口连接板子
   • vim /etc/rc.local
   • 查看或设置ip

   #!/bin/bash
   ifconfig eth0 192.168.125.171 netmask 255.255.255.0
   systemctl start sshd
   

3. 修改本地网络适配器配置

   参考配置

   • ipv4地址：192.168.125.2
   • 子网掩码：255.255.255.0
   • 默认网关：192.168.125.1
   • 连接速度与双工：100mbps全双工

4. 使用网口或串口进入板上系统打开server

   上位机：

   ssh root@192.168.125.171
   

   板上： 确保位于root账户下，执行：

   icraft-serve
   

   • 请确保在root账户下执行上述命令
   • 设备成功打开示意图

   root@U:~# icraft-serve
   [02/22/24 02:02:00.388] [I] Using port : 9981
   [02/22/24 02:02:00.388] [I] synchronous mode
   [02/22/24 02:02:00.388] [I] [irpc::port::tcp::_waitNewConn] wait for new connection
   

   如果能正确运行则可以继续下一步。

2. 测试说明

1. 数据集准备

• 测试数据集下载：Kinetics-400

• 模型测试使用Kinetic400数据集的Val部分，需先将数据集分为训练集和验证集，参考mmaction2/tools/data/kinetics/README_zh-CN.md at main · open-mmlab/mmaction2

  （1）在0_TSN中运行以下代码划分数据集：

  bash preprocess_k400.sh 数据集路径 保存路径   
  

  处理好的数据会分成train和val，保存在${DATASET_ROOT)/Kinetics-400 中，需要将测试集视频复制到 3_deploy\modelzoo\TSN\io中。

  （2）下载标注文件（已提供，可忽略）

  bash download_annotations.sh kinetics400
  

  下载好的标注文件kinetics400_val_list_videos.txt复制到： 3_deploy\modelzoo\TSN\io中

• 如需测试其他数据集，需自行将视频存放于 3_deploy\modelzoo\TSN\io,并准备对应的GT.txt

3. 修改运行时的yaml配置文件

   运行时需要配置一些模型路径，输入数据，后处理参数等，其配置文件在 3_deploy/modelzoo/TSN/cfg/

   测试时使用：TSN_psin_test.yaml

   需要修改：

   • imodel中参数：修改精度测试所用模型文件路径dir，根据所使用板子ip设置ip。
   • dataset中参数：更改自己的精度测试数据集路径。
   • param中参数：如果模型没有重训，则无需更改，若重训则需要修改对应部分参数。

4. 编译、执行运行时程序

   python运行时（不需要编译）：

   cd 3_deploy/modelzoo/TSN/pyrt
   python ./TSN_psin_video_metric.py ../cfg/TSN_psin_test.yaml
   

   将直接输出精度指标，并记录在TSN_metrics.log中

6. 模型性能记录

时间测试如下：

TSN	input shape	hard time
TSN-net-1-8bit	[1,3,224,224]	5.804ms
TSN-net-2-8bit	[1,25,2048]	0.093 ms
TSN-net-1-16bit	[1,3,224,224]	11.639ms
TSN-net-2-16bit	[1,25,2048]	0.199 ms

精度测试如下：

TSN	qt_strategy	Top1 acc	Top5 acc	Mean acc
float	-	72.78	90.66	72.77
parse	-	69.59	88.47	69.59
8bit	null-pc	68.71	88.19	68.75
16bit	null-pc	69.36	88.46	69.36