# 模型测评流程

本文档提供person、pet两类检测模型的指标测评流程

## 准备person、pet数据集

```shell
# 待测样张数据准备
cd vnne_dev_tools
mkdir ./datasets
ln -s /path/to/your/customer_eva ./datasets/customer_eva
```

## 测评person数据集

```shell
python scripts/model_evaluation.py --config configs.sa6921_vnne_person_pet \
                                   --ckpt checkpoint/SA6921/6921vnne_person_pet_det_v0.5_check.pth \
                                   --input_shape "1,3,416,416" \
                                   --image_dir "datasets/customer_eva/person/images_yuv420" \
                                   --label_path "datasets/customer_eva/person/person_anno_100_results.pkl" \
                                   --eval_type "person" \
                                   --save_path "./person_pred.pkl" \
                                   --fixpoint
# 参数含义:
# config: 模型配置文件，定义模型结构、量化参数、后处理等
# ckpt: 预训练模型路径
# input_shape: 测试分辨率
# image_dir: 图片文件夹
# label_path: 标注文件地址
# eval_type: 测评类别
# save_path：预测结果保存地址
# fixpoint: 测试量化模型有两种模式，fixpoint=False，采用伪量化模式推理，fixpoint=True，模拟定点推理模式
```

## 测评pet数据集

```shell
python scripts/model_evaluation.py --config configs.sa6921_vnne_person_pet \
                                   --ckpt checkpoint/SA6921/6921vnne_person_pet_det_v0.5_check.pth \
                                   --input_shape "1,3,416,416" \
                                   --image_dir "datasets/customer_eva/pet/images_rgb" \
                                   --label_path "datasets/customer_eva/pet/pet_anno_results.pkl" \
                                   --eval_type "pet" \
                                   --save_path "./pet_pred.pkl" 、
                                   --fixpoint
# 参数含义:
# config: 模型配置文件，定义模型结构、量化参数、后处理等
# ckpt: 预训练模型路径
# input_shape: 测试分辨率
# image_dir: 图片文件夹
# label_path: 标注文件地址
# eval_type: 测评类别
# save_path：预测结果保存地址
# fixpoint: 测试量化模型有两种模式，fixpoint=False，采用伪量化模式推理，fixpoint=True，模拟定点推理模式
```

## 测评结果

|Model |size |AP<sup>0.5<br>person |AR<sup>0.5<br>person | AP<sup>0.5<br>pet | AR<sup>0.5<br>pet | weights |
| ------        |:---: | :---:    | :---:       |:---:     |:---:  | :----: |
|[6921vnne_person_pet(fakequant)](configs/sa6921_vnne_person_pet.py)    |416x416  |87.14 |93.20      |68.33      |80.93  | [model_ckpt](checkpoint/SA6921/6921vnne_person_pet_det_v0.5_check.pth) |
|[6921vnne_person_pet(fixpoint)](configs/sa6921_vnne_person_pet.py)    |416x416  |88.02 |94.17      |68.41      |81.11  | [model_ckpt](checkpoint/SA6921/6921vnne_person_pet_det_v0.5_check.pth) |
