lycsqq / paddledetection_yoloseries Goto Github PK

简介

此代码库是基于PaddleDetection的YOLO系列模型库，支持PP-YOLOE,YOLOv3,YOLOX,YOLOv5,MT-YOLOv6,YOLOv7等模型，其upstream为PaddleDetection的develop分支，并与PaddleDetection主代码库分支同步更新，包括github和gitee的代码，欢迎一起使用和建设！

注意:

• github链接为：https://github.com/nemonameless/PaddleDetection_YOLOSeries
• gitee链接为：https://gitee.com/nemonameless/PaddleDetection_YOLOSeries
• PP-YOLOE,PP-YOLO,PP-YOLOv2,YOLOv3和YOLOX等模型推荐在PaddleDetection中使用。
• YOLOv5,YOLOv7和MT-YOLOv6模型推荐在此代码库中使用，由于GPL开源协议而不合入PaddleDetection主代码库。

ModelZoo on COCO

PP-YOLOE

• 部署模型

YOLOX

• 部署模型

YOLOv5

• 部署模型

MT-YOLOv6

YOLOv7

• 部署模型

注意:

• 所有模型均使用COCO train2017作为训练集，在COCO val2017上验证精度，模型前带*表示训练更新中。
• 具体精度和速度细节请查看PP-YOLOE,YOLOX,YOLOv5,MT-YOLOv6,YOLOv7。
• 模型推理耗时(ms)为TensorRT-FP16下测试的耗时，不包含数据预处理和模型输出后处理(NMS)的耗时。测试采用单卡V100，batch size=1，测试环境为paddlepaddle-2.3.0, CUDA 11.2, CUDNN 8.2, GCC-8.2, TensorRT 8.0.3.4，具体请参考各自模型主页。
• PP-YOLOE,YOLOv3和YOLOX推荐在PaddleDetection里使用。
• YOLOv5,YOLOv7和MT-YOLOv6由于GPL协议而不合入PaddleDetection主代码库。
• 各模型导出后的权重以及ONNX，分为带不带后处理NMS，都提供了下载链接，请参考各自模型主页下载。
• 基于PaddleSlim对YOLO系列模型进行量化训练，可以实现精度基本无损，速度普遍提升30%以上，具体请参照模型自动化压缩工具ACT。
• paddlepaddle版本推荐使用2.3.0版本以上。

使用指南

COCO数据集下载

下载MS COCO数据集，官网下载地址为: annotations, train2017, val2017, test2017。 PaddleDetection团队提供的下载链接为：coco(共约22G)和test2017，注意test2017可不下载，评估是使用的val2017。

一键运行全流程:

model_type=ppyoloe # 可修改，如 yolov7
job_name=ppyoloe_crn_l_300e_coco # 可修改，如 yolov7_l_300e_coco

config=configs/${model_type}/${job_name}.yml
log_dir=log_dir/${job_name}
# weights=https://bj.bcebos.com/v1/paddledet/models/${job_name}.pdparams
weights=output/${job_name}/model_final.pdparams

# 1.训练（单卡/多卡）
# CUDA_VISIBLE_DEVICES=0 python3.7 tools/train.py -c ${config} --eval --amp
python3.7 -m paddle.distributed.launch --log_dir=${log_dir} --gpus 0,1,2,3,4,5,6,7 tools/train.py -c ${config} --eval --amp

# 2.评估
CUDA_VISIBLE_DEVICES=0 python3.7 tools/eval.py -c ${config} -o weights=${weights} --classwise

# 3.直接预测
CUDA_VISIBLE_DEVICES=0 python3.7 tools/infer.py -c ${config} -o weights=${weights} --infer_img=demo/000000014439_640x640.jpg --draw_threshold=0.5

# 4.导出模型
CUDA_VISIBLE_DEVICES=0 python3.7 tools/export_model.py -c ${config} -o weights=${weights} # exclude_nms=True trt=True

# 5.部署预测
CUDA_VISIBLE_DEVICES=0 python3.7 deploy/python/infer.py --model_dir=output_inference/${job_name} --image_file=demo/000000014439_640x640.jpg --device=GPU

# 6.部署测速
CUDA_VISIBLE_DEVICES=0 python3.7 deploy/python/infer.py --model_dir=output_inference/${job_name} --image_file=demo/000000014439_640x640.jpg --device=GPU --run_benchmark=True # --run_mode=trt_fp16

# 7.onnx导出
paddle2onnx --model_dir output_inference/${job_name} --model_filename model.pdmodel --params_filename model.pdiparams --opset_version 12 --save_file ${job_name}.onnx

# 8.onnx测速
/usr/local/TensorRT-8.0.3.4/bin/trtexec --onnx=${job_name}.onnx --workspace=4096 --avgRuns=10 --shapes=input:1x3x640x640 --fp16

注意:

• 将以上命令写在一个脚本文件里如run.sh，一键运行命令为：sh run.sh，也可命令行一句句去运行。
• 如果想切换模型，只要修改开头两行即可，如:

  model_type=yolov7
  job_name=yolov7_l_300e_coco
  

• 统计参数量Params(M)，可以将以下代码插入trainer.py。

  params = sum([
      p.numel() for n, p in self.model.named_parameters()
      if all([x not in n for x in ['_mean', '_variance']])
  ]) # exclude BatchNorm running status
  print('Params: ', params / 1e6)

• 统计FLOPs(G)，首先安装PaddleSlim, pip install paddleslim，然后设置runtime.yml里print_flops: True，并且注意确保是单尺度下，打印的是MACs，FLOPs=2*MACs。

自定义数据集训练：

数据集准备：

1.自定义数据集的标注制作，请参考DetAnnoTools;

2.自定义数据集的训练准备，请参考PrepareDataSet。

fintune训练：

除了更改数据集的路径外，训练一般推荐加载对应模型的COCO预训练权重去fintune，会更快收敛和达到更高精度，如：

# 单卡fintune训练：
# CUDA_VISIBLE_DEVICES=0 python3.7 tools/train.py -c ${config} --eval --amp -o pretrain_weights=https://paddledet.bj.bcebos.com/models/ppyoloe_crn_l_300e_coco.pdparams

# 多卡fintune训练：
python3.7 -m paddle.distributed.launch --log_dir=./log_dir --gpus 0,1,2,3,4,5,6,7 tools/train.py -c ${config} --eval --amp -o pretrain_weights=https://paddledet.bj.bcebos.com/models/ppyoloe_crn_l_300e_coco.pdparams

注意:

• fintune训练一般会提示head分类分支最后一层卷积的通道数没对应上，属于正常情况，是由于自定义数据集一般和COCO数据集种类数不一致；
• fintune训练一般epoch数可以设置更少，lr设置也更小点如1/10，最高精度可能出现在中间某个epoch；

预测和导出：

使用自定义数据集预测和导出模型时，如果TestDataset数据集路径设置不正确会默认使用COCO 80类。 除了TestDataset数据集路径设置正确外，也可以自行修改和添加对应的label_list.txt文件(一行记录一个对应种类)，TestDataset中的anno_path也可设置为绝对路径，如：

TestDataset:
  !ImageFolder
    anno_path: label_list.txt # 如不使用dataset_dir，则anno_path即为相对于PaddleDetection主目录的相对路径
    # dataset_dir: dataset/my_coco # 如使用dataset_dir，则dataset_dir/anno_path作为新的anno_path

label_list.txt里的一行记录一个对应种类，如下所示：

person
vehicle

======================================================

简体中文 | English

产品动态

• 🔥 2022.7.14：行人分析工具PP-Human v2发布
  • 四大产业特色功能：高性能易扩展的五大复杂行为识别、闪电级人体属性识别、一行代码即可实现的人流检测与轨迹留存以及高精度跨镜跟踪
  • 底层核心算法性能强劲：覆盖行人检测、跟踪、属性三类核心算法能力，对目标人数、光线、背景均无限制
  • 极低使用门槛：提供保姆级全流程开发及模型优化策略、一行命令完成推理、兼容各类数据输入格式

活动预告 7月19日晚20点，PaddleDetection举办PP-Human v2线上私享交流会，欢迎大家扫码进群，获取线上会议链接！名额有限，抓紧报名！

• 2022.3.24：PaddleDetection发布release/2.4版本

  • 发布高精度云边一体SOTA目标检测模型PP-YOLOE，提供s/m/l/x版本，l版本COCO test2017数据集精度51.6%，V100预测速度78.1 FPS，支持混合精度训练，训练较PP-YOLOv2加速33%，全系列多尺度模型，满足不同硬件算力需求，可适配服务器、边缘端GPU及其他服务器端AI加速卡。
  • 发布边缘端和CPU端超轻量SOTA目标检测模型PP-PicoDet增强版，精度提升2%左右，CPU预测速度提升63%，新增参数量0.7M的PicoDet-XS模型，提供模型稀疏化和量化功能，便于模型加速，各类硬件无需单独开发后处理模块，降低部署门槛。
  • 发布实时行人分析工具PP-Human，支持行人跟踪、人流量统计、人体属性识别与摔倒检测四大能力，基于真实场景数据特殊优化，精准识别各类摔倒姿势，适应不同环境背景、光线及摄像角度。
  • 新增YOLOX目标检测模型，支持nano/tiny/s/m/l/x版本，x版本COCO val2017数据集精度51.8%。

• 2021.11.03: PaddleDetection发布release/2.3版本

  • 发布轻量级检测特色模型⚡PP-PicoDet，0.99m的参数量可实现精度30+mAP、速度150FPS。
  • 发布轻量级关键点特色模型⚡PP-TinyPose，单人场景FP16推理可达122FPS、51.8AP，具有精度高速度快、检测人数无限制、微小目标效果好的优势。
  • 发布实时跟踪系统PP-Tracking，覆盖单、多镜头下行人、车辆、多类别跟踪，对小目标、密集型特殊优化，提供人、车流量技术解决方案。
  • 新增Swin Transformer，TOOD，GFL目标检测模型。
  • 发布Sniper小目标检测优化模型，发布针对EdgeBoard优化PP-YOLO-EB模型。
  • 新增轻量化关键点模型Lite HRNet关键点模型并支持Paddle Lite部署。

• 更多版本发布

简介

PaddleDetection为基于飞桨PaddlePaddle的端到端目标检测套件，内置30+模型算法及250+预训练模型，覆盖目标检测、实例分割、跟踪、关键点检测等方向，其中包括服务器端和移动端高精度、轻量级产业级SOTA模型、冠军方案和学术前沿算法，并提供配置化的网络模块组件、十余种数据增强策略和损失函数等高阶优化支持和多种部署方案，在打通数据处理、模型开发、训练、压缩、部署全流程的基础上，提供丰富的案例及教程，加速算法产业落地应用。

特性

• 模型丰富: 包含目标检测、实例分割、人脸检测、关键点检测、多目标跟踪等250+个预训练模型，涵盖多种全球竞赛冠军方案。
• 使用简洁：模块化设计，解耦各个网络组件，开发者轻松搭建、试用各种检测模型及优化策略，快速得到高性能、定制化的算法。
• 端到端打通: 从数据增强、组网、训练、压缩、部署端到端打通，并完备支持云端/边缘端多架构、多设备部署。
• 高性能: 基于飞桨的高性能内核，模型训练速度及显存占用优势明显。支持FP16训练, 支持多机训练。

技术交流

• 如果你发现任何PaddleDetection存在的问题或者是建议, 欢迎通过GitHub Issues给我们提issues。

• 欢迎加入PaddleDetection QQ、微信用户群（添加并回复小助手“检测”）

  

套件结构概览

模型性能概览

云端模型性能对比

各模型结构和骨干网络的代表模型在COCO数据集上精度mAP和单卡Tesla V100上预测速度(FPS)对比图。

说明：

• CBResNet为Cascade-Faster-RCNN-CBResNet200vd-FPN模型，COCO数据集mAP高达53.3%
• Cascade-Faster-RCNN为Cascade-Faster-RCNN-ResNet50vd-DCN，PaddleDetection将其优化到COCO数据mAP为47.8%时推理速度为20FPS
• PP-YOLO在COCO数据集精度45.9%，Tesla V100预测速度72.9FPS，精度速度均优于YOLOv4
• PP-YOLO v2是对PP-YOLO模型的进一步优化，在COCO数据集精度49.5%，Tesla V100预测速度68.9FPS
• PP-YOLOE是对PP-YOLO v2模型的进一步优化，在COCO数据集精度51.6%，Tesla V100预测速度78.1FPS
• YOLOX和YOLOv5均为基于PaddleDetection复现算法
• 图中模型均可在模型库中获取

移动端模型性能对比

各移动端模型在COCO数据集上精度mAP和高通骁龙865处理器上预测速度(FPS)对比图。

说明：

• 测试数据均使用高通骁龙865(4*A77 + 4*A55)处理器batch size为1, 开启4线程测试，测试使用NCNN预测库，测试脚本见MobileDetBenchmark
• PP-PicoDet及PP-YOLO-Tiny为PaddleDetection自研模型，其余模型PaddleDetection暂未提供

模型库

文档教程

入门教程

• 安装说明
• 快速体验
• 数据准备
• PaddleDetection全流程使用
• 自定义数据训练
• FAQ/常见问题汇总

进阶教程

• 参数配置

  • RCNN参数说明
  • PP-YOLO参数说明

• 模型压缩(基于PaddleSlim)

  • 剪裁/量化/蒸馏教程

• 推理部署

  • 模型导出教程
  • Paddle Inference部署
    • Python端推理部署
    • C++端推理部署
  • Paddle-Lite部署
  • Paddle Serving部署
  • ONNX模型导出
  • 推理benchmark

• 进阶开发

  • 数据处理模块
  • 新增检测模型
  • 二次开发教程
    • 目标检测
    • 关键点检测
    • 多目标跟踪
    • 行为识别
    • 属性识别

课程专栏

• 【理论基础】目标检测7日打卡营： 目标检测任务综述、RCNN系列目标检测算法详解、YOLO系列目标检测算法详解、PP-YOLO优化策略与案例分享、AnchorFree系列算法介绍和实践

• 【产业实践】AI快车道产业级目标检测技术与应用： 目标检测超强目标检测算法矩阵、实时行人分析系统PP-Human、目标检测产业应用全流程拆解与实践

• 【行业特色】2022.3.26 智慧城市行业七日课： 城市规划、城市治理、智慧政务、交通管理、社区治理

产业实践范例教程

• 基于PP-PicoDet增强版的路面垃圾检测

• 基于PP-PicoDet的通信塔识别及Android端部署

• 基于Faster-RCNN的瓷砖表面瑕疵检测

• 基于PaddleDetection的PCB瑕疵检测

• 基于FairMOT实现人流量统计

• 基于YOLOv3实现跌倒检测

• 基于人体关键点检测的合规检测

• 打架识别

应用案例

• 安卓健身APP
• 多目标跟踪系统GUI可视化界面

第三方教程推荐

• PaddleDetection在Windows下的部署(一)
• PaddleDetection在Windows下的部署(二)
• Jetson Nano上部署PaddleDetection经验分享
• 安全帽检测YOLOv3模型在树莓派上的部署
• 使用SSD-MobileNetv1完成一个项目--准备数据集到完成树莓派部署

版本更新

版本更新内容请参考版本更新文档

贡献代码

我们非常欢迎你可以为PaddleDetection提供代码，也十分感谢你的反馈。

• 感谢Mandroide清理代码并且统一部分函数接口。
• 感谢FL77N贡献Sparse-RCNN模型。
• 感谢Chen-Song贡献Swin Faster-RCNN模型。
• 感谢yangyudong, hchhtc123 开发PP-Tracking GUI界面
• 感谢Shigure19 开发PP-TinyPose健身APP
• 感谢manangoel99贡献Wandb可视化方式

引用

@misc{ppdet2019,
title={PaddleDetection, Object detection and instance segmentation toolkit based on PaddlePaddle.},
author={PaddlePaddle Authors},
howpublished = {\url{https://github.com/PaddlePaddle/PaddleDetection}},
year={2019}
}