Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

机器之心编辑部专栏

集成多种YOLO改进点,面向小白科研的YOLO检测代码库YOLOAir

使用统一模型代码框架、统一应用方式、统一调参,该库包含大量的改进模块,可使用不同网络模块来快速构建不同网络的检测模型。基于 YOLOv5 代码框架,并同步适配 YOLOv5(v6.0/v6.1 更新) 部署生态。用户在使用这个项目之前, 可以先了解 YOLOv5 库。

图片

该项目包含大量的改进方式,并能降低改进难度,改进点包含 Backbone、Neck、Head、注意力机制、IoU 损失函数、多种 NMS、Loss 损失函数、自注意力机制系列、数据增强部分、激活函数等部分,更多内容可以关注 YOLOAir 项目的说明文档。项目同时附带各种改进点原理及对应的代码改进方式教程,用户可根据自身情况快速排列组合,在不同的数据集上实验, 应用组合改进点写论文!

模块组件化:帮助用户自定义快速组合 Backbone、Neck、Head,使得网络模型多样化,使得改进检测算法、工程算法部署落地更便捷,构建更强大的网络模型。

支持YOLOv5、YOLOv7、YOLOX、YOLOR、YOLOv3、YOLOv4、Scaled_YOLOv4、Transformer等算法网络模型进行改进。

图片

项目地址:  https://github.com/iscyy/yoloair

项目介绍

主要特性

持续更新支持更多的 YOLO 系列算法模型,作者对可以进行改进的部分进行了分类:

支持更多 Backbone

  • CSPDarkNet 系列
  • ResNet 系列
  • RegNet 系列
  • RepBlock 系列
  • ShuffleNet 系列
  • Ghost 系列
  • MobileNet 系列
  • ConvNext 系列
  • RepLKNet 系列
  • EfficientNet
  • CNN 和 Transformer 混合:BoTNet、CoTNet、Acmix
  • 注意力机制 Transformer:Transformer、Swin

支持更多 Neck

  • neck 包含 FPN、PANet、BiFPN 等主流结构,同时可以添加和替换任何模块

支持更多检测头 Head

  • YOLOv5 Head 检测头
  • YOLOX 的解耦合检测头 Decoupled Head
  • 自适应空间特征融合检测头 ASFF Head
  • YOLOv7 检测头 IDetect Head、IAuxDetect Head 等

支持更多即插即用的注意力机制

  • 在网络任何部分即插即用式使用注意力机制
  • SE、CBAM、CA、GAM、ECA 等多种主流注意力机制
  • Self Attention
  • Contextual Transformer
  • Bottleneck Transformer
  • S2-MLP Attention
  • SK Attention
  • CBAM Attention
  • SE Attention
  • Coordinate attention
  • BAM Attention
  • GAM attention
  • ECA Attention
  • Shuffle Attention
  • DANet Attention
  • 持续更新中

支持更多损失函数

  • CIoU、DIoU、GIoU、EIoU、SIoU、alpha IOU 等损失函数

支持更多 NMS

  • NMS、Merge-NMS、DIoU-NMS、Soft-NMS、CIoU-NMS、DIoU-NMS、GIoU-NMS、EIoU-NMS、SIoU-NMS、Soft-SIoUNMS、Soft-CIoUNMS、Soft-DIoUNMS、Soft-EIoUNMS、Soft-GIoUNMS 等持续更新中

支持更多数据增强

  • Mosaic、Copy paste、Random affine(Rotation, Scale, Translation and Shear)、MixUp、Augment HSV(Hue, Saturation, Value,Random horizontal flip)

支持更多 Loss

  • ComputeLoss、ComputeNWDLoss、ComputeXLoss、ComputeLossAuxOTA(v7)、ComputeLossOTA(v7) 等 
  • 支持加载 YOLOv3、YOLOv4、YOLOv5、YOLOv7、YOLOR 等网络的官方预训练权重进行迁移学习
  • 支持 Anchor-base 检测器和 Anchor-Free 检测器

内置多种网络模型模块化组件

  • Conv, GhostConv, Bottleneck, GhostBottleneck, SPP, SPPF, DWConv, MixConv2d, DWT, BottleneckCSP2SAM, VoVCSP 等

以上组件模块使用统一模型代码框架、统一任务形式、统一应用方式,模块组件化可以帮助用户自定义快速组合 Backbone、Neck、Head,使得网络模型多样化,助力科研改进检测算法,构建更强大的网络模型。

内置改进网络模型配置支持

包括基于 YOLOv5 的其他几十种改进网络结构等算法模型的 yaml 配置文件汇总,使用 YOLOv5 网络作为示范,可以将这些模块无缝加入到 YOLOv7、YOLOX、YOLOR、YOLOv4、Scaled_YOLOv4、YOLOv3 等系列 YOLO 算法模块。

用户可自行基于提供的网络模块,进行自定义改进网络。

YOLOAir 算法库汇总了多种主流 YOLO 系列检测模型,一套代码汇集多种模型结构:

  • 内置 YOLOv5 模型网络结构
  • 内置 YOLOv7 模型网络结构
  • 内置 YOLOX 模型网络结构
  • 内置 YOLOR 模型网络结构
  • 内置 Scaled_YOLOv4 模型网络结构
  • 内置 YOLOv4 模型网络结构
  • 内置 YOLOv3 模型网络结构
  • TPH-YOLO 模型网络结构
  • YOLOv5-Lite 模型网络结构
  • YOLO-FaceV2 模型网络结构
  • PicoDet 模型网络结构
  • 以及其他部分改进模型

以上多种检测算法网络模型使用统一代码框架,集成在 YOLOAir 代码库中,统一应用方式。便于科研者用于论文算法模型改进,模型对比,实现网络组合多样化,包含轻量化模型和精度更高的模型,根据场景合理选择,在精度和速度者两个方面取得平衡。同时该库支持解耦不同的结构和模块组件,让模块组件化,通过组合不同的模块组件,用户可以根据不同数据集或不同业务场景自行定制化构建不同检测模型。

使用

代码遵循 YOLOv5 设计原则,使用方式基本和 YOLOv5 框架对齐。

安装

在 Python>=3.7.0 的环境中克隆版本仓并安装 requirements.txt,包括 PyTorch>=1.7。
$ git clone https://github.com/iscyy/yoloair.git  # 克隆
$ cd yoloair
$ pip install -r requirements.txt  # 安装

训练
$ python train.py --data coco128.yaml --cfg configs/yolov5/yolov5s.yaml

推理

detect.py 在各种数据源上运行推理, 并将检测结果保存到 runs/detect 目录。
$ python detect.py --source img.jpg

融合

如果使用不同的模型推理数据集,可以使用 wbf.py 通过加权框融合来集成结果。在 wbf.py 中设置 img 路径和 txt 路径。
$ python tools/wbf.py

教程

基本教程与 YOLOv5 框架同步,
其他教程如下 (持续更新中…)

图片

理论目标检测开源工具箱算法代码库YOLOAir
相关数据
激活函数技术

在 计算网络中, 一个节点的激活函数定义了该节点在给定的输入或输入的集合下的输出。标准的计算机芯片电路可以看作是根据输入得到"开"(1)或"关"(0)输出的数字网络激活函数。这与神经网络中的线性感知机的行为类似。 一种函数(例如 ReLU 或 S 型函数),用于对上一层的所有输入求加权和,然后生成一个输出值(通常为非线性值),并将其传递给下一层。

权重技术

线性模型中特征的系数,或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0,则相应的特征对模型来说没有任何贡献。

自注意力技术

自注意力(Self-attention),有时也称为内部注意力,它是一种涉及单序列不同位置的注意力机制,并能计算序列的表征。自注意力在多种任务中都有非常成功的应用,例如阅读理解、摘要概括、文字蕴含和语句表征等。自注意力这种在序列内部执行 Attention 的方法可以视为搜索序列内部的隐藏关系,这种内部关系对于翻译以及序列任务的性能非常重要。

损失函数技术

在数学优化,统计学,计量经济学,决策理论,机器学习和计算神经科学等领域,损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集(或特征)的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的,这让「神经网络在执行预测任务时可以更多关注输入中的相关部分,更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时,源句子中仅有少部分是相关的;因此,可以应用一个基于内容的注意力机制来根据源句子动态地生成一个(加权的)语境向量(context vector), 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

YOLO技术

YOLO 模型最早是由 Joseph Redmon 等人在 2015 年发布的,并在随后的两篇论文中进行了修订。

迁移学习技术

迁移学习 是属于机器学习的一种研究领域。它专注于存储已有问题的解决模型,并将其利用在其他不同但相关问题上。比如说,用来辨识汽车的知识(或者是模型)也可以被用来提升识别卡车的能力。计算机领域的迁移学习和心理学常常提到的学习迁移在概念上有一定关系,但是两个领域在学术上的关系非常有限。

量化技术

深度学习中的量化是指,用低位宽数字的神经网络近似使用了浮点数的神经网络的过程。

推荐文章
暂无评论
暂无评论~