xYOLO

article/2025/8/20 4:20:36

 随着物联网(IoT)、边缘计算和自主机器人等领域的车载视觉处理技术的出现,人们对复合高效卷积神经网络模型在资源受限的硬件设备上进行实时目标检测的需求越来越大。Tiny-YOLO通常被认为是低端设备中速度更快的对象探测器之一,这个也是今天作者工作的基础。

这篇目标检测,在Raspberry PI 3B上实验,Tiny-YOLO可以达到每秒0.14帧的速度,对于足球机器人检测球门和球来说太慢了。今天要说的这个技术,一种改进的YOLO CNN模型xYOLO,它可以在Raspberry PI 3 B上以9.66 FPS的速度实现目标检测,这是通过交换一个可接受的精度来实现的,使网络比Tiny-YOLO快约70倍。在CPU和GPU上也实现了更大的推理速度。此外,还提供了一个带注释的Darknet数据集,用于球门和球的检测。

传统上,在机器人杯类人机器人比赛中,基于颜色分割的技术被用来检测足球场的特征,如球门和球。这些技术是快速和可以实现良好的精度在简单的环境,例如使用橙色的球,控制室内照明和黄色的目标。然而,根据RoboCup 2050年的球门,球队已经看到了自然光照条件(暴露在阳光下)、白色背景的球门和各种颜色的国际足联球。基于颜色分割的技术在这些具有挑战性的场景中无法发挥作用,主要推动了实现多种神经网络方法的竞争。

基于CNN的模型在复杂场景中的目标检测精度方面取得了很大进展。然而,这些基于cnn的高性能计算机视觉系统,虽然比全连接的网络精简得多,但仍然具有相当大的内存和计算消耗,并且只有在高端GPU设备上才能实现实时性。因此,这些型号中的大多数不适合于低端设备,如智能手机或移动机器人。这就限制了它们在实时应用中的应用,比如自主的仿人机器人踢足球,因为有权力和重量方面的考虑。因此,开发轻量级、计算效率高的模型,使CNN能够使用更少的内存和最少的计算资源,是一个活跃的研究领域。

最近发表了大量关于适合于低端硬件设备的目标检测的轻量级深入学习模型的研究论文。这些模型大多基于SSD、SqueezeNet、AlexNet和GoogleNet。在这些模型中,目标检测流水线通常包含预处理、大量卷积层和后处理等几个部分。分类器在图像中的不同位置和多尺度上使用滑动窗口方法或区域候选方法进行评估。这些复杂的目标检测计算量大,因此速度慢。XNOR-Net使用二进制运算的近似卷积,与传统卷积中使用的浮点数相比计算效率高。XNOR网络的一个明显的缺点是类似大小的网络的准确性下降。 

另一方面,在you only look once(YOLO),目标检测是一个单一的回归问题。YOLO工作在边界框级别,而不是像素级别,即YOLO同时预测边界框和相关的类概率,从整个图像中在一个“看”。YOLO的一个主要优点是它能够对上下文信息进行编码,因此在混淆目标图像中的背景时出错较少。

“Lighter”版本的YOLO v3,称为Tiny-YOLO,设计时考虑到了速度,并被普遍报道为表现较好的模型之一,在速度和准确性的权衡。Tiny-YOLO有九个卷积层和两个全连接层。实验表明,Tiny-YOLO能够在Raspberry PI 3上实现0.14 FPS,这与实时目标检测相差很远。

从有些文章中的结果可以看出,这些目标检测器不能在计算资源最少的低端硬件上提供实时性能(例如,以Raspberry PI作为计算资源的类人机器人)。在作者使用的机器人中,使用一个计算资源来处理几个不同的过程,例如行走引擎、自我定位等。视觉系统只剩下一个核心来执行所有的目标检测。

新的框架方法

作者提出的网络xYOLO是从YOLO v3 tiny派生而来的,具体而言,使用AlexeyAB的DarkNet,它允许XNOR层,并建立在下图所示的Raspberry PI的基础上,xYOLO在训练和recall中都使用了正常的卷积层和XNOR层。

每年的RoboCup比赛都会带来新的挑战,在比赛开始的时候,模型必须使用收集到的图像进行再训练。因此,作者设计这一网络的方法是将训练时间减少到45分钟以下,以便对不同的网络配置和新的足球场条件进行相对快速的测试。 

上图是一个网络的例子,其中的参数太小,以至于无法检测对象。在下图中,这将表现为损失均方误差在不能将损失降低到可接受的值(即1.5以下)的1000次迭代或模型之前没有减少到6以下。一般来说可以得出结论,一个网络是否在训练的前15分钟有一个合理的机会成功。 

实验及结果

下面是xYOLO网络的结构:

如下表所示,与其他测试模型相比,xYOLO在计算效率方面取得了更好的性能。 基于仿人足球数据集的目标检测精度结果

观察到上图,模型在训练和未见测试集上都取得了相似的精度。与其他模型相比,Tiny-YOLO实现了更好的目标检测精度。在验证数据集上,xYOLO能够达到约68%的准确率,在测试集上达到约67%,这在考虑到xYOLO的速度和大小时是很好的。    whaosoft aiot  http://143ai.com

 示例目标检测结果由模型产生。左侧:Tiny-YOLO,中间:xYOLO,右侧:Tiny-YOLO-XNOR。当每个网络识别达到检测阈值的对象时,球和球门被标记。可以观察到,xYOLO的目标检测结果优于Tiny-YOLO-XNOR,其结果与Tiny-YOLO具有可比性。 


http://chatgpt.dhexx.cn/article/2Fx54vND.shtml

相关文章

概念辨析理解--TEX、LATEX、TEXLive和Lyx的区别和联系

一、前言 最近搞了好久的Lyx,TEX、LATEX、TEXLive和Lyx这几个概念把我搞糊涂了,现在梳理一下。 二、细说TEX和LATEX 2.1 TEX TEX是诞生于20世纪70年代末到80年代初的一款计算机排版软件,而且是命令行格式的(如下图&#xff09…

lyx安装(需先安装texlive)2021-03-14

lyx安装(需要先安装texlive) 1.texlive下载 非常感谢各位 参考Lyx的安装流程(windows10系统)及配置中文环境 选择TeX Live2018_latex下载教程,下载了2020最新版的。显示大4G,下载很漫长。继续进行: 2.下载…

LYX中文配置问题

LYX中文配置问题 1 版本 lyx2.2.2 TeX Live 2015/Debian 2 问题描述 写好文档预览时,提示中文配置问题,无法预览。 3 解决方法 需要对文档-首选项中的三个选项重新设置具体设置如下: 文档类设置 3.1 文档类设置 打开文档-首选项对话框&#x…

Lyx使用对中文进行编译

Lyx使用对中文进行编译 Lyx对中文进行编译需要具备一下条件 文档格式是utf-8文档类型 Chinese article (ctex)编译使用xelatex或者luaTex 一、设置文档格式 Document->setting->language 中文版 :文档-》首选项》语言 选择Unicode(utf-8) 二、设置文档格…

lyx插入图片和表格

Lyx插入图片和表格时,按照如下步骤进行: 插入浮动项 在float中选择图 生成浮动框,继续选择插入 但是有点靠左,对着浮动项右键,选择段落设置(paragraph settings) 选择center 继续选择…

SOJSONV5解密,SOJSON.V5解密方法,SOJSONV5解密分析

首先 JS加密只要给浏览器能运行就是可逆的。 只是难度和时间问题,如果一个加密他有规则,那么他就是可以系统化可逆。 我们来分析下 sojson.v5 ,sojsonv5解密,使用者较多, 知名企业都在使用,证明这个加密工具还是值得…

微信企业号开发之access_token接口调用示例(一)

摘要:在微信企业号开发中,首先需要调用access_token的接口,具体请看官网文档,地址为:https://work.weixin.qq.com/api/doc#10013 第一步:创建企业应用 登录企业管理后台进入“企业应用”页面,…

我和8个程序员聊了一下午,攒齐这些了观点...

十多年前,所有的企业都在想办法互联网化,如今,所有的互联网企业都在试图 AI 化,众所周知,技术的竞争归根结底表现为人才的竞争,所以说到底,还是人才供需不平衡。 未解决这一现状,虽…

想做AI工程师?这个案例必须掌握!(附完整代码Keras实现CNN)

有人说,2018年人工智能已经进入了全球爆发的时刻。个性化信息推送、人脸识别、语音操控等人工智能技术,已“入侵”日常生活的细枝末节。 十多年前,所有的企业都在想办法互联网化,如今,所有的互联网企业都在试图AI化,据数据统计,平均每 10.9 个小时会诞生一家 AI 企业。…

震惊!让90%的程序员一看就会的入门级AI项目!

随着AI的发展,美国橡树岭国家实验室的一些专家预测,到2040年,AI技术将会强大到足以替代程序员。AI技术将会强大到足以替代程序员,AI编写软件将比人类程序员更好、更快。换句话说,软件编写的软件比人类编写的更好。 这是怎么发生的?AI能真正学会如何做需要高度创造性的智…

Building your Deep Neural Network - Step by Step v5 作业 - Neural Networks and Deep Learning

终于做完了,放在这里。。。复习用 Building your Deep Neural Network: Step by Step Welcome to your week 4 assignment (part 1 of 2)! You have previously trained a 2-layer Neural Network (with a single hidden layer). This week, you will build a dee…

html聊天界面

先看效果图 参考网址&#xff1a;https://desk.v5kf.com/desk/kehu_zh.html html代码 html lang"zh"> <head> <meta charset"utf-8"> <meta http-equiv"X-UA-Compatible" content"IEedge"> <me…

PCIE体系结构基础和Linux PCI设备注册过程的实现

根据百度百科的解释,PCIE(peripheral component interconnect express)是一种高速串行计算机扩展总线标准,它原来的名称为“3GIO”,是由英特尔在2001年提出的,旨在替代旧的PCI,PCI-X和AGP总线标准。PCIe属于高速串行点对点双通道高带宽传输,所连接的设备分配独享通道带宽…

krita windows编译源码

Qt系列文章目录 文章目录 Qt系列文章目录前言一、krita二、krita源码编译1. Windows下编译1.编译准备2. 相关命令 使用CMake编译krita 重新编译使用CMkae bash&#xff1a;find_package(Zug REQUIRED) 前言 最近使用Qt处理图像&#xff0c;要实现一些Photoshop的功能&#xff…

Yolov5-Lite + Sort算法实现边缘目标跟踪

文章目录 前言项目结构Sort算法实现卡尔曼跟踪器工具类多目标跟踪器整合前言 昨天挖了个坑,那么今天的话把坑填上,只要是实现Sort算法和Yolov5-Lite的一个整合。当然先前的话,我们在Yolov3–Tiny的时候,也做了一个,不过当时的话,有几个问题没有解决。第一就是当时以中心…

如何用剪映翻译英文字幕?

需要借助第三方工具。 这次是小编在上个版本的基础上进行升级&#xff0c;支持并兼容剪映最新版本3.3。 之前小编方包的那款只支持2.3.0以下的。这次剪映pc端所有版本都兼容。可以翻译国外的英文的视频&#xff01;比如&#xff1a;tik~、某管的视频~ 工具如下图 使用教程&am…

英文字幕视频翻译成中文字幕

参考 教程 https://www.bilibili.com/read/cv2223816/ https://www.bilibili.com/video/av34725774 1、下载英文视频 例如下面这个视频 QGIS提取DSM数据中房屋的屋顶类型和高度 2、导出英文字幕并重命名为bcc格式 参考 https://www.bilibili.com/read/cv2223816/ 3、bcc格…

不限网站的视频字幕实时翻译工具(视频只要有声音就可以翻译)

一个实时中英互译的软件 问题 经常在网上搜索一些我们需要的学习资源&#xff0c;会遇到一些非常好的视频资源&#xff0c;可惜是英文的&#xff0c;这时&#xff0c;像我这样英文不是很好的同学就该犯难了。再找别的资源会很麻烦。 像有一些网站会自带自动字母和自动翻译功…

python自动翻译视频字幕_音视频自动字幕生成(翻译)—[autosub]

国外有些视频无中文字幕找字幕也不方便 此工具可生成*.srt格式字幕和json autosub依赖ffmpeg 安装环境:VUlTR Ubuntu 18.04系统 地域:日本 充值10刀送10刀 安装ffmpeg [sudo] apt-get install ffmpeg 安装python [sudo] apt-get install python-pip 安装autosub pip…

体验SDL Trados 2021 翻译视频字幕

对于视频字幕翻译以往多采用的是以下几种方式&#xff1a; 直接打开翻译ASS, SRT等字幕文件 文本文件直接操作有风险可能会破坏时间轴或样式使用字幕工具&#xff0c;人人译世界&#xff0c;字幕通等第三方工具打开编辑字幕 不能使用到翻译记忆库的优势第三方工具结合SDL Trad…