【3D目标检测】Frustum PointNets for 3D Object Detection from RGB-D Data

article/2025/3/17 9:47:59

目录

  • 概述
  • 细节
    • 网络结构
    • 视锥候选框
    • 3D实例分割
    • 边界框参数回归
    • 损失函数

概述

首先本文是基于图像和点云的,属于早期的模态融合的成果,是串行的算法,而非并行的,更多的是考虑如何根据图像和点云这两个模态的数据进行3D目标检测。
提出动机与贡献1:以往基于点云的算法,要么是将点云进行编码成规则结构如体素、体柱,然后进行处理,要么是将点云转换成图片类型(鸟瞰图),然后进行处理,这些方法都会损失原始点云的信息。因此直接基于原始点云进行目标检测能够更加有效的利用3D的信息,这方面比较经典的工作就是PointNet类的算法,它们能进行分类和分割,并没有进行目标检测,因此作者提出了一种方法将PointNet用到了目标检测当中。
提出动机与贡献2:以往基于点云的算法基本都是使用RPN网络生成3D候选框的,但是基于原始点云的话,RPN不好做啊,因为不好设置3D anchor了就。因此作者就将2D候选框和3D实例分割等操作结合起来生成候选框。

ps:
2D目标检测中ancho:两阶段算法中,anchor用于候选框的生成,单阶段算法中anchor用于最终边界框的生成,他们都是需要对anchor的偏移参数进行预测,然后将偏移参数作用到anchor上得到我们想要的结果(候选框或者边界框),那怎么得到参数的预测结果呢?一般都是得到一个全局的特征,然后用 1 ∗ 1 1*1 11卷积调整通道数。比如我们将全局特征通过 1 ∗ 1 1*1 11卷积得到了 7 ∗ 7 ∗ ( 4 ∗ k ) 7*7*(4*k) 77(4k)的结果,就代表着原图中设置了 7 ∗ 7 = 49 7*7=49 77=49个位置,每个位置放置了 k k k个anchor,每个anchor对应4个偏移调整参数。这个位置怎么选择呢?可以将结果特征图中的点按照一定的规则映射到原图中,也可以采用什么别的方式,接着以这个位置为中心,放置不同长宽比例、不同大小的矩形框作为先验也就是anchor。
视锥:视锥就是下图中有颜色的部分(立体梯形),相机中图像成的像就是视锥中的内容。因此我们可以通过图像以及相机的内置参数得到视锥。
在这里插入图片描述

细节

网络结构

整体流程:

  1. 首先使用2D目标检测器在图像中得到候选框并进行分类
  2. 借助相机的内参将2D候选框转换为得到3D视锥(frustum)
  3. 对3D视锥内的点进行3D实例分割,得到每个点的类别
  4. 基于分割的结果,1个PointNet的变体(T-Net)回归中心点坐标,另一个PointNet的变体回归尺寸和航向角。
    在这里插入图片描述

视锥候选框

首先使用2D目标检测器在图像中得到候选框并进行分类,然后借助相机的内参(投影矩阵)将2D候选框转换为得到3D视锥,视锥内的点就构成了视锥点云。但是对于不同的2D候选框,视锥可能会朝向很多不同的方向,点云的分布很不稳定,所以作者对视锥中的点做了几何变换,(下图a)使得z轴指向视锥的中心,那么视锥中的点的分布就很稳定了。
注:1、因为候选框只会包含一个目标,所以理论上每个视锥中也仅包含一个目标。
在这里插入图片描述

3D实例分割

我们现在已经有了2D候选区域以及它对应的视锥点云,接下来就是从中得到3D边界框。一个直接的思路就是将视锥点云转换成2D候选区域的深度图,然后使用CNN处理,但是其中会存在物体遮挡和背景杂乱的问题。这个问题在2D中是很难处理的,但是在3D中是比较容易处理的,因为3D空间中物体是自然分离的。因此作者使用PointNet对视锥点云中的所有点进行2分类(目标点云以及非目标点云),得到目标点云。

上面说了视锥中的目标主体只有一个,也就是和2D候选框中的类别一致的,因此我们可以将之前预测到的2D候选框类别作为额外的特征或者说是先验知识,加到视锥中的点上,方便分割。

分割结束之后,得到目标点云,再做一次几何变换

注:为什么作者根据2D候选框生成视锥,然后做3D分割而不是直接使用2D分割昌盛视锥呢?就像前面说的,2D分割难度大,效果差;3D分割难度小,效果好。

在这里插入图片描述

边界框参数回归

实验中发现目标点云的中心距离边界框的中心依旧比较远,因此作者单独使用T-Net回归边界框的中心点坐标,这里的回归指的是目标点云的质心相对于边界框中心的偏移,回归结束就能得到粗粒度的边界框中心点。再使用一个PointNet的变体(Amodal 3D Box Estimation PointNet)实现边界框的尺寸(h,w,l)、航向角的回归以及中心点坐标的进一步回归,输出维度是 3 + 4 ∗ N S + 2 ∗ N H 3+4*NS+2*NH 3+4NS+2NH,其中3是边界框中心点的坐标偏移, N S NS NS是不同尺寸的anchor个数,4是长宽高以及置信度, N H NH NH是不同朝向的anchor,2是置信度以及航向角。

注:这里的T-Net类似于PointNet中的T-Net,但是它不学习旋转矩阵,而是实现边界框中心点坐标的回归,因此它是有监督的。
在这里插入图片描述

损失函数

损失主要包含四部分:3D分割的损失,两次几何变换的损失、边界框相关的损失以及最后的角损失。
具体: L s e g L_{seg} Lseg是分割损失、 L c 1 − r e g L_{c1-reg} Lc1reg是两次几何变换的损失、 L c 2 − r e g L_{c2-reg} Lc2reg是中心点回归的损失、 L h − c l s L_{h-cls} Lhcls L h − r e g L_{h-reg} Lhreg是航向角分类和回归的损失、 L s − c l s L_{s-cls} Lscls L s − r e g L_{s-reg} Lsreg是各个尺寸分类和回归的损失。
在这里插入图片描述
上面公式写的很多,相当于是各个参数都单独预测了,但是他们应该是一起起作用得到边界框的,所以引入了8个角的损失。
在这里插入图片描述


http://chatgpt.dhexx.cn/article/ZwJpkjdq.shtml

相关文章

frustum-pointnets复现过程+遇到的问题+解决方法

frustum-pointnets复现过程遇到的问题解决方法 系统Ubuntu16.04 1.下载KITTI数据集: 并按照README中的格式解压并重组数据集: 2.运行环境配置: 在复现KPConv的环境(‘python3’)下继续,首先安装一些包&a…

视锥体剔除(Frustum Culling)算法详解-透视投影矩阵直接推导

前言 本文章介绍了如何从投影矩阵(ProjectionMatrix)推导,得到视锥体(Frustum)的六个面的面方程,并且判断一个**点(point)是否在视锥体范围内,或者包围球(Bo…

OpenGL中frustum投影矩阵的推导

OpenGL中,有一个函数叫frustum,字面的意思是截锥体,也就是一个去掉头部的锥体,如下图所示, 看了一下《计算机图形学》(英文名Computer Graphics with OpenGL)的透视投影推导过程,比较…

UE Gameplay入门51(相机视锥空间的计算方法推导)

非常感谢匿名大哥一直对我的支持,本文内容由他赞助 #1. 视锥(Frustum)是什么 在相机的近裁剪面和远裁剪面之间的渲染范围内的空间叫做视锥空间(Frustum),通常情况下我们是不需要处理,但 当下比…

怎样用计算机才能更快,如何让网速变快,详细教您怎么让电脑网速变快

电脑的用户会遇到网速变慢的情况,不足为奇,其原因是多方面的,必须逐一进行解决。不过对于新手来说,该方法将不可取。别依赖技术人员,那么怎么让电脑网速变快?下面,小编跟大家介绍让电脑网速变快…

台式计算机运行慢怎么样能提高速度,如何提高电脑的运行速度,让电脑快起来!...

原标题:如何提高电脑的运行速度,让电脑快起来! 本人的笔记本电脑的已经使用了5年多了,经常出现卡顿,运行速度非常慢的情况,有时速度慢到无法忍受。以下是总结的解决电脑运行慢的几个方法,让自己…

电脑速度变快优化

1.加快系统启动速度  WindowsXP的启动速度比Windows2000要快30%左右,但相对于Windows98仍然要慢了不少,不过,我们可以通过优化设置,来大大提高WindowsXP的启动速度。加快系统启动速度主要有以下方法:尽量减少系统在启…

如何用计算机直接连接秒开服务器上网,三种方法让你实现电脑秒开!提升电脑开机速度就是这么简单!-怎么让电脑速度变快...

不少朋友常常抱怨自己的电脑开机速度太慢了,看着朋友或同事的电脑开机提示:开机用时XX秒,击败了全国百分之几的电脑用户,再看看自己的电脑光是开机就得几分钟,是不是砸了换新电脑的心情都有。 那么有没有办法让自己的电…

台式计算机运行慢怎么样能提高速度,怎么让电脑速度变快win7,win7运行速度提高90%的方法...

电脑的运行速度不仅跟电脑硬件配置高低有关,跟电脑系统也有一定的关联。那么怎样让电脑速度变快呢?下面分享的几条提升电脑速度的方法,有兴趣的朋友可以尝试下: 怎样让电脑速度变快? 1、加大运行内存: 如果你发现,你…

计算机网络速度怎么改,怎么让电脑网速变快? 公用网络怎么变快

【导读】怎么让电脑网速变快相关问题,下面191路由网小编为大家详细解答。 电脑在使用一段时间以后,上网速度就会明显变慢,有时甚至连网页都打不开。其实导致网速变慢的原因是多方面的,即有操作系统本身的原因,也有人为…

怎样让计算机加快速度,六大招教你把旧电脑恢复如新,速度提升N倍!-怎么让电脑速度变快...

旧电脑用久了难免会有点卡, 打开一个网页要等待很久, 操作的过程中出现卡顿, 导致数据丢失的情况也时常发生, 可能连打开office办公软件都非常慢! 这其实是电脑垃圾太多了! 电脑是我们的各种资料、信息生活…

笔记本计算机运行程序,这几招让你的笔记本电脑运行速度变快 必学技巧

很多电脑用户一直都被电脑慢的问题困扰着,而电脑大神根本不把电脑慢当做电脑问题,因为让电脑变快的方法有很多,而且操作都巨简单。提高电脑速度的方法也能很多而且很容易操作,一切的难,只是来源于你没有学过而已&#…

计算机如何配置速度快,怎么设置速度,教您怎么可以让电脑速度变快

在使用电脑的过程中,我们难免会需要使用电脑下载资源的情况,但是有用户发现在电脑在下载网上的时候,明明网络良好的情况下,却发现下载的速度依然很慢,那么这到底是怎么回事呢?该怎么去解决呢?下…

怎么样很快的速度锁定计算机,怎样让电脑速度变快

电脑的运行速度不仅跟电脑硬件配置高低有关,跟电脑系统也有一定的关联。那么怎样让电脑速度变快呢?下面分享的几条提升电脑速度的方法,有兴趣的朋友可以尝试下: 怎样让电脑速度变快? 1、加大运行内存: 如果你发现,你…

电脑开机太慢!怎么让电脑开机速度变快?

电脑刚买来的时候,开机速度很快,用了一段时间后,开机速度越来越慢,甚至要等上好几分钟,这实在是太让人苦恼了!电脑开机太慢,怎么让电脑开机速度变快?其实想要解决这个问题很简单,我们…

计算机网络速度怎么改,教你调网速让电脑速度更快-怎么让电脑速度变快

你是不是会经常为自己的电脑运行卡慢而感受生气么?你是不是经常羡慕别人的电脑为什么可以飞速的运行呢?你是不是经常会为自己的网速为什么这么慢而感到疑惑呢?对于电脑系统比较不懂的你是不是觉得需要很专业的代码或者需要重新换台好一点的电…

计算机运行速度靠什么,怎么让电脑运行速度变快?一招搞定

如果电脑经常处于卡顿不流畅,卡、慢的状态,对经常使用电脑的人来说是非常糟糕的体验,那么有什么方法可以让电脑运行速度更快呢?今天就来教教各位可以让电脑速度变快的方法。 一、磁盘清理 很多时候正是因为电脑中的系统盘储存的文…

如何让电脑的开机速度变快?

文章目录 1.此电脑 → 鼠标右键 → 选择图中的高级系统设置。2.选择启动和故障恢复中的设置。3.将时间都调成0秒,并且点击确定,就可以让电脑的开机速度变快。 1.此电脑 → 鼠标右键 → 选择图中的高级系统设置。 2.选择启动和故障恢复中的设置。 3.将时间…

快速加速计算机的方法,电脑慢的快速解决办法 四种方法电脑速度变快10倍

电脑这种东西刚买来的时候用起来“刷刷”的,随着使用时间的增加,电脑就会开始莫名的变卡、变慢。作为一个资深的电脑大神,电脑慢这种问题根本就不能算电脑问题,让电脑变快的方法有很多,而且操作都巨简单,下…

如何让电脑运行速度变快

电脑的运行速度不仅跟电脑硬件配置高低有关,跟电脑系统也有一定的关联。那么怎样让电脑速度变快呢?下面分享的几条提升电脑速度的方法,有兴趣的朋友可以尝试下: 怎样让电脑速度变快? 1、加大运行内存: 如果你发现,你…