【3D目标检测】Frustum PointNets

article/2025/3/17 10:03:44

《Frustum PointNets for 3D Object Detection from RGB-D Data》论文笔记

  • 一、论文思路
  • 二、模型介绍
    • 2.1 模型结构
    • 2.2 实现细节
      • 2.2.1 Frustum Proposal
      • 2.2.2 3D Instance Segmentation
      • 2.2.3 Amodal 3D Box Estimation
      • 2.2.4 模型结构
      • 2.2.5 损失函数
  • 三、实验结果

代码
论文

一、论文思路

本文先通过2D模型通过图像生成2D的bounding box,再通过frustum(平截头体)的方式去映射成一个3D的候选区域。在模型的第二阶段,本文使用3D基于点云的模型(如PointNet和PointNet++)去对 上一阶段frustum找出的候选区域进行实例分割和最终3D bounding box的回归。

二、模型介绍

2.1 模型结构

在这里插入图片描述

  • 从图中的第一部分可以看出,该模型首先通过一个2D的CNN去得到一个物体2D的bounding box和它的类别,然后将2D的bounding box映射成一个3D的frustum proposal。
  • 图中的第二部分是一个实例分割的网络,可以将上一步frustum proposal中的点采样到 N × C N\times C N×C,其中 N N N是点的个数, C C C是每个点的特征维度,包含XYZ以及强度信息。最终这些点和这个proposal通过2D CNN得到的类别的one hot vector一起作为这一步实例分割网络的输入,输出一个对于N个点的mask掩码,被掩码过滤过的 M M M个点继续作为下一阶段的输入。
  • 最后一阶段,一个基于PointNet的TNet网络,将输入点校正对齐,并通过另一个网络回归预测出3D的bounding box。

2.2 实现细节

2.2.1 Frustum Proposal

通过一个投影矩阵,每一个2D的bounding box可以被映射成一个3D的frustum proposal。由于每一个frustum proposal的朝向都不一样,因此如下图过程(a)到(b),其会先将其旋转到与相机正交的方向,这样增加了后续算法的旋转不变性。

在2D的detection模型中,本文选用了FPN架构,在ImageNet上面训练,并在KITTI上面fine tune。
在这里插入图片描述

2.2.2 3D Instance Segmentation

从下图可以看出,如果仅仅使用Frustum Proposal的话,得到的点云中还包含了大量的背景点,因此这一模块主要的功能就是将我们需要的前景从背景中分割出来。并且如上一张图(c),对于分割出来的前景点云还要将其中心化来引入平移不变性。
在这里插入图片描述

2.2.3 Amodal 3D Box Estimation

在这里插入图片描述
这一部分主要包含两个部分:

  • T-Net:和PointNet中的T-Net类似,只不过这里学习的不是旋转矩阵,而是一个物体中心点的残差,并且这里是有监督的。
  • Box Estimation Net:输出最终bounding box的各种参数,输出的维度为 3 + 4 × N S + 2 × N H 3 + 4 × NS + 2×NH 3+4×NS+2×NH,其中3代表对于中心点的残差回归,是接在T-Net回归之后的;NS代表不同size的anchor个数,每个anchor有四个维度,分别是该anchor的置信度以及长宽高的残差回归;NH代表不同朝向的anchor,每个anchor有两个参数,分别是置信度和朝向角θ。

2.2.4 模型结构

模型的具体结构如下:在这里插入图片描述

2.2.5 损失函数

由于这是一个多任务优化算法,因此在损失函数中应包含用于图像分割的Pointnet的损失 L s e g L_{seg} Lseg用于坐标平移的T-Net的损失、和用于框出目标的损失三部分组成。具体的公式如下:
在这里插入图片描述

  • L c 1 − r e g L_{c1-reg} Lc1reg L c 2 − r e g L_{c2-reg} Lc2reg 分别对应T-Net的坐标平移损失和box estimation的中心回归损失(也就是判断中心产生的损失)。
  • L h − c l s L_{h-cls} Lhcls L h − r e g L_{h-reg} Lhreg分别对应朝向的类别损失和回归损失(即离散值anchor的类型分类,和连续值的回归——smooth l1 loss)。
  • L s − c l s L_{s-cls} Lscls L s − r e g L_{s-reg} Lsreg分别代表box尺寸的类别损失和回归损失,与朝向类似。

上面的损失公式将box的尺寸和角度等参数视为独立的变量计算损失,但实际情况是box的尺寸和角度共同决定了box的信息,而最终得到的box的信息才是我们想要的。因此,frumstum pointnet引入了box的角损失(即对8个bounding box的corner进行损失计算),也就是上面的损失公式中的 L c o r n e r L_{corner} Lcorner,具体的计算公式为:
在这里插入图片描述
这里在NSxNH个anchor中仅有正确的size和head朝向的那个box会计算损失(即其他时候δ=0)。对于第i个size的第j个朝向的box的第k个角 P k i j P^{ij}_k Pkij,会移动到ground truth box的中心,与每个对应的角算L1 Loss。为了考虑到翻转180度的问题,这里会算与180度旋转之后的角 P ∗ ∗ P^{**} P的损失,并取最小值。(后面最后一项中是对k求和而不是i,论文应该写错了)

三、实验结果

论文在detection的任务里比较了KITTI数据集(包含3D detection和鸟瞰图的detection)和SUN-RGBD数据集。
在这里插入图片描述在这里插入图片描述
在这里插入图片描述在这里插入图片描述


http://chatgpt.dhexx.cn/article/7UlP52HJ.shtml

相关文章

【3D目标检测】Frustum PointNets for 3D Object Detection from RGB-D Data

目录 概述细节网络结构视锥候选框3D实例分割边界框参数回归损失函数 概述 首先本文是基于图像和点云的,属于早期的模态融合的成果,是串行的算法,而非并行的,更多的是考虑如何根据图像和点云这两个模态的数据进行3D目标检测。 提出…

frustum-pointnets复现过程+遇到的问题+解决方法

frustum-pointnets复现过程遇到的问题解决方法 系统Ubuntu16.04 1.下载KITTI数据集: 并按照README中的格式解压并重组数据集: 2.运行环境配置: 在复现KPConv的环境(‘python3’)下继续,首先安装一些包&a…

视锥体剔除(Frustum Culling)算法详解-透视投影矩阵直接推导

前言 本文章介绍了如何从投影矩阵(ProjectionMatrix)推导,得到视锥体(Frustum)的六个面的面方程,并且判断一个**点(point)是否在视锥体范围内,或者包围球(Bo…

OpenGL中frustum投影矩阵的推导

OpenGL中,有一个函数叫frustum,字面的意思是截锥体,也就是一个去掉头部的锥体,如下图所示, 看了一下《计算机图形学》(英文名Computer Graphics with OpenGL)的透视投影推导过程,比较…

UE Gameplay入门51(相机视锥空间的计算方法推导)

非常感谢匿名大哥一直对我的支持,本文内容由他赞助 #1. 视锥(Frustum)是什么 在相机的近裁剪面和远裁剪面之间的渲染范围内的空间叫做视锥空间(Frustum),通常情况下我们是不需要处理,但 当下比…

怎样用计算机才能更快,如何让网速变快,详细教您怎么让电脑网速变快

电脑的用户会遇到网速变慢的情况,不足为奇,其原因是多方面的,必须逐一进行解决。不过对于新手来说,该方法将不可取。别依赖技术人员,那么怎么让电脑网速变快?下面,小编跟大家介绍让电脑网速变快…

台式计算机运行慢怎么样能提高速度,如何提高电脑的运行速度,让电脑快起来!...

原标题:如何提高电脑的运行速度,让电脑快起来! 本人的笔记本电脑的已经使用了5年多了,经常出现卡顿,运行速度非常慢的情况,有时速度慢到无法忍受。以下是总结的解决电脑运行慢的几个方法,让自己…

电脑速度变快优化

1.加快系统启动速度  WindowsXP的启动速度比Windows2000要快30%左右,但相对于Windows98仍然要慢了不少,不过,我们可以通过优化设置,来大大提高WindowsXP的启动速度。加快系统启动速度主要有以下方法:尽量减少系统在启…

如何用计算机直接连接秒开服务器上网,三种方法让你实现电脑秒开!提升电脑开机速度就是这么简单!-怎么让电脑速度变快...

不少朋友常常抱怨自己的电脑开机速度太慢了,看着朋友或同事的电脑开机提示:开机用时XX秒,击败了全国百分之几的电脑用户,再看看自己的电脑光是开机就得几分钟,是不是砸了换新电脑的心情都有。 那么有没有办法让自己的电…

台式计算机运行慢怎么样能提高速度,怎么让电脑速度变快win7,win7运行速度提高90%的方法...

电脑的运行速度不仅跟电脑硬件配置高低有关,跟电脑系统也有一定的关联。那么怎样让电脑速度变快呢?下面分享的几条提升电脑速度的方法,有兴趣的朋友可以尝试下: 怎样让电脑速度变快? 1、加大运行内存: 如果你发现,你…

计算机网络速度怎么改,怎么让电脑网速变快? 公用网络怎么变快

【导读】怎么让电脑网速变快相关问题,下面191路由网小编为大家详细解答。 电脑在使用一段时间以后,上网速度就会明显变慢,有时甚至连网页都打不开。其实导致网速变慢的原因是多方面的,即有操作系统本身的原因,也有人为…

怎样让计算机加快速度,六大招教你把旧电脑恢复如新,速度提升N倍!-怎么让电脑速度变快...

旧电脑用久了难免会有点卡, 打开一个网页要等待很久, 操作的过程中出现卡顿, 导致数据丢失的情况也时常发生, 可能连打开office办公软件都非常慢! 这其实是电脑垃圾太多了! 电脑是我们的各种资料、信息生活…

笔记本计算机运行程序,这几招让你的笔记本电脑运行速度变快 必学技巧

很多电脑用户一直都被电脑慢的问题困扰着,而电脑大神根本不把电脑慢当做电脑问题,因为让电脑变快的方法有很多,而且操作都巨简单。提高电脑速度的方法也能很多而且很容易操作,一切的难,只是来源于你没有学过而已&#…

计算机如何配置速度快,怎么设置速度,教您怎么可以让电脑速度变快

在使用电脑的过程中,我们难免会需要使用电脑下载资源的情况,但是有用户发现在电脑在下载网上的时候,明明网络良好的情况下,却发现下载的速度依然很慢,那么这到底是怎么回事呢?该怎么去解决呢?下…

怎么样很快的速度锁定计算机,怎样让电脑速度变快

电脑的运行速度不仅跟电脑硬件配置高低有关,跟电脑系统也有一定的关联。那么怎样让电脑速度变快呢?下面分享的几条提升电脑速度的方法,有兴趣的朋友可以尝试下: 怎样让电脑速度变快? 1、加大运行内存: 如果你发现,你…

电脑开机太慢!怎么让电脑开机速度变快?

电脑刚买来的时候,开机速度很快,用了一段时间后,开机速度越来越慢,甚至要等上好几分钟,这实在是太让人苦恼了!电脑开机太慢,怎么让电脑开机速度变快?其实想要解决这个问题很简单,我们…

计算机网络速度怎么改,教你调网速让电脑速度更快-怎么让电脑速度变快

你是不是会经常为自己的电脑运行卡慢而感受生气么?你是不是经常羡慕别人的电脑为什么可以飞速的运行呢?你是不是经常会为自己的网速为什么这么慢而感到疑惑呢?对于电脑系统比较不懂的你是不是觉得需要很专业的代码或者需要重新换台好一点的电…

计算机运行速度靠什么,怎么让电脑运行速度变快?一招搞定

如果电脑经常处于卡顿不流畅,卡、慢的状态,对经常使用电脑的人来说是非常糟糕的体验,那么有什么方法可以让电脑运行速度更快呢?今天就来教教各位可以让电脑速度变快的方法。 一、磁盘清理 很多时候正是因为电脑中的系统盘储存的文…

如何让电脑的开机速度变快?

文章目录 1.此电脑 → 鼠标右键 → 选择图中的高级系统设置。2.选择启动和故障恢复中的设置。3.将时间都调成0秒,并且点击确定,就可以让电脑的开机速度变快。 1.此电脑 → 鼠标右键 → 选择图中的高级系统设置。 2.选择启动和故障恢复中的设置。 3.将时间…

快速加速计算机的方法,电脑慢的快速解决办法 四种方法电脑速度变快10倍

电脑这种东西刚买来的时候用起来“刷刷”的,随着使用时间的增加,电脑就会开始莫名的变卡、变慢。作为一个资深的电脑大神,电脑慢这种问题根本就不能算电脑问题,让电脑变快的方法有很多,而且操作都巨简单,下…