Lidar 3D传感器点云数据与2D图像数据的融合标注

article/2025/9/14 16:19:29

2D&3D融合

以自动驾驶场景为例,自动驾驶汽车需要使用传感器来识别车辆周围的物理环境,用来捕获2D视觉数据,同时在车辆顶部安装雷达,用以捕捉精确目标定位的3D位置数据。

在这里插入图片描述
激光雷达生成的点云数据可用于测量物体的形状和轮廓,估算周围物体的位置和速度,但点云数据缺少了RGB图像数据中对物体纹理和颜色等信息的提取,无法精确地将对象分类为汽车、行人、障碍物、信号灯等。

所以需要将包括丰富的语义信息2D视觉图像和可以提供精确的目标定位3D点云数据进行融合,使自动驾驶系统能够精确地了解周围环境,准确做出判断,让自动驾驶功能得以广泛应用。

在O1平台2D&3D融合标注界面,点击2D图片上的小眼睛预览按钮,可以看到3D数据高亮的部分,哪个方位的数据会被映射在2D图片上。

在这里插入图片描述

3D框标注

新建3D框

屏幕聚焦在车或目标物体的正上方,点击快捷键F,依次点击左后方,左前方和右前方。平台的自动框收敛的功能可以使3D框完美贴合在目标物体上。

在这里插入图片描述
最后选择标签和属性信息,即可完成一个3D框的标注了。

调整3D框

想要调整3D框,可从右侧的三视角图中来调节,分别的从正上方,侧方和后方来观察框中的目标。

在这里插入图片描述
一般会通过快捷键来操作:用Z,X来旋转角度,用AWSD从上下左右在侧方视角调节位置,在后方视角用QE来做左右平移。

2D映射

在标注3D数据的同时,可以注意到,左边的RGB数据中,也产生了框。这是通过3D点云数据的标注结果,经过相机参数的计算,投影到RGB数据上。

在这里插入图片描述
·支持在RGB数据上显示,调节,新增3D框
·支持在RGB数据上显示,调节,新增2D框
·支持将RGB和3D点云数据上的框相关联

模型预处理

系统预制了多个模型,其中就包括了3D点云预识别模型。只需要点击“模型”,即可一键生成框和标签!

在这里插入图片描述
通用模型能对大部分的目标进行正确的识别,但是还会有个别的框需要人工调整。
我们还是通过三视图来手动微调预处理的结果,从而使所有的框可以完美地贴合目标。

比较难标注的目标

有些物体由于被遮挡或者距离自主车辆很远的原因,很难通过有限的点云来确定物体的轮廓和标签。

在这里插入图片描述

我们可以通过左下角的设置,将点的尺寸调大一些。放大之后,再新建框,并通过左边的2D图来帮助识别物体的标签。

以上便是关于2D&3D融合数据标注的介绍。


http://chatgpt.dhexx.cn/article/qXa8an4m.shtml

相关文章

3D视觉传感器产业现状-2018年

总结一下,主要参考于MEMS市场调研 MEMS.ME, 必须找专业的分析和咨询公司才行,或者活跃在前沿的资深行业专家。市场分析只能给出大致的销售状况,还不能给出详细的技术数据对比。 从三维重建的算法、技术原理和效果参数上分析&#…

三种常见的3D传感器比较

作者 | dianyunPCL 编辑 | 点云PCL 本文只做学术分享,如有侵权,联系删文 点击下方卡片,关注“自动驾驶之心”公众号 ADAS巨卷干货,即可获取 点击进入→自动驾驶之心【硬件交流】技术交流群 摘要 在过去的十年里,3D传感…

3D视觉|了解下工业上常见的3D相机

说起相机,大家估计都很熟悉了。那么相对于平常使用的2D相机,3D相机又有哪些区别呢,顾名思义,3D相机可以让我们获取我们物理世界的空间信息,即立体三维的物理信息。多了一个维度的信息,似乎打开了一扇大门&a…

基于多传感器的3D多目标跟踪算法汇总

1. IROS 2020-AB3DMOT:A Baseline for 3D Multi-Object Tracking and New Evaluation Metrics 代码链接:https://github.com/xinshuoweng/AB3DMOT 文章链接:http://www.xinshuoweng.com/papers/AB3DMOT_eccvw/camera_ready.pdf 出发点&#x…

3D相机技术 | 立体视觉传感器+TOF相机

转自 | 睿慕课 文章结构 前言立体视觉传感器原理简介工业领域应用主流立体视觉的产品TOF相机工作原理TOF工业领域应用一些TOF研究机构 1.前言 在机器视觉应用中,物体三维形状的获取变得越来越重要。在这个系列里,我们将讨论目前在机器视觉行业中可用的3…

一文聊聊用于机器感知的3D与2D传感器数据 | 数据标注

人类和机器之间最大的区别之一在于我们感知周围环境的方式。我们都存在于3D世界中,人类天生能够感知复杂的几何形状、透视、遮挡、消失点、物体持久性等带来的影响,但机器却很难处理这些最简单的情况。 想让他们能够“看到”仍然是一个热门的研究领域。机…

多传感器融合 | CenterFusion:毫米波雷达和相机后融合3D检测算法

点击下方卡片,关注“自动驾驶之心”公众号 ADAS巨卷干货,即可获取 今天自动驾驶之心很荣幸邀请到寒风分享RV后融合算法CenterFusion,如果您有相关工作需要分享,请在文末联系我们! >>点击进入→自动驾驶之心【多传…

Ansys Lumerical Zemax Speos | CMOS 传感器相机:3D 场景中的图像质量分析

在本例中,我们介绍了一个仿真工作流程,用于在具有不同照明条件的特定环境中,从光学系统和CMOS成像器的组合中分析相机系统的图像质量。此示例主要涵盖整个工作流程中的Ansys Speos部分。该光学系统采用Ansys Zemax OpticStudio设计&#xff0…

三维力传感器

背景介绍 三维力传感器在现实生活中具有广泛的应用,例如:机器人关节传感元件,医疗设备以及智能制造装备等,调研可知,三维力传感器通过弹性体元件,把外力转换为结构的变形,进而通过应变片实现三维…

视觉传感器:3D感知算法

作者丨巫婆塔里的工程师知乎 来源丨https://zhuanlan.zhihu.com/p/426569335 编辑丨 一点人工一点智能 1 前言 之前的一篇文章介绍了基于视觉传感器的2D环境感知,包括2D物体检测和跟踪,2D场景语义分割。 但是,对于自动驾驶应用来说&#xff0…

3D 霍尔效应位置传感器原理解析

描述 在各种工业 4.0 应用中,通过 3D 位置检测进行实时控制的情况越来越多,从工业机器人、自动化系统到机器人真空和安防。3D 霍尔效应位置传感器无疑是这些应用的极好选择,因为这种传感器具有很高的重复性和可靠性,而且还可与门窗…

3D视觉基础(基本原理及3D传感器基本参数)

点击上方“3D视觉工坊”,选择“星标” 干货第一时间送达 来源:新机器视觉 本人所在行业属于3D视觉方向,因此最近也是学习了很多3D视觉的知识,这次专门总结一下。 传统工业机器视觉中,2D指的是X方向加Y方向,…

3D传感器的原理

在计算机视觉系统中,三维场景信息为图像分割、目标检测、物体跟踪等各类计算机视觉应用提供了更多的可能性,而深度图像(Depth map)作为一种普遍的三维场景信息表达方式得到了广泛的应用。深度图像的每个像素点的灰度值可用于表征场…

【综述】机器视觉中的3D传感器

点击上方“小白学视觉”,选择加"星标"或“置顶” 重磅干货,第一时间送达 近年来,机器视觉技术变得越来越复杂,工业领域的图像处理更多的专注于3D传感器,而且越来越多的技术已经完善并且投入到实际应用中&…

【3D视觉原理】2-3D传感器原理

文章目录 内容概要3D光学测量方法概述被动测距单目立体视觉(精度不高)聚焦法离焦法 双目立体视觉(精准)多目立体视觉(更精准) 主动测距结构光法光点法光条法光面法 飞行时间法(ToF)脉…

Xcode Cloud

一、使用Xcode Cloud 的要求 (1)开发者账户要求 已加入Apple Developer Program向xcode加入Apple IDApp Store Connect上有app 记录或者可以创建一个app记录 (2)Project和workspace要求 Project或者workspace使用Xcode项目使用…

使用Xcode13进行Swift开发2

使用Xcode13进行Swift开发2 1.应用功能1.1 UIScreen与systemName1.2 struct,ScrollView,padding,ForEach和创建列表1.3 GeometryReader1.4 list,combine 使用Xcode13进行Swift开发https://blog.csdn.net/gavinliu266/article/details/126407896 Monterey…

Xcode简明教程(使用Xcode编写C++语言程序)

Xcode 是由Apple官方开发的IDE,支持C、C++、Objective-C、Swift等,可以用来开发 Mac OS X 和 iOS 上的应用程序。Xcode使用LLVM/Clang作为编译器。 去App store下载Xcode,打开点击Command Line Tool,再选c++,完成。 在Xcode上运行C语言程序 在 Xcode 上运行C语言程序需…

Mac m1 使用Xcode配置OpenMp教程完善版

目录 安装brew安装llvm配置xcode添加libomp.dylib文件代码测试引用 安装brew 自己搜教程 安装llvm brew install llvm安装完成后使用 brew info llvm,复制保存安装路径(后续配置会用,路径用自己的) 下图中为:/opt/h…

Xcode下使用git

1.创建仓库 可以使用命令来创建,做法参考之前的文章git代码管理工具使用 也可以登录github,找到new repository,点击后进入创建页面输入标题helloworld,点击创建。 创建好后进入创建好的repository拷贝地址,我此处…