VIOSLAM 综述

article/2025/9/17 2:33:14

文章目录

      • 1.VIO 松耦合/紧耦合。
      • 2. 相机和IMU的缺点及互补性
      • 3. VIO融合算法流程及其模块分解:
      • 4. VIO 算法核心:
      • 5. 实验结果与总结:
      • 6. 参考文献:

1.VIO 松耦合/紧耦合。

Visual-Inertial Odometry（VIO）即视觉惯性里程计，有时也叫视觉惯性系统（VINS，visual-inertial system），是融合相机和IMU数据实现SLAM的算法，根据融合框架的不同又分为松耦合和紧耦合。
在这里插入图片描述
其中VO（visual odometry）指仅视觉的里程计，T表示位置和姿态。松耦合中视觉运动估计和惯导运动估计系统是两个独立的模块，将每个模块的输出结果进行融合。
在这里插入图片描述
紧耦合则是使用两个传感器的原始数据共同估计一组变量，传感器噪声也是相互影响的。紧耦合算法比较复杂，但充分利用了传感器数据，可以实现更好的效果，是目前研究的重点。

2. 相机和IMU的缺点及互补性

在这里插入图片描述
相机和IMU融合有很好的互补性。首先通过将IMU 估计的位姿序列和相机估计的位姿序列对齐可以估计出相机轨迹的真实尺度，而且IMU 可以很好地预测出图像帧的位姿以及上一时刻特征点在下帧图像的位置，提高特征跟踪算法匹配速度和应对快速旋转的算法鲁棒性，最后IMU 中加速度计提供的重力向量可以将估计的位置转为实际导航需要的世界坐标系中。

随着MEMS器件的快速发展，智能手机等移动终端可以便捷地获取IMU数据和摄像头拍摄数据，融合IMU 和视觉信息的VINS 算法可以很大程度地提高单目SLAM 算法性能，是一种低成本高性能的导航方案，在机器人、AR/VR 领域得到了很大的关注。

3. VIO融合算法流程及其模块分解:

在这里插入图片描述
整个流程图可以分解为五部分：数据预处理、初始化、局部非线性优化、回环检测和全局优化。

各个模块的主要作用是：

图像和IMU数据预处理：对于图像，提取特征点，利用KLT金字塔进行光流跟踪，为后面仅视觉初始化求解相机位姿做准备。对于IMU，将IMU数据进行预积分，得到当前时刻的位姿、速度、旋转角，同时计算在后端优化中将要用到的相邻帧间的预积分增量，及预积分的协方差矩阵和雅可比矩阵。

初始化：初始化中，首先进行仅视觉的初始化，解算出相机的相对位姿；然后再与IMU预积分进行对齐求解初始化参数。

局部非线性优化：对应流程图中滑动窗口的视觉惯导非线性优化，即将视觉约束、IMU约束放在一个大目标函数中进行优化，这里的局部优化也就是只优化当前帧及之前的n帧的窗口中的变量，局部非线性优化输出较为精确的位姿。

回环检测：回环检测是将前面检测的图像关键帧保存起来，当再回到原来经过的同一个地方，通过特征点的匹配关系，判断是否已经来过这里。前面提到的关键帧就是筛选出来的能够记下但又避免冗余的相机帧（关键帧的选择标准是当前帧和上一帧之间的位移超过一定阈值或匹配的特征点数小于一定阈值）。

全局优化：全局优化是在发生回环检测时，利用相机约束和IMU约束，再加上回环检测的约束，进行非线性优化。全局优化在局部优化的基础上进行，输出更为精确的位姿。

4. VIO 算法核心:

局部优化会用到边缘化，仅用局部优化精度低，全局一致性差，但是速度快，IMU利用率高；仅用全局优化精度高，全局一致性好，但是速度慢，IMU利用率低；两者侧重点不同，所以将两者结合，可以优势互补。

因此小编设计实验采用局部优化和全局优化融合的方法。
在这里插入图片描述
局部优化是滑动窗口内相机帧的优化，全局优化是所有关键帧的优化，两者结合会产生边缘帧冲突的问题，因为局部优化会固定滑动窗口边缘帧，而全局优化发生回环检测的时候则会固定回环起点的帧。这里的改进就是采用相对的位姿边缘化，即边缘化以后的点是相对于它上一时刻关键帧的位姿而不是全局的位姿，这样局部优化边缘化相对位姿（关键帧），扔给全局优化整体优化。局部边缘化和全局边缘化的结合部分是关键帧。

相对边缘化可以具体解释为，相对边缘化的参考坐标系不再是世界坐标系，而是与当前帧共视且距离最近的一个关键帧的相机系（设为第k0帧）。视觉约束可以表示为：
在这里插入图片描述

区别于绝对边缘化的视觉约束
在这里插入图片描述

5. 实验结果与总结:

实验一：无人机数据集上的实验

数据集采用了欧盟机器人挑战数据集（EuRoC）。EuRoC 数据集使用 Asctec Firefly 六旋翼飞行器在仓库和房间采集数据，数据集中包括以20Hz采集的相机图像和200Hz的IMU数据，以及运动真值。

实验结果如下：
在这里插入图片描述
实验结果可见，融合优化的轨迹和真实轨迹很接近，而仅使用局部优化的定位结果误差不断累积。
实验二：车载数据上的实验

该车载数据是在北京市朝阳区某小区采集的，在数据采集阶段，车辆以5km/h 到 30km/h 的速度行驶，一共行驶2271m。

实验结果如下：
在这里插入图片描述

6. 参考文献:

  1. J. Delmerico. A Benchmark Comparison of Monocular Visual-Inertial OdometryAlgorithms for Flying Robots. 2018. ICRA
  2. T. Qin. VINS-Mono: A robust and versatile monocular visual-inertial state estimator. arXivpreprint arXiv: 1708.03852, 2017.
  3. N. Trawny. Indirect KalmanFilter for 3D Attitude Estimation. 2005. Sola. Quaternion kinematics for error-state kalmanfilter. 2017.
  4. K. Eckenhoff. Decoupled, Consistent Node Removal and Edge sparsificationfor graph-based SLAM. 2016.
  5. G. Sibley. Sliding window filter with application to planetary landing. 2010.
  6. S. Leutenegger. Keyframe-Based Visual-Inertial SLAM Using Nonlinear Optimization. 2015.
  7. H. Liu. ICE-BA: Incremental, consistenand efficient bundle adjustment for visual-inertial slam. 2018. CVPR.
  8. H. Liu. Robust keyframe-based dense SLAM with an RGB-D camera. 2017.

http://chatgpt.dhexx.cn/article/Wqv28DM1.shtml

相关文章

VIO系统介绍

VIO系统介绍

VIO（visual-inertial odometry）即视觉惯性里程计，有时也叫视觉惯性系统（VINS，visual-inertial system），是融合相机和IMU数据实现SLAM的算法，根据融合框架的区别又分为紧耦合和松耦合…
阅读更多...
vivado VIO （virtual input output）虚拟IO的使用

vivado VIO （virtual input output）虚拟IO的使用

转自：https://blog.csdn.net/wordwarwordwar/article/details/77150930 一般情况下ILA和VIO都是用在chipscope上使用，VIO可以作为在chipscope时模拟IO。 譬如： 在使用chipscope时需要使用按键出发，但是没有设计按键或者板子不再身…
阅读更多...
【Vivado那些事儿】-VIO原理及应用

【Vivado那些事儿】-VIO原理及应用

虚拟输入输出（Virtual Input Output,VIO)核是一个可定制的IP核，它可用于实时监视和驱动内部FPGA的信号，如图所示。 可以定制VIO的输入和输出端口的数量与宽度，用于和FPGA设计进行连接。由于VIO核与被监视和驱动的设计同步&#xf…
阅读更多...
python logger.exception_Python logging设置和logger解析

python logger.exception_Python logging设置和logger解析

一、logging模块讲解 1.函数：logging.basicConfig() 参数讲解： (1)level代表高于或者等于这个值时，那么我们才会记录这条日志 (2)filename代表日志会写在这个文件之中，如果没有这个字段则会显示在控制台上 (3)format代表我们的日志显示的格式自定义，如果字段为空，那么默认…
阅读更多...
Logger 基本用法

Logger 基本用法

Logger 基本用法 简介 Simple, pretty and powerful logger for android 为Android提供的，简单、强大而且格式美观的工具 本质就是封装系统提供的Log类，加上一些分割线易于查找不同的Log；logcat中显示的信息可配置。最初的样子如下图 包含…
阅读更多...
【Logback】＜logger＞、＜root＞标签详解

【Logback】＜logger＞、＜root＞标签详解

文章目录 背景一、\<logger>使用1.1、使用示例1.1、属性配置说明 & 演示1.1.1、name1.1.2、level1.1.3、additivity1.1.3.1、效果演示&#xff1a;additivitytrue1.1.3.1、效果演示&#xff1a;additivity"false" 1.2 appender-ref 二、\<root>使用2…
阅读更多...
python之logger

python之logger

import logging import os.path import time def test_log():"""指定保存日志的文件路径&#xff0c;日志级别&#xff0c;以及调用文件将日志存入到指定的文件中:paramlogger:"""# 创建一个loggerlogger logging.getLogger()logger.setLevel(l…
阅读更多...
Python中logger日志模块详解

Python中logger日志模块详解

1 logging模块简介 logging模块是Python内置的标准模块&#xff0c;主要用于输出运行日志&#xff0c;可以设置输出日志的等级、日志保存路径、日志文件回滚等&#xff1b;相比print&#xff0c;具备如下优点&#xff1a; 可以通过设置不同的日志等级&#xff0c;在release版…
阅读更多...
logger：一款管理日志的Python神器

logger：一款管理日志的Python神器

最近要新开一个项目&#xff0c;需要配个 logger 来管理日志&#xff0c;今天分享一下&#xff0c;喜欢记得点赞、关注、收藏。 【注】文末提供交流互助群 import logging ori_logger logging.getLogger(custom_logger) ori_logger.setLevel(logging.INFO) ori_logger.addHa…
阅读更多...
Tensorboard + Logger 日志记录

Tensorboard + Logger 日志记录

在Pytorch 训练模型的时候&#xff0c;需要日志帮助开发者记录些重要信息和参数&#xff0c;以方便开发者更好的调节模型及参数&#xff0c;常见的日志非 Tensorboard不可&#xff0c;但是Pytorch 对 Tensorboard 的支持不是十分完美&#xff0c;在记录模型重要参数时 Tensorbo…
阅读更多...
深入理解 rootLogger、logLogger、qtLogger

深入理解 rootLogger、logLogger、qtLogger

作者： 一去、二三里个人微信号： iwaleon微信公众号： 高效程序员 在使用 Log4Qt 时，你会发现有一系列的 logger - rootLogger()、logLogger()、qtLogger()，简直傻傻分不清楚！ 为什么会有这么多 logger？ 各 logger 之间有什么关系？ 它们均适用于哪种场景？ 参考文档对这部…
阅读更多...
logger 报错

logger 报错

logger 报错&#xff1a;&#xff08;log4j 起不来&#xff0c;log message打不出来&#xff09; No appenders could be found for logger (com.vip.qa.android.base.DriverFactory). log4j:WARN Please initialize the log4j system properly. 原因&#xff1a; log4j.prop…
阅读更多...
java的logger_java.util.logging.Logger 使用详解

java的logger_java.util.logging.Logger 使用详解

概述： 第1部分 创建Logger对象 要使用J2SE的日志功能，首先要取得java.util.logging.Logger实例，这可以通过Logger类的两个静态getLogger()方法来取得： staticLogger getLogger(String name) 查找或创建一个logger。staticLogger getLogger(String name, String resourceBun…
阅读更多...
Logger日志使用教程

Logger日志使用教程

Java util Logger的使用步骤 Java util Logger是java原生的日志生成工具&#xff0c;不需要另外引用类库&#xff0c;使用方便&#xff0c;学习简单&#xff0c;能够在小型应用中灵活使用。下面从实际应用角度&#xff0c;对Logger的使用步骤作出总结&#xff0c;以实现快速掌握…
阅读更多...
Logger 日志管理

Logger 日志管理

转载请注明出处&#xff1a; http://blog.csdn.net/like_program/article/details/52986553 1.Logger 是什么 在我们日常的开发中&#xff0c;肯定是少不了要和 Log 打交道&#xff0c;回想一下我们是怎么使用 Log 的&#xff1a;先定义一个静态常量 TAG&#xff0c;TAG 的值通…
阅读更多...
【转】最详细的Log4J使用教程一、入门实例二、Log4J基本使用方法三、Spring中使用Log4J四、实战经验总结

【转】最详细的Log4J使用教程一、入门实例二、Log4J基本使用方法三、Spring中使用Log4J四、实战经验总结

原文地址&#xff1a;http://www.codeceo.com/article/log4j-usage.html 日志是应用软件中不可缺少的部分&#xff0c;Apache的开源项目log4j是一个功能强大的日志组件,提供方便的日志记录。在apache网站&#xff1a;jakarta.apache.org/log4j可以免费下载到Log4j最新版本的软…
阅读更多...
Logger打印日志

Logger打印日志

1. 一个最基本的例子 使用Logging框架写Log基本上就三个步骤 引入loggerg类和logger工厂类声明logger记录日志 下面看一个例子 // 1. 引入slf4j接口的Logger和LoggerFactory import org.slf4j.Logger; import org.slf4j.LoggerFactory; public class UserService { // 2. 声明…
阅读更多...
rename 批量修改文件名

rename 批量修改文件名

1.批量修改文件后缀&#xff1a; rename s/// *.nii rename s/\.nii/\.txt/ * #把.nii后缀改为.txt rename s/\.txt// * #把.txt后缀去掉 rename s/$/\.nii/ * #加上后缀.nii rename s//\.nii/ * #这样会把.nii放到文件名前面&#xff0c;导致文件被隐藏。 rename s/^/dm/ * #…
阅读更多...
Linux基本功系列之rename命令实战

Linux基本功系列之rename命令实战

文章目录 一. rename 命令介绍二. 语法格式及常用选项三. 参考案例3.1 将当前目录下所有.cfg的文件&#xff0c;替换为.txt结尾3.2 将所有出现mufeng的部分都替换为mufeng13.3 将mufeng0开头都变成mufeng00开头3.4 rename支持正则表示式 总结 前言&#x1f680;&#x1f680;&a…
阅读更多...
VS项目rename

VS项目rename

Visual Studio c项目更改相关文件名字 项目里面文件夹 Rename 右键 .sln文件, 打开方式–> txt方式打开编辑找到里面project的文件夹名字, Rename. 然后到资源管理器里, 找到对应的folder, Rename. .vcxproj相关文件 Rename 相关文件Rename .sln文件, txt打开–>Ren…
阅读更多...
推荐文章

Copyright @ 2022~2023