SFM问题简介

article/2025/10/15 18:39:59

最近在学习opencv的知识，遇到的一些知识点和理解记录下来，由于还是小白，有所不对的地方，大家一起交流沟通
Structure from motion，简称为SFM，是单目相机在物体周围不同的角度拍摄不同的图片，而相机的内参外参数可以使用张正友的标定方法获取，点云的获取还是在不同的图像之间进行匹配获得。需要注意的是此时获取的点云是稀疏点云，此时采用的方法是SIFT特征点匹配的方法，在实际的操作过程中，发现哦pencv4.0.0已经删除了#include<opencv2\nonfree\nonfree.hpp>、#include<opencv2\legacy\legacy.hpp>这两个模块，要配置需要安装opencv4.0.0 对应的opencv_contrib版本，此部分可以参考博文：opencv4.0.0 +opencv_contrib在vs2015下编译：win10 调用SIFT特征检测

一.小孔成像
世界中的一个点经过小孔在图像平面上会形成一个倒立缩小的像。这就形成了几何相似三角形关系。如果我们把成像平面放到前面来，就是正立缩小的像。具体的焦距、图像片面，相机中心什么就不赘述了。右下角公式表示通过一个相似性可以建立图像坐标系和世界坐标系的关系。
小孔成像
接下来存在一个坐标系之间的变换问题，张正友在2000年的文章中讲的很清楚，这里就不再累述，给出最后的像素坐标和世界坐标系之间的变换过程
相机成像模型
像素坐标和世界坐标的转换
在相机已经标定好的情况下，就可以开始SFM处理，总体上可以分为
二.SFM处理流程

1.特征点检测和匹配
特征点的检测用的是SIFT，匹配则是根据L2范数距离小、比值约束等来匹配。
SIFT的特征检测分为以下几个步骤：
a.建立高斯金字塔
b.关键点确定
b1.阈值化
b2.在高斯金字塔中找极值
b3.调制极值点的位置，也可以叫精提取极值点，主要采用泰勒展开，在二阶导数为零的位置为极值点
b4.舍去对比度低的点，这里是去掉边界上的一些点
c.关键点的方向
采用权值加权的方向，考虑到周围像素离中心像素的距离，给每个像素点一个权值，类似于但区别于HOG算子。
d.构建关键点的描述符
匹配基于关键点的描述符
2.外极几何图构造
求解本质矩阵E
3.相机位姿和场景结构估计
2D-2D的估计，分别采用增量式、全局式、混合式的估计
4.BA优化相机位姿和场景

//欢迎大神交流指导

参考来源：
Structure from motion简介：https://blog.csdn.net/Mahabharata_/article/details/70799695
SIFT算法详解：https://blog.csdn.net/zddblog/article/details/7521424
基于图像的大规模场景三维重建(上)：https://www.leiphone.com/news/201711/9dxX6g30dlEoqvPZ.html
基于图像的大规模场景三维重建(下)：https://www.leiphone.com/news/201711/s6CHNAyjurPPyKiz.html
SIFT算法的教程、源代码及应用软件
1、ubc:DAVID LOWE—SIFT算法的创始人，两篇巨经典
http://www.cs.ubc.ca/~lowe/
2、cmu:YanKe—PCASIFT,总结的SIFT方面的文章
http://www.andrew.cmu.edu/user/yke/
3、ubc:M.BROWN—SIFT算法用于图像拼接的经典应用autopano-sift。包含一个SIFTLIB库
http://www.cs.ubc.ca/~mbrown/autostitch/autostitch.html
http://www.cs.ubc.ca/~mbrown/panorama/panorama.html
4、toronto:Jepson—Matlab SIFT tutorial, 超级超级超级经典~
http://www.cs.toronto.edu/~jepson/csc2503/
5、ucla:Vedaldi—加州大学一个博士生编的Matlab SIFT tutorial
http://www.cs.ucla.edu/~vedaldi/
6.http://en.wikipedia.org/wiki/Scale-inva … _transform
7. 大牛整理的计算机视觉分类
http://www.cs.ubc.ca/~lowe/vision.html
8. http://note.sonots.com/SciSoftware/SIFT.html
9.提到了计算变换矩阵的RANSAC法
http://web.engr.oregonstate.edu/~hess/index.html
10. 仿射不变特征点检測。提到了性能评价的方法
http://www.robots.ox.ac.uk/~vgg/research/affine/
11. 一个日本人，挺牛的
http://note.sonots.com/
12. PCA-SIFT
http://www.cs.cmu.edu/~yke/pcasift/
13 opencv sift
http://web.engr.oregonstate.edu/~hess/index.html
14 matlab sift
http://www.vlfeat.org/~vedaldi/code/sift.html
http://www.vlfeat.org/overview/sift.html
15 Improve Scale Invariant Feature Transform (SIFT) 斯坦福
http://robots.stanford.edu/cs223b04/project9.html
16 Known implementations of SIFT mit