相机标定(Camera calibration)

简介

摄像机标定(Camera calibration)简单来说是从世界坐标系换到图像坐标系的过程，也就是求最终的投影矩阵 $P$ 的过程，下面相关的部分主要参考UIUC的计算机视觉的课件（网址Spring 2016 CS543 / ECE549 Computer vision）。

基本的坐标系：

世界坐标系(world coordinate system)；
相机坐标系(camera coordinate system)；
图像坐标系(image coordinate system)；

一般来说，标定的过程分为两个部分：

第一步是从世界坐标系转换为相机坐标系，这一步是三维点到三维点的转换，包括 $R$ ， $t$ （相机外参）等参数；
第二部是从相机坐标系转为图像坐标系，这一步是三维点到二维点的转换，包括 $K$ （相机内参）等参数；

相机坐标系转换到图像坐标系##

坐标系介绍

相机到图片

如上图所示（图片来自UIUC计算机视觉课件），是一个小孔成像的模型，其中：

$C$ 点表示camera centre，即相机的中心点，也是相机坐标系的中心点；
$Z$ 轴表示principal axis，即相机的主轴；
$p$ 点所在的平面表示image plane，即相机的像平面，也就是图片坐标系所在的二维平面；
$p$ 点表示principal point，即主点，主轴与像平面相交的点；
$C$ 点到 $p$ 点的距离，也就是右边图中的 $f$ 表示focal length，即相机的焦距；
像平面上的 $x$ 和 $y$ 坐标轴是与相机坐标系上的 $X$ 和 $Y$ 坐标轴互相平行的；
相机坐标系是以 $X$ ， $Y$ ， $Z$ （大写）三个轴组成的且原点在 $C$ 点，度量值为米（m）；
像平面坐标系是以 $x$ ， $y$ （小写）两个轴组成的且原点在 $p$ 点，度量值为米（m）；
图像坐标系一般指图片相对坐标系，在这里可以认为和像平面坐标系在一个平面上，不过原点是在图片的角上，而且度量值为像素的个数（pixel）；

相机转换到像平面

知道上面的简单知识后，如果知道相机坐标系中的一个点 $X$ （现实三维世界中的点），在像平面坐标系对应的点是 $x$ ，要求求从相机坐标系转为像平面坐标系的转换，也就是从 $X$ 点的 $\begin{pmatrix}X, & Y, & Z \end{pmatrix}$ 通过一定的转换变为 $x$ 点的$\begin{pmatrix}x, & y\end{pmatrix} $。注意：$ \begin{pmatrix}X, & Y, & Z \end{pmatrix} $（大写）是在相机坐标系，而$ \begin{pmatrix}x, & y\end{pmatrix} $（小写）是在像平面坐标系（还不是图像坐标系，原点不同。）观察第二个图，很简单的可以得到这个转换：
$x = f X / Z$ $y = f Y / Z$ $\begin{pmatrix} X, & Y, & Z \end{pmatrix} \mapsto \begin{pmatrix} fX/Z, & fY/Z \end{pmatrix}$

可以表示为矩阵计算为（在这里用的是齐次坐标的表示方式，关于齐次坐标文章最下面有介绍）：
$\begin{pmatrix} X \\ Y \\ Z \\ 1 \\ \end{pmatrix} \mapsto \begin{pmatrix} fX \\ fY\\ Z \\ \end{pmatrix} =\begin{bmatrix} f & & & 0 \\ & f & & 0 \\ & & 1 & 0 \\ \end{bmatrix} \begin{pmatrix} X \\ Y \\ Z \\ 1 \\ \end{pmatrix}$

可以简写为（ $P$ 就是所谓的投影矩阵，当然现在还不完整）：
$x = P X$

加入偏移量

通过上面，可以把相机坐标系转换到像平面坐标系，但是像平面坐标系和图像坐标系虽然在同一个平面上，但是原点并不是同一个，而目标是要转换到图像坐标系下，所以还需要一步操作，如下图：

这里写图片描述

如上图所示（图片来自UIUC计算机视觉课件），其中主点 $p$ 是像平面坐标系的原点，但在图像坐标系中的位置为$\begin{pmatrix}
p_x, & p_y
\end{pmatrix}
$，在这里，图形坐标系的原点是图片的左下角，所以可以得到：
$\begin{pmatrix} X, & Y, & Z \end{pmatrix} \mapsto \begin{pmatrix} fX/Z+p_x, & fY/Z+p_y \end{pmatrix}$

相当于在上面的基础上加了一个p点坐标的偏移量，同时可以表示为矩阵计算为（在这里用的是齐次坐标的表示方式）：
$\begin{pmatrix} X \\ Y \\ Z \\ 1 \\ \end{pmatrix} \mapsto \begin{pmatrix} fX+Zp_x \\ fY+Zp_y \\ Z \\ \end{pmatrix} =\begin{bmatrix} f & & p_x & 0 \\ & f & p_y & 0 \\ & & 1 & 0 \\ \end{bmatrix} \begin{pmatrix} X \\ Y \\ Z \\ 1 \\ \end{pmatrix}$

整理一下得：
$\begin{pmatrix} fX+Zp_x \\ fY+Zp_y \\ Z \\ \end{pmatrix} =\begin{bmatrix} f & & p_x \\ & f & p_y \\ & & 1 \\ \end{bmatrix} \begin{bmatrix} 1 & & & 0 \\ & 1 & & 0\\ & & 1 & 0\\ \end{bmatrix} \begin{pmatrix} X \\ Y \\ Z \\ 1 \\ \end{pmatrix}$

所以最后可以得到 $K$ ，也就是平时所说的相机内参（Intrinsic parameters）：
$K=\begin{bmatrix} f & & p_x \\ & f & p_y \\ & & 1 \\ \end{bmatrix}$
以及投影矩阵 $P$ （在这里可以认为旋转矩阵 $R$ 为单位矩阵 $I$ ，平移矩阵 $t$ 都为0，这也是为什么要拆成这种方式），为：
$P=K\left[ \begin{array}{c|c} I&0 \end{array} \right]$

像素坐标

前面也提到了在图像坐标系中用的不是现实生活中的m来度量，而是用的 pixel 的个数，所以在上面转换到图像坐标系中还有个问题，就是坐标的表示还是m，并没有转换到像素坐标系统；在这里需要引入一个新概念就是：

$m_x$ 表示在水平方向1m的长度包含的像素的个数；
$m_y$ 表示在竖直方向1m的长度包含的像素的个数；

可能有人奇怪为啥不是一个值，还需要分别指定 $m_x$ 和 $m_y$ 呀，这是因为通过上面可以得到一个像素点的大小（m度量）为：
$\frac{1}{m_x}\times\frac{1}{m_y}$

但是需要说明的是像素并不一定是一个正方形，有时候可能也是一个矩形，所以要分别指定。
所以可以把上面相机内参 $K$ 变为更新为，转换公式把 $K$ 替换即可，其他不变：
$K=\begin{bmatrix} m_x & & \\ & m_y & \\ & & 1 \\ \end{bmatrix} \begin{bmatrix} f & & p_x \\ & f & p_y \\ & & 1 \\ \end{bmatrix} =\begin{bmatrix} α_x & & β_x \\ & α_y & β_y \\ & & 1 \\ \end{bmatrix}$

一般来说，在使用相机内参K计算坐标系转换时，提供的都是已经变换后的值；例如会提供 $f_x$ ， $f_y$ ， $c_x$ ， $c_y$ 四个值代表相机内参 $K$ ，其实 $f_x$ 就是这里的 $α_x$ ，同理 $f_y$ 是 $α_y$ ， $c_x$ 是 $β_x$ ， $c_y$ 是 $β_y$ 。

世界坐标系转换到图像坐标系##

坐标系介绍

如上图所示（图片来自UIUC计算机视觉课件），从世界坐标系转换到相机坐标系是三维空间到三维空间的变换，一般来说需要一个平移操作和一个旋转操作就可以完成这个转换，用公式表示如下（可以理解为世界坐标系原点先平移到相机坐标系的位置然后在做一次坐标系旋转，使坐标轴对齐。）：
$\widetilde X_{cam}=R(\widetilde X - \widetilde C)$

$R$ 表示旋转矩阵；
$\widetilde X$ 表示 $X$ 点在世界坐标系中的位置；
$\widetilde C$ 表示相机原点 $C$ 在世界坐标系中的位置；
$\widetilde X_{cam}$ 表示 $X$ 点在相机坐标系中的位置；

世界转换到相机

根据上面的公式可以得到从一个三维点从世界坐标系转换到相机坐标的变换公式如下（也是用的齐次坐标的表示方式）：
$X_{cam}=\begin{pmatrix} \widetilde X_{cam} \\ 1 \\ \end{pmatrix} =\begin{bmatrix} R & -R \widetilde C \\ 0 & 1 \\ \end{bmatrix} \begin{pmatrix} \widetilde X \\ 1 \\ \end{pmatrix} =\begin{bmatrix} R & -R \widetilde C \\ 0 & 1 \\ \end{bmatrix}X$

世界转换到图像

根据上面的讨论知道了怎样从世界坐标系转换到相机坐标系（平移和旋转）以及从相机坐标系转换到图像坐标系（相机内参变换），所以带入上面的矩阵计算，可以得到：
$x=K\left[ \begin{array}{c|c} I&0 \end{array} \right]X_{cam} =K\left[ \begin{array}{c|c} R & -R \widetilde C \end{array} \right]X$

这样就得到了最终的投影矩阵 $P$ ：
$P=K\left[ \begin{array}{c|c} R & t \end{array} \right]$

其中：
$\widetilde C$

在这里， $K$ 一般称为相机内参（intrinsic parameters），描述了相机的内部参数，包括焦距 $f$ 、主点 $p$ 的位置、以及像素与真实环境的大小比例等，这个是固有属性，是提供好的； $R$ 和 $t$ 称为相机外参（extrinsic parameters）， $R$ 在这里是旋转矩阵，可以转换为三维的旋转向量，分别表示绕 $x$ ， $y$ ， $z$ 三个轴的旋转角度， $t$ 目前就是一个平移向量，分别表示在 $x$ ， $y$ ， $z$ 三个方向上的平移量。

畸变参数(`distortion parameters`)

在几何光学和阴极射线管(CRT)显示中，畸变（distortion）是对直线投影（rectilinear projection）的一种偏移。简单来说直线投影是场景内的一条直线投影到图片上也保持为一条直线。那畸变简单来说就是一条直线投影到图片上不能保持为一条直线了，这是一种光学畸变（optical aberration）。可能由于摄像机镜头的原因，这里不讨论，有兴趣的可以查阅光学畸变的相关的资料。
畸变一般可以分为两大类，包括径向畸变和切向畸变。主要的一般径向畸变有时也会有轻微的切向畸变。

径向畸变（`Radial distortion`）###

径向畸变的效应有三种，一种是桶形畸变（barrel distortion），另一种是枕形畸变（pincushion distortion），还有一种是两种的结合叫做胡子畸变（mustache distortion），从图片中可以很容易看出区别，具体见下图(图片来自wikipedia)：

径向畸变可以用如下公式修正：
$x_{corr}=x_{dis}(1+k_1r^2+k_2r^4+k_3r^6)$

$y_{corr}=y_{dis}(1+k_1r^2+k_2r^4+k_3r^6)$

切向畸变（`tangential distortion`）###

切向畸变是由于透镜与成像平面不严格的平行，其可以用如下公式修正：
$x_{corr}=x_{dis} + [2p_1xy+p_2(r^2+2x^2)]$

$y_{corr}=y_{dis} + [p_1(r^2+2y^2)+2p_2xy]$

其中：

$x_{dis}$ 和 $y_{dis}$ 表示有畸变的坐标；
$x_{corr}$ 和 $y_{corr}$ 表示修复后的坐标；
$k_1$ ， $k_2$ ， $k_3$ 表示径向畸变参数；
$p_1$ ， $p_2$ 表示切向畸变参数；

所以最终得到5个畸变参数：
$D=\begin{pmatrix} k_1, & k_2, & p_1, & p_2, & k_3 \end{pmatrix}$

相机标定

那么可以利用这些来进行最终的任务相机标定，简单的过程可以描述为通过标定板，如下图，可以得到n个对应的世界坐标三维点 $X_i$ 和对应的图像坐标二维点 $x_i$ ，这些三维点到二维点的转换都可以通过上面提到的相机内参 $K$ ，相机外参 $R$ 和 $t$ ，以及畸变参数 $D$ 经过一系列的矩阵变换得到。现在就用这些对应关系来求解这些相机参数。最后就是用线性方法求解方程式，这里就不做讨论了。

那为什么要做相机标定呢？
每个镜头的畸变程度各不相同，通过相机标定可以校正这种镜头畸变。其实可以认为用这种标定的方式来求解相机内参和畸变参数，相当于一种相机校准，然后这些参数就可以用于后面的求解。例如求解新拍的两幅图片相对的 $R$ 和 $t$ ，求解这个外参用到就是标定得到的相机内参和畸变参数。

齐次坐标
就是将一个原本是n维的向量用一个n+1维向量来表示。
许多图形应用涉及到几何变换，主要包括平移、旋转、缩放。以矩阵表达式来计算这些变换时，平移是矩阵相加，旋转和缩放则是矩阵相乘，综合起来可以表示为 $x = R * X + t$ （注：因为习惯的原因，实际使用时一般使用变化矩阵左乘向量）( $R$ 旋转缩放矩阵， $t$ 为平移矩阵， $X$ 为原向量， $x$ 为变换后的向量)。引入齐次坐标的目的主要是合并矩阵运算中的乘法和加法，表示为 $x = P * X$ 的形式。即它提供了用矩阵运算把二维、三维甚至高维空间中的一个点集从一个坐标系变换到另一个坐标系的有效方法。和上面的计算过程是对应的。