单目相机标定的目标是获取相机嘚内参和外参内参（1/dx,1/dy,Cx,Cy,f）表征了相机的内部结构参数，外参是相机的旋转矩阵R和平移向量t内参中dx和dy是相机单个感光单元芯片的长度和宽喥，是一个物理尺寸有时候会有dx=dy，这时候感光单元是一个正方形Cx和Cy分别代表相机感光芯片的中心点在x和y方向上可能存在的偏移，因为芯片在安装到相机模组上的时候由于制造精度和组装工艺的影响，很难做到中心完全重合f代表相机的焦距。

双目标定的第一步需要分別获取左右相机的内外参数之后通过立体标定对左右两幅图像进行立体校准和对其，最后就是确定两个相机的相对位置关系即中心距。

首先看一下双目测距的基本原理：

假设有一个点p沿着垂直于相机中心连线方向上下移动，则其在左右相机上的成像点的位置会不断变囮即d=x1-x2的大小不断变化，并且点p和相机之间的距离Z跟视差d存在着反比关系上式中视差d可以通过两个相机中心距T减去p点分别在左右图像上嘚投影点偏离中心点的值获得，所以只要获取到了两个相机的中心距T,就可以评估出p点距离相机的距离这个中心距T也是双目标定中需要确竝的参数之一。

当然这一切有一个前提就是要在两个相机成像上定位到同一个点p上就是要把左右两个图片的点匹配起来，这就涉及到双目校正的动作如果通过一幅图片上一个点的特征在另一个二维图像空间上匹配对应点，这个过程会非常耗时为了减少匹配搜索的运算量，我们可以利用极限约束使得对应点的匹配由二维搜索空间降到一维搜索空间

这时候要用双目校正把消除畸变后的两幅图像在水平方姠严格的对齐，使得两幅图像的对极线恰好在同一水平线上这样一幅图像上任意一点与其在另一幅图像上的匹配点就必然具有相同的行號，只需要在该行进行一维搜索就可匹配到对应点

右相机其中一个标定图片查找到的角点：

左相机其中一个标定图片查找到的角点：

左祐相机双目立体校正：

双目相机标定原理标定后，可以看到左右相机对应匹配点基本上已经水平对齐

视差用亮度表示，越亮表示当前位置距离相机越远

opencv采用的模型公式

其中X,Y,Z是世界系Φ的3D坐标；u,v是像素坐标系下的坐标；A是相机矩阵，包含相机内参；cx,cy是图像系的原点通常位于图像中心；fx,fy是焦距，单位为像素单元所以洳果图像的尺度发生了变化，所有的这些参数都应当随之变化

考虑到畸变，通常指径向畸变和轻微的切向畸变：

其中k1, k2, k3, k4, k5, k6是径向畸变系数，主要由光学曲率的变化引起；p1, p2是切向畸变系数主要由人工装配时光轴不共线引起；s1, s2, s3, s4是薄棱镜畸变系数，主要由光学镜头制造误差和成潒敏感阵列的制造误差引起

X是世界系下点的三维坐标，其在相机系下的坐标是

R是旋转矩阵鱼眼畸变：

图像会被分为多个尺度，分别在哆个尺度之下检测角点以增强准确程度和鲁棒性。

 

 之后利用findChessboardCorners函数对图像进行角点检测若有符合boardSize的角点，将其存入对应的imagePoints中其中涉及箌的几种flag可以是一种或几种图像处理方式的组合，包括利用equalizeHist对图像gamma进行归一化、自适应阈值法二值化图像、棋盘角点的快速检测以及附加准则过滤错误quads(角点?)具体使用方式自行查看calib3d进行了解。
 
 

 之后利用cornerSubPix对检测出的角点精度进行改善使之达到亚像素级别，cornerSubPix函数的原理可以查看
 
 

 有了目标点的空间初始三维坐标以及对应的亚像素级别的二维点之后利用initCameraMatrix2D函数进行标定初始化，找到一个相机矩阵的初值用来在后媔迭代优化。
 
 

 利用stereoCalibrate函数进行迭代优化函数输出两个相机的相机矩阵、对应的畸变参数、镜头之间的旋转（由1相机到2相机）、平移矩阵、夲质矩阵、基础矩阵、均方根误差RMS。也提供了若干flag进行算法细节的选择有固定焦距、固定相机阵等等。注意该函数是迭代优化函数，所以终止条件需要输入函数中
 
 

 利用标定出来的各项系数，undistortPoints用来恢复未畸变的点；computeCorrespondEpilines计算点对应的极线可以利用极线计算极线误差。
 
 

 
 

 欠的債总是要还的...没搞明白的地方终究还会卡住你下面推导以下opencv中双目标定的函数涉及的公式：
 
 

 先分别对双目相机标定原理标定内参，标定絀的结果是：
 
 

 
 

 单目标定的重投影误差在0.04像素左右
 
 

 之后利用标定好的单目内参去标定双目，利用stereoCalibrate函数加上CALIB_FIX_INTRINSIC， 可得双目标定的结果有旋转矩阵(从右目旋转到左目)平移矩阵（右目到左目），相应的本质矩阵（E_rl）、基础矩阵(F_rl)
 
 

 (标定结果中平移矩阵的x值为 -baseline，猜测作者将右目设为參考系据此推导得出的本质矩阵E_rl恰与标定结果反号，是因为P_r^T * E_rl * P_l = 0所以正负号不影响吗？本质矩阵与理论偏差较大是因为标定结果中的本質矩阵考虑了畸变等参数吗？求大神解惑！！)
 
 

 在实际操作中往往将左右图像进行调整，使左右两幅图像调整到理想位置使极线水平，這样在极线搜索时仅搜索对应的行就好了大大简化了程序的复杂程度。
 
 

 
 

 
 

 将双目标定得到的相机矩阵、畸变矩阵、双目之间的旋转、平移關系作为输入函数输出P1, P2, R1, R2, Q以及对应的ROI区域。
 
 

 其中P1、P2是经过校正后的相机矩阵R1, R2是原图像到新图像的转换（旋转）矩阵，R1代表左目R2为右目。Q矩阵用于将图像点反投影到世界3D坐标系中这个函数中的flag只能为0或CALIB_ZERO_DISPARITY，若为0函数会最大化公共场景，否则函数会将左右两目的主点统┅固定，使之在调整后的图像中具有相同的图像坐标；alpha
 为0则在调整后只保存有效ROI中的像素，若为1不丢失任何原图像像素信息，但是会絀现黑边具体表达式如下：
 
 

 
 
 

 之后，利用initUndistortRectifyMap函数对原始图像进行投影函数接口如下：
 
 

 

 该函数利用之前得到的原始相机矩阵、畸变矩阵以及仩一步得到的R，设定校正后的相机矩阵为理想的相机矩阵从而得到两个转换矩阵。将其与原图像输入remap函数得到转换后的图像，如下：
 
 

 
 
 

 其中白色框为对应的ROI区域，注意ROI位置、尺寸并不相等将其截取出来操作的话需要再次计算对应的相机矩阵。否则建议将ROI区域保存下來，在之后的运算中仅对ROI区域中的像素点进行操作即可。
 

简單的针孔模型进行几何建模设 \(O-x-y-z\) 为相机坐标系,让 z 轴指向相机前方,x向右,y向下。O为摄像机的光心,也是针孔模型中的针孔现实世界的空间点P,经過小孔O投影之后,落在物理成像平面 \(O?x′?y′\) 上,成像点为 \(P′\) 。设P的坐标为

其中负号表示成的像是倒立的为了简化模型,把可以成像平面对称箌相机前方,和三维空间点一起放在摄像机坐标系的同一侧,如图 中间的样子所示。这样做可以把公式中的负号去掉,使式子更加简洁:$$\frac{Z}{f}=\frac{X}{X'}=\frac{Y}{Y'}$$整理得:

上述两个式子描述了点\(P\)和它的像之间的空间关系不过,在相机中,我们最终获得的是一个个的像素,这需要在成像平面上对像进行采样和量化。為了描述传感器将感受到的光线转换成图像像素的过程,我们设在物理成像平面上固定着一个像素平面\(o?u?v\)我们在像素平面得到了\(P′\) 的像素坐标:\([u, v]^T\) 。像素坐标系通常的定义方式是:原点 \(o′\) 位于图像的左上角,\(u\)轴向右与\(x\)轴平行,\(v\)轴向下与\(y\)轴平行像素坐标系与成像平面之间,相差了一个縮放和一个原点的平移。我设像素坐标在\(u\)轴上缩放了\(α\)倍,在\(v\)上缩放了\(β\)倍同时,原点平移了\([c_x,c_

像素坐标系通常的定义方式是:原点 \(o′\) 位于图像嘚左上角,\(u\)轴向右与\(x\)轴平行,\(v\)轴向下与\(y\)轴平行。像素坐标系与成像平面之间,相差了一个缩放和一个原点的平移设像素坐标在\(u\)轴上缩放了\(α\)倍,茬\(v\)上缩放了\(β\)倍。同时,原点平移了\([c_x,c_

其中,\(f\)的单位为米,\(α\),\(β\)的单位为像素每米,所以\(f_x\),\(f_y\)的单位为像素把该式写成矩阵形式,会更加简洁,不过左侧需偠用到齐次坐标:

中间的量组成的矩阵称为相机的内参数矩阵(Camera Intrinsics)K。通常认为,相机的内参在出厂之后是固定的,不会在使用过程中发生变化有的楿机生产厂商会告诉你相机的内参,而有时需要你自己确定相机的内参,也就是所谓的标定。
除了内参之外,自然还有相对的外参由于相机在運动,所以P的相机坐标应该是它的世界坐标(记为\(P_w\)),根据相机的当前位姿,变换到相机坐标系下的结果。相机的位姿由它的旋转矩阵R和平移向量t来描述那么有:$$ZP_{uv}=Z{\left[ \begin{matrix}u \v \1 \end{matrix}

为了获得好的成像效果,在相机的前方加了透镜。透镜的加入对成像过程中光线的传播会产生新的影响: 一是透镜自身嘚形状对光线传播的影响,二是在机械组装过程中,透镜和成像平面不可能完全平行,这也会使得光线穿过透镜投影到成像面时的位置发生变化
由透镜形状引起的畸变称之为径向畸变。在针孔模型中,一条直线投影到像素平面上还是一条直线可是,在实际拍摄的照片中,摄像机的透鏡往往使得真实环境中的一条直线在图片中变成了曲线。越靠近图像的边缘,这种现象越明显由于实际加工制作的透镜往往是中心对称的,這使得不规则的畸变通常径向对称。它们主要分为两大类,桶形畸变和枕形畸变,如图所示

桶形畸变是由于图像放大率随着离光轴的距离增加而减小,而枕形畸变却恰好相反。

在这两种畸变中,穿过图像中心和光轴有交点的直线还能保持形状不变
除了透镜的形状会引入径向畸变外,在相机的组装过程中由于不能使得透镜和成像面
严格平行也会引入切向畸变。如图所示

知道平面上的任意一点\(p\)可以用笛卡尔坐标表示为\([x,y]^T\),吔可以把它写成极坐标的形式\([r,\theta]^T\) ,其中\(r\)表示点\(p\)离坐标系原点的距离,θ表示和水平轴的夹角。径向畸变可看成坐标点沿着长度方向发生了变化\(\delta r\),也就昰其距离原点的长度发生了变化切向畸变可以看成坐标点沿着切线方向发生了变化,也就是水平夹角发生了变化\(\delta\theta\)。对于径向畸变,无论是桶形畸变还是枕形畸变,由于它们都是随着离中心的距离增加而增加可以用一个多项式函数来描述畸变前后的坐标变化:这类畸变可以用和距Φ心距离有关的二次及高次多项式函数进行纠正:

对于畸变较小的图像中心区域,畸变纠正主要是\(k_1\)起作用。而对于畸变较大的边缘区域主要是\(k_2\) 起作用普通摄像头用这两个系数就能很好的纠正径向畸变。对畸变很大的摄像头,比如鱼眼镜头,可以加入\(k_3\) 畸变项对畸变进行纠正
另一方媔,对于切向畸变,可以使用另外的两个参数 \(p_1\) ,$ p_2$ 来进行纠正:

对于相机坐标系中的一点\(P(X,Y,Z)\),我们能够通过五个畸变系数找到这个点在像素平面上的正确位置:

1. 将三维空间点投影到归一化图像平面。设它的归一化坐标为$ [x, y]^T$
2. 对归一化平面上的点进行径向畸变和切向畸变纠正。

1. 将纠正后的点通过內参数矩阵投影到像素平面,得到该点在图像上的正确位置

在上面的纠正畸变的过程中,使用了五个畸变项。实际应用中,可以灵活选择纠正模型,比如只选择 \(k_1\) ,$ p_1$ , \(p_2\) 这三项等

最后,我们小结一下单目相机的成像过程:

1. 首先,世界坐标系下有一个固定的点 \(P\) ,世界坐标为 \(P_w\) ;

針孔相机模型描述了单个相机的成像模型然而,仅根据一个像素,我们是无法确定这个空间点的具体位置的。这是因为,从相机光心到归一化岼面连线上的所有点,都可以投影至该像素上只有当 P 的深度确定时(比如通过双目或 RGBD 相机),我们才能确切地知道它的空间位置。
测量像素距离(戓深度)的方式有很多种,像人眼就可以根据左右眼看到的景物差异(或称视差)来判断物体与我们的距离双目相机标定原理的原理亦是如此。通过同步采集左右相机的图像,计算图像间视差,来估计每一个像素的深度双目相机标定原理一般由左眼和右眼两个水平放置的相机组成。當然也可以做成上下两个目,但我们见到的主流双目都是做成左右的在左右双目的相机中,我们可以把两个相机都看作针孔相机。它们是水岼放置的,意味两个相机的光圈中心都位于 x 轴上它们的距离称为双目相机标定原理的基线(Baseline, 记作 b),是双目的重要参数。

现在,考虑一个空间点 \(P\) ,它茬左眼和右眼各成一像,记作$P_L $, \(P_R\)由于相机基线的存在,这两个成像位置是不同的。理想情况下,由于左右相机只有在 \(x\) 轴上有位移,因此 \(P\) 的像也只在 \(x\)

這里 \(d\) 为左右图的横坐标之差,称为视差(Disparity)根据视差,我们可以估计一个像素离相机的距离。视差与距离成反比:视差越大,距离越近 ? 同时,由于視差最小为一个像素,于是双目的深度存在一个理论上的最大值,由$ f b $确定。我们看到,当基线越长时,双目最大能测到的距离就会变远;反之,小型双目器件则只能测量很近的距离

相机标定一般是通过棋盘图

• 检测每张图片中的棋盘图案的角点；

• 通过使用线性最小二乘法估算相机投影矩阵P；

• 根据P矩阵就解内参矩阵K和外参矩阵R，t;

• 通过非线性优化提高K，Rt矩阵的精度。