自转： http://www.elecfans.com/d/863829.html
双目立体视觉在百度百科的说明中，双目立体视觉是机器视觉的重要形式，是一种基于视差原理利用摄像装置从不同位置获取被测量物体的两个图像，并通过计算图像对应点之间的错位来获取物体的三维几何信息的方法
一.视差分布和深度图
说到双目视觉，必须举出视差图。 通过观察双目立体视觉融合双眼所得到的图像及其差异，可以获得清晰的深度感。 建立特征之间的对应关系，将不同图像中同一空间上物理点的映射点对应起来。 我们将这种差异称为视差图像。
关于视差的理解，将手指放在远离眼睛的位置，左右眼交替睁开或闭上，根据距离的不同，手指的位置也不同，视觉差异也不同，可以看出距离越近，视差越大。
说到视差图，有深度图。 深度贴图(也称为距离图像)是一个以从图像收集器到场景中每个点的距离(深度)值为像素值的图像。 获取方法有激光雷达深度成像法、计算机立体视觉成像、坐标测量机法、漂亮的冰淇淋条纹法、结构光法。
在此引申出深度图和点云的区别，点云在一束激光照射到物体表面时，反射的激光会携带方位、距离等信息。 当沿着某种轨迹扫描激光束时，反射的激光光斑信息一边扫描一边被记录，当非常细地扫描时，得到大量的激光光斑，因此能够形成激光光斑云。
深度图像可以通过坐标变换作为点云数据计算； 具有规则和所需信息的点云数据可以反算为深度图像。 两者可以在一定的条件下相互转换。 在以前的博客中，您曾使用PCL库实现点云提取深度贴图。 当然，也可以提供相机参数，以将深度贴图转换为点云。 深度贴图屏幕快照：
所以深度和视差的关系如下
例如，绝对差分法的绝对差分图的计算方法如下。
D=|L-R|
表达式中，l、r和d分别表示左视图、右视图和相应差分绝对值贴图的亮度值。 绝对差图虽然不是严格意义上的视差图，但计算方法最简单，速度快，其结果可供参考
我知道视差还有另一个概念。 是紫外线辐射映射。 简单地表示图。
我们是怎么得到这个结果的呢？ 原本是统计了视差的个数，例如V-disparityMap的第一行分别统计了视差为0、1、2、3、4、5，所以V-disparityMap的第一行分别为
在0、2、0、1、1、1、中，在实际照片中对其进行喜爱的结果如下。
那么可以利用视差创造很多有用的功能。 例如，列举文章
uvdisparitybasedobstacledetectionandpedestrianclassificationinurbantrafficscenarios
二雷耶斯
ckdlr是连接图像上的点和光的中心的线。 这也是之后对极约束的基础。
建立世界坐标系后，我们的两个ckdlrs会相交。 如下图所示，接着利用ckdlrs的交叉关系，说明对极几何(Epipolargeometry )。
上图显示极几何描述了两个视图之间的内部投影关系，并且仅依赖于摄像机内参数和这两种尝试之间的相对姿态，而与外部场景无关。
这些概念包括
1 .基线(基线) :直线Oc-Oc ‘为基线。
2 .极平面束(epipolarpencil ) :以基线为轴的平面束。
3 .极平面(epipolarplane ) :包括基线在内的所有平面都称为极平面。
4 .对极(epipole ) :相机基线与每个图像的交点。 例如，上图中的点e和e ‘。
5 .极线(epipolarline ) :极平面和图像的交线。 例如，上图中的直线l和l ‘。
6.5点同一面：点x、x ‘、照相机中心ococ ‘、空间点x为5点同一面.
7 .极线约束：两极线上点的对应关系。
说明：
直线l是对应于点x’的极线，而直线l’是对应于点x的极线。 极线约束是指x’一定在对应于x的极线l’上，点x一定在对应于x’的极线l上。
根据以上原理可以得到基础矩阵f和本质矩阵e等，网络上有很多资料
在这里直接贴上推导公式就好了
本质矩阵e的基本性质：秩为2，只依赖外部参数r和t。 其中，p表示世界坐标点矢量，p表示像素点矢量
基础矩阵求解方法：因为本质矩阵e不包含相机内参数信息，e朝向相机坐标系。 实际上，我对研究像素坐标系——像素点的另一侧视图中的对偶线很感兴趣。 因此，必须使用相机内参数信息将相机坐标系与像素坐标系相关联。 将Pl和Pr设为世界坐标值，将对应的像素坐标值设为Ql和Qr
照相机内参矩阵是m，那么
根据
那么…
打开基础矩阵
p>
那么
也就是我们在下图的第一幅图找到一个特征点，通过以上対极几何的知识推导出，该点在第二幅图位于图喜的哪个位置
举个例子，比如kinect
无论是双目还是kinect都是类似的原理
f=Focallength
b=Baseline
d=Disparityvalue
ps=Pixelsize
D=Depth
Focallength
Baseline
Pixelsize
Disparity
备注：
（Pixelsize）像素大小是图像传感器中单个像素的大小。像素大小用微米表示。由于立体视觉系统使用两个摄像机，图像传感器的像素大小必须相同。随着像素尺寸的减小，系统的深度范围增大。
（Disparityvalue）视差是指在两个摄像机图像之间的像素位置的差异。假设立体视觉相机中的左图像在位置(1,30)具有像素，并且相同的像素在右图像中的位置(4,30)存在，视差值或差值为(4-1)=3。视差值与上述公式的深度成反比。