机器视觉之双目立体视觉测量系统应用

玻璃之情

双目立体视觉是计算机视觉的一个重要分支，即由不同位置的两台或者一台摄像机（CCD）经过移动或旋转拍摄同一幅场景，通过计算空间点在两幅图像中的视差，获得该点的三维坐标值。采用高精度的标定模板、完善的摄像机标定数学模型，并对标靶特征点进行子像素检测，保证系统的标定精度。
    该系统能够对视场范围内的标靶进行自动识别定位，可在复杂的背景环境下实现系统的现场标定，操作方便快捷。系统对运动体上特征点进行实时检测，通过左右图像中特征点的图像坐标，和双目测量原理，实现特征点的三维空间坐标的测量。通过对运动体上特征点的识别定位并对数据进行分析进一步获取运动体的位置三维坐标、姿态、特征点之间的相对距离。
    80年代美国麻省理工学院人工智能实验室的Marr提出了一种视觉计算理论并应用在双睛匹配上，使两张有视差的平面图产生在深度的立体图形，奠定了双目立体视觉发展理论基础。相比其他类的立体视觉测量、跟踪方法，如透镜板三维成像、投影式三维显示、全息照相术等，立体视觉测量、跟踪方法直接模拟人类双眼处理景物的方式，可靠简便，在许多领域均极具应用价值，如微操作系统的位姿检测与控制、机器人导航与航测、三维测量学及虚拟现实等。
    双目立体视觉测量系统主要功能有：现场系统标定；空间特征点距离三维测量；空间物体位置三维测量；空间运动体姿态的三维测量；特征点的自动识别定位。
    系统主要技术特点：操作界面清晰明了，简单易行，只需简单设定即可自动执行测量；
    测量软件及算法完全自主开发，系统针对性强；可灵活设置测量模板、测量范围；安装简单，结构紧凑，易于操作、维护和扩充；可靠性高，运行稳定，适合各种现场运行条件。基于PC平台，系统可扩充性强，基于机器视觉软件平台可扩展其它功能。
    双目标立体视觉技术的实现可分为以下步骤：图像获取、摄像机标定、特征提取、图像匹配和三维重建，下面依次介绍各个步骤的实现方法和技术特点。
    1、 图像获取
    双目立体视觉的图像获取是由不同位置的两台或者一台（CCD）摄像机经过移动或旋转拍摄同一幅场景，获取立体图像对。假定摄像机C1与C2的角距和内部参数都相等，两摄像机的光轴互相平行，二维成像平面X1O1Y1和X2O2Y2重合，P1与P2分别是空间点P在C1与C2上的成像点。但一般情况下，针孔模型两个摄像机的内部参数不可能完成相同，摄像机安装时无法看到光轴和成像平面，故实际中难以应用。
    2、摄像机的标定
    对双目立体视觉而言，CCD摄像机、数码相机是利用计算机技术对物理世界进行重建前的基本测量工具，对它们的标定是实现立体视觉基本而又关键的一步。通常先采用单摄像机的标定方法，分别得到两个摄像机的内、外参数；再通过同一世界坐标中的一组定标点来建立两个摄像机之间的位置关系。目前常用的单摄像机标定方法主要有：
    （1）摄影测量学的传统设备标定法。利用至少17个参数描述摄像机与三维物体空间的结束关系，计算量非常大。
    （2）直接线性变换性。涉及的参数少、便于计算。
    （3）透视变换短阵法。从透视变换的角度来建立摄像机的成像模型，无需初始值，可进行实时计算。
    （4）相机标定的两步法。首先采用透视短阵变换的方法求解线性系统的摄像机参数，再以求得的参数为初始值，考虑畸变因素，利用最优化方法求得非线性解，标定精度较高。
    （5）双平面标定法。
    在双摄像机标定中，需要精确的外部参数。由于结构配置很难准确，两个摄像机的距离和视角受到限制，一般都需要至少6个以上（建议取10个以上）的已知世界坐标点，才能得到比较满意的参数矩阵，所以实际测量过程不但复杂，而且效果并不一定理想，大大地限制了其应用范围。此外双摄像机标定还需考虑镜头的非线性校正、测量范围和精度的问题，目前户外的应用还有少。
    3、特征点提取
    立体像对中需要撮的特征点应满足以下要求：与传感器类型及抽取特征所用技术等相适应；具有足够的鲁棒性和一致性。需要说明的是：在进行特征点像的坐标提取前，需对获取的图像进行预处理。因为在图像获取过程中，存在一系列的噪声源，通过此处理可显著改进图像质量，使图像中特征点更加突出。
    4、 立体匹配
    立体匹配是双目立体视觉中最关系、困难的一步。与普通的图像配准不同，立体像对之间的差异是由摄像时观察点的不同引起的，而不是由其它如景物本身的变化、运动所引起的。根据匹配基元的不同，立体匹配可分为区域匹配、特征匹配和相位匹配三大类。
    区域匹配算法的实质是利用局部窗口之间灰度信息的相关程度，它在变化平缓且细节丰富的地方可以达到较高的精度。但该算法的匹配窗大小难以选择，通常借助于窗口形状技术来改善视差不连续处的匹配；其次是计算量大、速度慢，采取由粗至精分级匹配策略能大大减少搜索空间的大小，与匹配窗大小无关的互相关运算能显著提高运算速度。
    特征匹配不直接依赖于灰度，具有较强的抗干扰性，计算量小，速度快。但也同样存一些不足：特征在图像中的稀疏性决定特征匹配只能得到稀疏的视差场；特征的撮和定位过程直接影响匹配结果的精确度。改善办法是将特征匹配的鲁棒性和区域匹配的致密性充分结合，利用对高频噪声不敏感的模型来提取和定位特征。
    相位匹配是近二十年才发展起来的一类匹配算法。相位作为匹配基元，本身反映信号的结构信息，对图像的高频噪声有很好的抑制作用，适于并行处理，能获得亚像素级精度的致密视差。但存在相位奇点和相位卷绕的问题，需加入自适应滤波器解决。
    5、 三维重建
    在得到空间任一点在两个图像中的对应坐标和两摄像机参数矩阵的条件下，即可进行空间点的重建。通过建立以该点的世界坐标为未知数的4个线性方程，可以用最小二乘法求解得该点的世界坐标。实际重建通常采用外极线结束法。空间眯、两摄像机的光心这三点组成的平面分别与两个成像平面的交线称为该空间点在这两个成像平面中的极线。一旦两摄像机的内外参数确定，就可通过两个成像平面上的极线的约束关系建立对应点之间的关系，并由此联立方程，求得图像点的世界坐标值。对图像的全像素的三维重建目前仅能针对某一具体目标，计算量大且效果不明显。

石鑫华视觉

买相机，买光源，买镜头，买软件，买教程，就到机器视觉商城https://shop128020756.taobao.com！

apinkrose66

谢谢分享，学习学习