机械人视觉系统组成及定位算法
1.机械人视觉
机械人研究的焦点就是：导航定位、路径计划、避障、多传感器融合。定位技术有几种，不体贴，只体贴视觉的。视觉技术用到“眼睛”可以分为：单目，双目，多目、RGB-D，后三种可以使图像有深度，这些眼睛亦可称为VO(视觉里程计：单目or立体)，维基百科给出的介绍：在机械人和盘算机视觉问题中，视觉里程计就是一个通太过析处理相关图像序列来确定机械人的位置和姿态。
当今,由于数字图像处理和盘算机视觉技术的迅速生长,越来越多的研究者接纳摄像机作为全自主用移动机械人的感知传感器。这主要是因为原来的超声或红外传感器感知信息量有限,鲁棒性差,而视觉系统则可以弥补这些缺点。而现实世界是三维的，而投射于摄像镜头(CCD/CMOS)上的图像则是二维的，视觉处理的Z终目的就是要从感知到的二维图像中提取有关的三维世界信息。
2.系统基本组成：CCD、PCI、PC及其外设等。
2.1 CCD/CMOS
一行硅成像元素，在一个衬底上配置光敏元件和电荷转移器件，通过电荷的依次转移，将多个象素的视频信号分时、顺序地取出来，如面阵CCD传感器收罗的图像的区分率可以从32×32到1024×1024像素等。
2.2视频数字信号处理器
图像信号一般是二维信号，一幅图像通常由512×512个像素组成(虽然有时也有256×256，或者1024×1024个像素)，每个像素有256级灰度，或者是3×8bit，红黄兰16M种颜色，一幅图像就有256KB或者768KB(关于彩色)个数据。为了完成视觉处理的传感、预处理、支解、描述、识别息争释，上述前几项主要完成的数学运算可归纳为：
(1)点处理常用于比照度增强、密度非线性较正、阈值处理、伪彩色处理等。每个像素的输入数据经过 关系映射成像素的输出数据，例如对数变换可实现暗区比照度扩张。
(2)二维卷积的运算常用于图像平滑、尖锐化、轮廓增强、空间滤波、标准模板匹配盘算等。若用M×M卷积核矩阵对整幅图像进行卷积时，要获得每个像素的输出结果就需要作M2次乘法和(M2-1)次加法，由于图像像素一般许多，纵然用较小的卷积和，也需要进行大宗的乘加运算和会见存储器。
(3)二维正交变换常用二维正交变换有FFT、Walsh、Haar和K-L变换等，常用于图像增强、回复、二维滤波、数据压缩等。
(4)坐标变换常用于图像的放大缩小、旋转、移动、配准、几何校正和由摄影值重建图像等。
(5)统计量盘算如盘算密度直方图漫衍、平均值和协方差矩阵等。在进行直方图均衡器化、面积盘算、分类和K-L变换时，经常要进行这些统计量盘算。
3.视觉导航定位系统的事情原理
简单说来就是对机械人周边的情况进行光学处理，先用摄像头进行图像信息收罗，将收罗的信息进行压缩，然后将它反响到一个由神经网络和统计学要领组成的学习子系统，再由学习子系统将收罗到的图像信息和机械人的实际位置联系起来，完成机械人的自主导航定位功效。
(1)摄像头标定算法：2D-3D映射求参。
古板摄像机标定主要有 Faugeras 标定法、Tscai 两步法、直接线性变换要领、张正友平面标定法和 Weng迭代法。自标定包括基于 Kruppa 方程自标定法、分层逐步自标定法、基于 二次曲面的自标定法和 Pollefeys 的模约束法。视觉标定有马颂德的三正交平移法、李华的平面正交标定法和 Hartley 旋转求内参数标定法。在2D-3D映射下jxf吉祥坊科技研发出精度Z高的3D视觉引导系统：Werobotics三维视觉定位引导系统可以实现0.1s识别物体位置并应到机械人事情，Z精度高可以抵达0.02mm ，并且广泛应用于汽车、电子、轮胎制造等行业，使机械人能越发可靠和精准的完成任务，使古板自动化不可解决的庞大应用成为可能。
(2)机械视觉与图像处理：
a.预处理：灰化、降噪、滤波、二值化、边沿检测。。。
b.特征提。禾卣骺占涞讲问占溆成。算法有HOUGH、SIFT、SURF。
c.图像支解：RGB-HIS。
d.图像描述识别
(3)定位算法：基于滤波器的定位算法主要有KF、SEIF、PF、EKF、UKF等。
也可以使用单目视觉和里程计融合的要领。以里程计读数作为辅助信息,利用三角法盘算特征点在目今机械人坐标系中的坐标位置,这里的三维坐标盘算需要在延迟一个时间步的基础上进行。凭据特征点在目今摄像头坐标系中的三维坐标以及它在地图中的世界坐标,来预计摄像头在世界坐标系中的位姿。这种降低了传感器本钱,消除了里程计的累积误差,使得定位的结果越发精确。别的,相关于立体视觉中摄像机间的标定,这种要领只需对摄像机内参数进行标定,提高了系统的效率。
4.定位算法基本历程：
简单的算法历程，可基于OpenCV进行简单实现。
输入
通过摄像头获取的视频流(主要为灰度图像，stereo VO中图像既可以是彩色的，也可以是灰度的 )，纪录摄像头在t和t+1时刻获得的图像为It和It+1，相机的内参,通过相机标定获得，可以通过matlab或者opencv盘算为牢固量。
输出
盘算每一帧相机的位置+姿态
基本历程
1. 获得图像It,It+1
2. 对获得图像进行畸变处理
3. 通过FAST算法对图像It进行特征检测，通过KLT算法跟踪这些特征到图像It+1中，如果跟踪特征有所丧失，特征数小于某个阈值，则重新进行特征检测
4. 通过带RANSAC的5点算法来预计两幅图像的实质矩阵
5. 通过盘算的实质矩阵进行预计R,t
6. 对标准信息进行预计，Z终确定旋转矩阵宁静移向量