机器视觉及视觉传感器

人们通过感官从自然界获取各种信息，其中以人的视觉获取的信息量最多，约占信息总量的80%。随着信息技术的发展，为计算机、机器人或其他智能机器赋予人类视觉功能，成为科学家们的奋斗目标。目前，机器视觉技术已经实现了产品化、实用化，镜头、高速相机、光源、图像软件、图像采集卡、视觉处理器等相关产品功能日益完善。机器视觉领域新技术爆出，通用式三维即时视觉传感技术将为机器视觉再添浓墨重彩的一笔。

什么是机器视觉？

美国机器人工业协会（RIARoboticIndustriesAssociation）对机器视觉下的定义为：“机器视觉是通过光学的装置和非接触的传感器自动地接收和处理一个真实物体的图像，以获得所需信息或用于控制机器人运动的装置”。

机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是指通过机器视觉产品（即图像摄取装置，分CMOS和CCD两种）将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。

机器视觉系统的组成

相机与镜头

这部分属于成像器件，通常的视觉系统都是由一套或者多套这样的成像系统组成，如果有多路相机，可能由图像卡切换来获取图像数据，也可能由同步控制同时获取多相机通道的数据。根据应用的需要相机可能是输出标准的单色视频（RS-170/CCIR）、复合信号（Y/C）、RGB信号，也可能是非标准的逐行扫描信号、线扫描信号、高分辨率信号等。

光源

作为辅助成像器件，对成像质量的好坏往往能起到至关重要的作用，各种形状的LED灯、高频荧光灯、光纤卤素灯等都容易得到。

传感器

通常以光纤开关、接近开关等的形式出现，用以判断被测对象的位置和状态，告知图像传感器进行正确的采集。

图像采集卡

通常以插入卡的形式安装在PC中，图像采集卡的主要工作是把相机输出的图像输送给电脑主机。它将来自相机的模拟或数字信号转换成一定格式的图像数据流，同时它可以控制相机的一些参数，比如触发信号，曝光/积分时间，快门速度等。图像采集常有不同的硬件结构以针对不同类型的相机，同时也有不同的总线形式，比如PCI、PCI64、CompactPCI，PC104，ISA等。

PC平台

电脑是一个PC式视觉系统的核心，在这里完成图像数据的处理和绝大部分的控制逻辑，对于检测类型的应用，通常都需要较高频率的CPU，这样可以减少处理的时间。同时，为了减少工业现场电磁、振动、灰尘、温度等的干扰，必须选择工业级的电脑。

视觉处理软件

机器视觉软件用来完成输入的图像数据的处理，然后通过一定的运算得出结果，这个输出的结果可能是PASS/FAIL信号、坐标位置、字符串等。常见的机器视觉软件以C++/C++图像库，ActiveX控件，图形式编程环境等形式出现，可以是专用功能的（比如仅仅用于LCD检测，BGA检测，模版对准等），也可以是通用目的的（包括定位、测量、条码/字符识别、斑点检测等）

一旦视觉软件完成图像分析（除非仅用于监控），紧接着需要和外部单元进行通信以完成对生产过程的控制。简单的控制可以直接利用部分图像采集卡自带的I/O，相对复杂的逻辑/运动控制则必须依靠附加可编程逻辑控制单元/运动控制卡来实现必要的动作。

机器视觉的特点

精确性

由于人眼有物理条件的限制，在精确性上机器有明显的优点。即使人眼依靠放大镜或显微镜来检测产品，机器仍然会更加精确，因为它的精度能够达到千分之一英寸。

重复性

机器可以以相同的方法一次一次的完成检测工作而不会感到疲倦。与此相反，人眼每次检测产品时都会有细微的不同，即使产品时完全相同的。

速度

机器能够更快的检测产品。特别是当检测高速运动的物体时，比如说生产线上，机器能够提高生产效率。

客观性

人眼检测还有一个致命的缺陷，就是情绪带来的主观性，检测结果会随工人心情的好坏产生变化，而机器没有喜怒哀乐，检测的结果自然非常可观可靠。

成本

由于机器比人快，一台自动检测机器能够承担好几个人的任务。而且机器不需要停顿、不会生病、能够连续工作，所以能够极大的提高生产效率。

视觉传感器的工作原理

视觉传感器是指通过对摄像机拍摄到的图像进行图像处理，来计算对象物的特征量（面积、重心、长度、位置等），并输出数据和判断结果的传感器。

视觉传感器具有从一整幅图像捕获光线的数以千计的像素。图像的清晰和细腻程度通常用分辨率来衡量，以像素数量表示。因此，无论距离目标数米或数厘米远，传感器都能“看到”十分细腻的目标图像。

在捕获图像之后，鼎纳视觉传感器将其与内存中存储的基准图像进行比较，以做出分析。

视觉传感器是机器视觉系统的核心，是提取环境特征最多的信息源。它既要容纳进行轮廓测量的各种光学、机械、电子、敏感器等各方面的元器件，又要体积小、重量轻。

视觉传感器包括激光器、扫描电动机及扫描机构、角度传感器、线性CCD敏感器及其驱动板和各种光学组件。

视觉传感器的发展历程

视觉传感器是50年代后期出现，发展十分迅速，是机器人中最重要的传感器之一。机器人视觉从60年始首先处理积木世界，后来发展到处理桌子、椅子、台灯等室内景物，进而处理室外的现实世界。70年代后，有些实用性的视觉系统出现了，如应用于集成电路生产、精密电子产品装配、饮料罐装箱场合的检验、定位等。另外，随着这门学科的发展，一些先进的思想在人工智能、心理学、计算机图形学、图形处理等领域产生出来。

机器视觉的作用是从三维环境图像中获得所需的信息并构造出观察对象的明确而有意义的描述，视觉包括三个过程：图像获取、图像处理和图像理解。图像获取通过视觉传感器将三维环境图像转换为电信号；图像处理是指图像到图像的一种变换，如特征提取；图像理解则在处理的基础上给出环境描述。视觉传感器的核心器件是摄像管或CCD，摄像管是早期产品。OzD是后发展起来的。目前的CCD已能做到自动聚焦。

视觉传感器的实现方式

视觉传感器是非接触型的。它是电视摄像机等技术的综合，是机器人众多传感器中最稳定的传感器。

机器人的视觉传感器有下述三种测量方式

一、直接处理电视摄像机所摄取的深浅图像亮度6分图像的深浅图像处理方式。把亮度信息数字化，通常为4-10比特左右，作为64×64-1024×1024个象素输出处理部分。然后，利用种种已知算法，为线条进行解释，识别被加工物。这种图像处理法的困难是需要处理庞大的输出数据，费时太多。作为机器人的视觉，往往简化成双值，再利用专用处理装置快速处理。

二、把深浅图像双值化再处理方式。

三、根据距离信息测量物体的开关和位置的方式。该方法采用的方案有采用三角测量法和利用两台电视摄像机的立体视觉法等多种方案。

1、三角测量法测量原理及方法

激光束投射到物体上，跟踪源敏感器件检测其漫反射光，如图一所示。

如果线阵敏感器件（如线阵CCD）放置的位置合适，物体上的激光点能清晰地在敏感器件上成像，那么横向的分辨率就只取决于激光束的宽度（亦即粗细），而激光束的宽度可通过适当的光学方法调整得较细。为了获取深度及横向的信息，可采用两种方法。

其一是将光束扩展成一个光面投射到物体上，用一面阵数字敏感器件进行接收。为了快速测量距离，使通过垂直狭缝得到的条形光束投到被加工物体上，再利用电视摄像机检测狭缝的像，图二表示其结构。如果知道狭缝光的投影方向和狭缝隙象，那么根据三角测量原理就可以知道到物体表面的距离。利用扫描线为256条的电视摄像机，每1／60s内可得到256个点的距离，能测量电视摄像机画面内多数点的距离。

其二是发射光束和接收光绕虚线所示的转轴同步转动，线阵敏感器测出径向深度信息，而和扫描机构一起的角度传感器测出角度信息。这种方法的优点是能得到很高的信噪比，因为在敏感器件感光时间内，光强集中于一点而不是散成一条线，能使所有的光电在敏感器上清晰成像，同时信号处理速度较快。

其三是利用激光跟踪器，向任意方向投射激光，把物体表面的激光点作为画面的最亮点，然后利用摄像机检测，再根据三角测量原理，可快速进行距离测量。对基于激光同步扫描测量原理的机械机构和光学结构进行了优化设计，并采用了一些微型元件，构成机器人设计传感器，其结构原理如图三所示。

2、立体视觉法

眼睛就像一台机能完善、结构精巧的信息处理机，处理外界进入大脑的90％以上的信息。尽管人们已经制造出照相机、望远镜、光电管等这些非凡的“人造眼”．图三传感器结构原理图但科学还得向生物界的原始构造物——眼睛求教，进一步探索它的奥秘，取其优点为人类所用。

1）、眼立体视觉机理

在大脑视觉区域的细胞中，有些细胞对双眼的刺激都有反应，将这种有反应的细胞称为双眼性细胞。大脑视区的大部分细胞都是双眼性细胞，这些细胞对左右眼一般具有几乎特性相同的感受野。双眼性细胞左右视网膜上感受的位置，若投影到视野上，其位置并不完全一致，每个细胞逐次稍微偏离一点，这种感受野对双眼立体信息的提取有重要作用。如图四所示，有3个双眼性细胞A、B、C，它们的左右感受野之间有不同的差异度，在图示的屏幕上给予刺激，这些细胞感受野的中心位置，在左眼视网膜上重叠为一点，但在右眼视网膜上各有不同的位置，或者说，左眼的感受野在同一轴线上，右眼的感受野则在3个不同的视轴上。还有一些双眼性细胞，对单眼刺激几乎不起反应，但对双眼刺激所引起的反应的促进作用却非常明显，并且给予双眼刺激的位移量适当时，才有输出。这样的细胞在三维空间中，只有在离眼睛特定的地点放置光刺激时，才能强烈反应，故可称为双眼性深度检测细胞。

生物视觉系统拥有大量的光敏元件，即视网膜视杆细胞和视锥细胞，由于视神经纤维比视网膜的光敏元件少，故两者不可能一一对应。因为视觉信息传导到神经以前发生了某种平行加工，这种预加工是通过实时反映系统把图形的重要特征迅速地提取出来。

2）、分层模型

许多人提出了信息加工的分层模型，最著名的是马尔科（Marko）提出的分层模型。

第一层是感受层；

第二层是由4个平行加工的、分别抽提出垂直、水平和2条对角线方向的方向滤波器组成；

第三层包含3条线条滤波器平行的组合，而分别得到曲率、角度、端点和交点的检测器；

第四层在所谓拓扑变换的抽提中，图像面压缩成一个点，这个点表示该图像的某个总体特征。

可以看出分层模型既考虑了分层的串连结构，也考虑了各通路的平行并联结构，因此双眼视觉具有强大的并行处理能力。

由于外部场景都是三维的，因此希望智能机器人的外传感器能提供有关外部场景的三维立体信息。为达此目的，人仍从不同的角度对三维立体信息的获取进行了研究，采用立体视觉方法获得外部场景的三维深度图像。

<!--[if !supportLists]-->3）<!--[endif]-->、三维视觉系统及数学模型结构

三维视觉系统由CCD面阵摄像机、结构激光投影器、图像接口、图像处理与分析软件及PC机组成。视觉传感器由摄像机与结构激光投影器组成，二者刚性固定，结构激光投影器产生的光学模式为20y，X10lyl及zZl5个空间方向不同的光面。

光电传感器与视觉传感器的比较

与光电传感器相比，视觉传感器赋予机器设计者更大的灵活性。以往需要多个光电传感器的应用，现在可以用一个视觉传感器来检验多项特征。视觉传感器能够检验大得多的面积，并实现了更佳的目标位置和方向灵活性。这使视觉传感器在某些原先只有依靠光电传感器才能解决的应用中受到广泛欢迎。在传统上，这些应用还需要昂贵的配件，以及能够确保目标物体始终以同一位置和姿态出现的精确运动控制。

此外，由于一个基本视觉传感器的成本仅相当于数个具有较贵配件的光电传感器，因此价格已不再是问题。

视觉传感器为应用的切换提供了无与伦比的灵活性。例如，生产工序的切换（从单份装酸奶切换成冰淇淋桶）可能仅需数秒钟，并且可遥控完成。附加的检验条件可轻松地添加到此应用中。

机器视觉及视觉传感器的应用

只要是需要对物体进行识别、特征判断和检测，机器视觉就可以大展拳脚。如今，在农业、工业、医学等领域，机器视觉技术因其非接触、速度快、精度高、现场抗干扰能力强等突出优点，得到了广泛应用

近几十年来，机器视觉因其非接触、速度快、精度高、现场抗干扰能力强等突出优点，使机器视觉技术在农业、工业、医学等领域得到了广泛应用。只要是需要对物体进行识别、特征判断和检测，机器视觉就可以大展拳脚，将任务完成得又快又好。

比如在农业生产中，有一部分工作是对农作物或农产品的外观进行判断，如水果品质检测、果实成熟度判别、作物生长状况以及杂草的识别等。这些过去主要依靠人的视觉进行辨别和判断的工作可以由机器视觉技术部分或全部替代，从而实现农业自动化和智能化。例如，来自南京林业大学的黄秀玲团队就设计了一条可以对苹果品质进行动态、实时检测的智能化分级生产线。生产线上，均匀分布的3个摄像头一次性采集苹果表面信息，通过计算机智能控制系统对采集信息进行综合分析，从而对苹果进行分级。不过，也有专家表示，由于农田环境的复杂多变性以及非结构化特性，目前机器视觉在农业生产中的应用尚不成熟，仍需进一步完善。

在工业环境中，机器视觉应用日臻成熟，在提高工业生产灵活性和自动化程度方面发挥重大作用。此外，在危险工作环境或人工视觉难以满足要求的场合，用机器视觉来替代人工视觉也提高了作业的安全性。在流水线上通过图像识别技术检查产品外观缺损、标签印刷错误、电路板焊接质量缺陷的图像识别系统就是机器视觉系统应用于工业领域的成功范例。印刷包装、汽车工业、半导体材料、食品生产等，都是机器视觉在工业领域的应用方向。

在勘探采集、有色冶炼等过程中，机器视觉技术也大有可为。选矿是矿产资源加工中的一个重要环节，选矿水平高低直接影响矿物资源回收。近年来，基于机器视觉的矿物表面特征监测技术已引起工业发达国家科研机构的高度关注。资料显示，欧盟联合多家大学和企业，于2000年启动了“基于机器视觉的气泡结构和颜色表征”项目;南非、智利等国家也将机器视觉应用到石墨、铂金属的浮选监控中。在国内，对煤和镍的浮选监控研究也取得了重大进展。

机器视觉技术还可以应用于智能交通、安全防范、医疗设备等方面。在医学领域，机器视觉可以辅助医生进行医学影像的分析，比如X射线透视图、核磁共振图像、CT图像等。在科学研究领域，可以利用机器视觉进行材料分析、生物分析、化学分析和生命科学分析，如血液细胞自动分类计数、染色体分析、癌症细胞识别等。