2018年12月27日 | 机器视觉定位技术助力工业机器人智能化

引言

据工业和信息化部2018年9月27日消息，2018年1月至8月，中国工业机器人累计产量达到101，717台（套），同比增长19.4%。伴随于此，辅佐机器人进行更高精度、更强适应性自动化生产的机器视觉技术，在近几年也得到突飞猛进的发展。工业机器人与机器视觉技术不仅仅局限在工业生产场景中结合使用，随着经验的积累与技术瓶颈的突破，二者还将扮演更加重要的角色。

机器视觉与机器人的完美融合

对于传统意义上的工业自动化，工业机器人在控制系统的指挥下，重复特定的动作流程完成加工。换言之，产品加工精度的保障依赖于控制系统的稳定性与整个机械系统的精度。但是加工过程中随机误差的产生在所难免，诸如不可预测的震动、产品在工位间传送发生的偏移等，此外机械结构随着长期使用、精度下降带来的系统误差还会导致产品批量报废。而简单的传感器对于这些误差的规避又显得捉襟见肘。加上现今产品序列纷繁复杂，市场对于柔性生产的要求与日俱增，工业机器人想要在“失明”的情况下完成这一切就显得尤为困难。

而当工业机器人拥有了机器视觉赋予的“慧眼”，上述问题便迎刃而解。拥有“慧眼”的工业机器人在看到目标之后，经准确分析定位后引导动作，避免了产品传送中的偏差，增强了不同产品的生产适应性，同时大幅提升产品的加工精度。此外，机器视觉还能检测成品的精度，免除人工抽检带来的低效、误差与漏检。随着智能制造的深入，具备视觉感知能力的智能设备益发盛行，机器视觉作为前端感知的核心部件，市场需求旺盛。海康机器人起步于海康威视机器视觉业务部，依托海康威视在图像传感、人工智能、大数据分析等领域多年的技术积累，已发展成为面向全球的移动机器人、机器视觉产品和算法平台提供商，公司坚持自主研发，持续推动智能制造进程。

机器人定位引导分类

在机器视觉与机器人相结合的应用场景中，机器人引导定位应用最为普遍。关于此类场景，海康机器人与合作伙伴共同实施了大量成功案例与成熟方案。机器人定位引导可大致分为3种模式，并进而细分为6小类：

图1固定相机

图1所示的三种工作方式称为固定相机模式，即相机安装在设备机架上，不随机器人的运动而运动，自左至右又依次分为抓取工况、抓取偏移纠正工况和放置工况。其中抓取工况，相机对传送过来的来料进行拍摄和粗定位，将定位信息传输给机器人以便机器人根据定位信息抓取来料，如此可降低对工位间传送机构准确性的要求，确保抓取的稳定性；抓取偏移补正工况可通过设置在机械臂另一侧的下相机对工件进行二次精准定位，极大程度上消除来料偏差，确保能有针对性地对每个来料进行加工；放置工况内容涵盖广泛，可以是简单的放置，亦可以是贴合、安装等，即使用相机定位最终的目标位，结合前述两种工况，真正做到针对每个工件有的放矢。

图2运动相机

图2所示为两种运动相机模式，即相机安装于机械臂顶端随机械臂一同运动。虽不同于上述固定相机模式，但固定相机模式和运动相机模式在功能上殊途同归，都可实现定位抓取与引导放置。两者在保证功能的同时，能够提供更多的安装可能性以应对不同的环境与硬件条件限制。

图3其他类型

针对不同的设备安装场景，为提升硬件安装的适应性，固定相机模式与运动相机模式也可结合使用，如图3所示。

视觉系统设计

结合不同场景，应用各类型硬件的选型搭配，保障机器视觉技术与机器人有效配合的前提是系统整体的合理设计与安装布置。

海螺8是海康威视工厂生产的一款摄像头，其装配需完成前盖定位、泡棉上料、透镜定位安装、灯板定位安装锁附、前端组件定位安装锁附等一系列动作，整个过程应用了大量机器人与机器视觉联合定位引导。如图4左所示的灯板锁附工位负责灯板锁附过程中螺钉的来料定位与引导安装，由于设备安装空间的局限性，项目中选择了空间需求更小、工位更加节省、安装更灵活的活动相机方式。海康威视自主研发生产的600万像素面阵相机配合25mm焦距的500万镜头，连同环形LED光源安装在机械臂末端，随同机械臂一同运动。

图4海螺8视觉系统与成像效果

如图4左所示灯板定位螺钉安装工位中，螺孔精度为±0.05mm，这对于视觉与机器人配合的精度提出了较高要求。相机连同机械臂在取料位定位螺钉后，机械臂前端的吸铁石准确吸取螺钉并运动至安装位；相机在安装位再次拍照定位螺孔后，螺钉被精确旋紧。

单个螺钉从定位取料到完成安装整个过程仅耗时不到5秒，且通过视觉定位极大程度提高一次性安装成功的稳定性，避免人工安装时瞄准螺孔、效率波动带来的时间耗费，人力成本也得到降低。视觉定位的应用，在降低成本的同时优化加工工艺、提升产能。

基于合理的硬件选型与空间配置，最终得到稳定优秀的画面质量（如图4右所示）。借助海康机器人自主研发的工业相机客户端MVS和海康威视机器视觉VM算法平台，使用模板匹配、圆查找等工具对图像中的螺孔等特征进行精准分析定位。

标定——精度保障的重要环节

在设备最终投入使用前，还会经历一个重要环节——标定，这也是视觉与机器人之间的桥梁。

海康威视机器视觉VM算法平台中包含成熟的标定算法模块，能在确保标定流程开发高效性的基础上，让工程师使用完善的标定算法模块有针对性地为自己量身定制标定程序，以此实现标定流程的简洁性、准确性和复用性。

在合作伙伴利用海康威视机器视觉VM算法平台开发的某一视觉项目中，设备需要对三个工位上的三台相机分别进行标定。在精度要求最高、空间条件最好的二工位，即抓取偏移补正工位，固定安装于机架的下相机完成了对带有角点（有方向性）的点阵标定板的11个位姿的采图，并利用海康威视机器视觉VM算法平台中多点标定模块快速实现二工位完整的11点标定。一、三工位的相机只需要对标定板进行一次图像采集，通过对比相同特征在不同采图中的坐标，得到不同像素级别的相机之间尺度和角度的变换关系，即通过坐标映射建立与二工位之间的联系，完成一、三工位的标定。

图5N点标定流程

整个标定流程只需采集13张图片，在不影响精度的情况下，利用坐标映射极大程度地精简了标定流程，节约了开发和时间成本。至于标定流程本身，如图5，基于已有的模块，只需根据机器人的实际动作在N点标定模块中设定N点步进的距离d和旋转角度α并选择图像中进行定位的特征，海康威视机器视觉VM算法平台会自动按照图示位姿顺序完成标定矩阵的计算，供最终图像坐标向物理坐标转换时使用。其中特征点可以是诸如图5实例中的圆、角点线段等的任何特征，这也消除了标定板选用的局限性。而旋转角α的引入解决了机械臂末端旋转轴与执行元件的不共轴问题。在此基础上，完成一、三工位的坐标映射乃至更多定制的标定流程，整个过程的开发周期也会大幅缩短。

软件配合

视觉系统在软件层面完成的首要任务是与设备动作之间的正常通讯，海康机器人联手合作伙伴，在众多项目的实际操作中完成了与ABB、EPSON、FANUC等诸多工业机器人的成功对接。其次，任何系统的开发最终都会落实在界面的操作，对于操作员来说，操作界面的友好度同样是确保设备正常、高效使用的重要因素。

针对不同客户自身的应用案例需求，海康威视机器视觉VM算法平台提供多样性的通讯模块以应对不同的通讯协议。同样，海康威视机器视觉VM算法平台丰富的SDK也为工程师提供了独立自主开发软件的可能性，以契合不同的应用场景和客户需求。如图6是合作伙伴在一个机器人对位贴合项目中调用海康威视机器视觉VM算法平台SDK编写的软件界面。

图6标定过程采图

界面主体显示了相机的实时采图，右侧功能页可设置包括光源、相机、视觉方案在内的多种选项，并且随时可以根据需求的调整进行增减。

结语

人工智能时代，工业应用对机器人的诉求早已突破既定重复的简单组装工作，面对当下对“延展性”的更高要求，机器视觉正在逐渐拓宽机器人的应用范围。

本文立足于机器视觉与工业机器人的结合，着重介绍了二者在定位引导类项目中的应用，并通过硬件系统搭建、标定流程设计、软件界面设计的实际案例，阐释机器视觉在此类项目开发中的难点与优势，以期为二者结合在多领域、深层次的应用提供更多宝贵经验。

作者：张宜方