康耐视发明用在机械臂视觉系统的自动“手眼标定”方案

机械臂是指高精度、多输入多输出、高度非线性以及强耦合的复杂系统，因其独特的操作灵活性, 已在工业装配、安全防爆等领域得到广泛应用。

同时，机械臂也是一个复杂系统, 存在着参数摄动、外界干扰及未建模动态等不确定性。因而机械臂的建模模型也存在着不确定性，对于不同的任务, 需要规划机械臂关节空间的运动轨迹，从而级联构成末端位姿，这种末端的位姿往往需要硬件传感器以及机器视觉等相关技术进行支持。

视觉系统可用于检查在成像场景中操作的平面对象，其中需要借助于机器视觉完成的很重要的一个任务就是进行手眼标定。这是因为在机械臂进行相关任务时，往往需要保持待操作对象始终保持在操作台的可视范围之内，但是机械臂又同时需要对待操作对象进行作业，往往难免会使得对象的位置发生变化，这又会影响作业的需求。

同时，由于机械臂中存在的悬臂效应，也使得“手眼标定”任务变得更加艰难。为此，康耐视在2020年2月3日申请了一项名为“机器人运动视觉系统的自动手眼标定系统与方法”的发明专利（申请号：202010079136.1），申请人为康耐视公司。

该专利发明了一种可以用于机械臂的手眼标定系统，根据目前公开的资料，让我们一起来看看这项发明吧。

如上图，为该专利中发明的安装在端部执行器上的视觉系统相机的机器人操作器组件示意图，该图中展示了多轴机器人臂在固定基部111上执行工作的整体流程，其主要完成的任务就是将相机组件120的光轴和视场对准到标准板130上，同时，在端部的执行器112上还包括有夹持器、吸盘等操作器，可以移动正在对准的部件。

将端部的操作器和视觉相机安置在同一位置的好处就是，视觉系统相机组件可以与操作器一起移动，并且当执行器围绕机械臂整体的工作空间移动时，借助于相机的对准功能，可以始终保持操作器与需要对准的部件保持对准，也就是该专利中提及的“手眼标定”。

可以注意到机械臂的下方还连接着用户使用的电脑，当视觉系统采用手眼标定时，用户可以在电脑上实时看到通过视觉系统捕捉到的运动信息，真实的机械臂的操作空间与用户在电脑中看到的运动画面实际上是两个不同的界面，因此为了保持这两个界面的一致性，还需要对两个画面进行坐标系的同步，如下图所示。

该专利中发明的手眼标定方法，可以自动确定机械臂的运动参数，并计算空间位置将标定对象的特征图案保持在相机视场内，由此来补偿悬臂效应。何为悬臂效应呢？当悬臂效应存在时，操作器的运动有时会将标定对象的部分位置定位在视觉系统视场之外，这样就会导致用户处理任务时存在视觉盲区。

从图中也可以看到，在机械臂的端部和视觉系统处理器都有一套自己的坐标系管理方案，以将相机捕捉到的信息可以真实地展现在用户的面前。

最后，我们来看看存在悬臂效应的情况下执行手眼标定的过程的流程图，如上图所示，系统首先采用预标定处理进行操作来移动机器人，使得标定图案处于相机视场的中心区域，然后系统会搜索用于三点标定的空间点，这个步骤将基于整个视场的大小以及视场内特征的间距，建立一个小的预定的步长大小。

其后，过程500会进一步确定空间点在标定系统中的可用性，然后基于视觉系统的反馈来自动调整步长大小，直至上述目标对象保证处于视场的中心。

以上就是康耐视发明的机器人运动视觉系统中自动进行手眼标定的方案，这种方案可以用于与机器人操作一起进行的视觉系统的手眼标定，同时很好的解决了机械臂存在的悬臂问题，使得用户在利用机械臂进行具体的操作时，可以始终保持操作物体位于用户的视场中，以高效的完成任务。