在机器人视觉研究领域，3D视觉一直都是热点。随着机器人在工业领域的不断广泛应用，机器人配合3D视觉的应用场景也在不断增多。例如在物流行业，机器人配合3D视觉可完成混拆混码的任务，通过3D视觉快速准确的对纸箱进行尺测量，机器人可完成随机尺寸纸箱的拆垛和码垛；在生产线上，多种型号的工件往往会被杂乱无章的堆放在料框里，同时这些工件往往形状外观差异很大，通过3D视觉可获取料框内物体的三维轮廓特征信息，机器人可快速准确的完成多种工件的分拣；在轻工行业，通过3D视觉可获取物体的三维轮廓信息，可使机器人快速高精度完成涂胶、喷涂等相关工作。

随着传感技术水平的不断进步，相应的三维信息获取手段也不断完善。目前，获取外界物体三维信息的传感器主要有以下三种:传统RGB双目相机、结构光相机、TOF相机。

三种技术方案对比：

图1 勃肯特自主研发的串并混联六轴机器人

图2 勃肯特自主研发机器人控制器与结构光3D相机

勃肯特采用结构光相机配合自主研发的串并混联六轴机器人完成相关3D视觉检测抓取项目。其技术手段主要包括：

1) 物体的三维信息获取：为准确获取抓取目标的三维信息，采用Eye to hand的相机安装方式，将相机固定在抓取场景的特定位置，以最大限度地快速准确获取三维图像。

2) 机器人手眼标定：采用基于双四元数的手眼标定方法，在此基础上通过运用旋量一致性定理过滤观测数据野点，提高了标定精度。对于空间直线的刚体变换，采用单位双四元数来计算比直接用齐次矩阵更为有效。同时，对于连续的刚体变换，可以表示为两个单位双四元数的相乘，这个性质与齐次矩阵类似。使用单位双四元数可以紧凑地表示三维空间的刚体变换。再依据旋量一致性定理，采用误差公式，剔除野点。

图3 手眼标定原理图

图4 旋量与直线的 Plüker 坐标表示

3) 点云精简：采用基于包围盒与随机采样法完成大量点云简化，保留抓取目标相关有效带点云图。

4) 点云去噪：由于噪声点或失真点而不可避免地会产生误差较大的点和跳跃较大的点。采用高斯滤波方法完成抓取目标相关点云图的去噪。

5) 点云分割：采用基于边、区域、混合、聚类的方法完成抓取目标与周围场景点云的分割，使抓取目标点云特征更为清晰，明显。

6) 位姿估计：根据彩色图像的梯度信息和物体表面的法向量采用特定算法找出最佳待抓取目标的最佳位姿。

图5 基于图像阈值的点云分割模型 

图6 视角变换的点云分割模型

图7 相机采集的原始图像

图8 相机采集的深度图像

3D 视觉系统主要分为五大功能模块：分别是系统标定模块，点云处理模块，通信模块，显示模块和文件管理模块。目前勃肯特机器人研究院研究的3D视觉系统可应用于自动包装、码垛、机床上下料和焊接等多个方面。

“柔性”是新时期对工业机器人提出的新要求，对于抓取这个任务而言，“柔性”意味着不论何种工件出现在工作台的何种位置，机器人可以自动的识别并完成抓取。视觉辅助是解决问题的关键所在。利用视觉传感器丰富的信息，机器人可以识别物体，并判断物体相对于机器人的位置和姿态。再根据物体生成抓取位姿，完成运动规划后，执行抓取任务。其中对目标物体的识别和定位是抓取成功的前提条件。运动规划是实现柔性抓取，无需示教的关键所在。然而勃肯特机器人已逐步实现了这个要求，正在往更深的技术领域不断探索前进。