视觉分拣系统给机器人装上“眼睛”

机器人学习中的经典问题之一便是分拣：在一堆无序摆放的物品堆中，取出目标物品。在快递分拣员看来，这几乎是一个不需要思考的过程，但对于机械臂而言，这意味着复杂的矩阵计算。

事实上，对于人类需要耗费大量时间的数理难题，用智能系统处理起来就显得十分容易，但在几乎不需要思考的情况下就能做出的分选动作，则是全世界机机器人研究专家关注的热点。

机械臂抓取需要确定每段机械臂的位姿

首先，机械臂需要视觉伺服系统，来确定物体的位置，根据末端执行器（手）和视觉传感器（眼）的相对位置，可分为Eye-to-Hand和Eye-in-Hand两种系统。

Eye-to-Hand的分离式分布，视野固定不变，如果相机的标定精度高的话，那么视觉定位于抓取的精度也越高。

Eye-in-Hand则将机械臂与视觉传感器固定在一起，视野随机械臂的移动而改变，传感器越近时精度越高，但过于靠近时则可能使目标超出视野范围。

精密的视觉系统与灵活机械臂的配合，才能完成一次完美的抓取，而这正是当前机器人操作中的核心难题，归纳起来就是这么一件事：找到合适的抓取点（或吸附点），抓住它。之后的转运执行，则属于运动规划的分支。

目前几种主流的解决方案

Model-based（基于模型的方法）

这种方法很好理解，即知道要抓什么，事先采用实物扫描的方式，提前将模型的数据给到机器人系统，机器在实际抓取中就只需要进行较少的运算：

1. 离线计算：根据搭载的末端类型，对每一个物体模型计算局部抓取点；

2. 在线感知：通过RGB或点云图，计算出每个物体的三维位姿；

3. 计算抓取点：在真实世界的坐标系下，根据防碰撞等要求，选取每个物体的抓取点。

RGB颜色空间由红绿蓝三种基本色组成，叠加成任意色彩，同样地，任意一种颜色也可以拆解为三种基本色的组合，机器人通过颜色坐标值来理解“颜色”。这种方式与人眼识别颜色的方向相似，在显示屏上广泛采用。

CGrasp 对精密轴承的无序抓取

Half-Model-based（半模型的方法）

在这种训练方式中，不需要完全预知抓取的物体，但是需要大量类似的物体来训练算法，让算法得以在物品堆中有效对图像进行“分割”，识别出物体的边缘。这种训练方式，需要这些流程：

1.离线训练图像分割算法，即把图片里的像素按物体区分出来，此类工作一般由专门的数据标注员来处理，按工程师的需求，标注出海量图片中的不同细节；

2.在线处理图像分割，在人工标注出的物体上，寻找合适的抓取点。

这是一种目前应用较为广泛的方式，也是机械臂抓取得以推进的主要推力。机械臂技术发展缓慢，但计算机视觉的图像分割则进展迅速，也从侧面撬动了机器人、无人驾驶等行业的发展。

Model-free（自由模型）

这种训练方式不涉及到“物体”的概念，机器直接从RGB图像或点云图上计算出合适的抓取点，基本思路就是在图像上找到Antipodal（对映点），即有可能“抓的起来”的点，逐步训练出抓取策略。这种训练方式往往让机器手大量尝试不同种类的物品，进行self-supervisedlearning，Google的Arm Farm，即为其中的代表之一。

Google Arm Farm

值得注意的是，对于机械手而言，不同形状的物品，抓取难度有天壤之别。即便是同样形状的物体，由于表面反光度和环境光照的影响，在不同场景的抓取难度也大相径庭。从实验室到商业落地，其中有相当一段路要走。

高精密度的相机研发，是机器人“感知”物体的第一步。

实际商业场景中，最麻烦的物体总是“下一个物体”。工业机器人要真正融入实际生产体系，只有具备聪明的大脑，针对不同工况做出柔性的调整，才能拓宽工业机器人的使用场景。

部分素材来源于：COBOT机器人大脑