自动水果采摘机：机器人苹果收割机

总结:本文介绍了一种用于苹果自动采摘的自动采摘机（AFPM）的结构和功能。AFPM成功的关键因素是将最先进的工业组件与新设计的柔性夹持器相结合的集成方法。手爪由一个硅胶漏斗组成，里面装有一个摄像头。提出的概念保证了对全球自主水果采摘操作的充分控制，尤其是对水果采摘周期的充分控制。现场的大量实验验证了AFPM的功能。

1导言

机器人的使用不再严格局限于工业环境。同样在户外活动中，机器人系统越来越多地与新技术相结合，以自动化劳动密集型工作，例如苹果收获。本文描述了一种自动水果采摘机（AFPM）3的可行性研究和开发。

机器人苹果收获主要有两种方法，即批量收获或逐个苹果收获。

彼得森等人[9]开发了一种机械式散装机器人收割机，用于在狭窄、倾斜的棚架上种植苹果。除了树冠状的生长习性外，这种批量收获还需要果实成熟度均匀、果实结实、抗损伤、四肢短/僵硬。

苹果采摘系统的使用虽然天生较慢，但不受上述任何限制。此外，只有大小和成熟度令人满意的苹果才能被挑选出来采摘，而且可以立即被挑选出来。然而，一个苹果接一个苹果采摘系统需要一个足够的水果夹。抓取器是苹果自动收获成功的关键因素。一个好的抓手应该保持苹果的质量，在采摘过程中不应该损坏苹果树（也不应该损坏苹果）。Setiawan等人提出了一种带有柔性充气部件的低成本夹具。我们的夹持器由一个灵活的硅胶漏斗组成，使用吸力来摘苹果。

任何自动苹果收获机不可或缺的一部分是用来定位苹果的视觉系统。Bulanon等人[3]使用（RT）机器视觉系统来识别果实中心和花序梗脱落层的位置。与大多数研究人员不同的是，在我们的方法中，摄像头位于夹具的中心。这简化了设置的校准，并确保了充分的控制。

根据Hutchinson等人给出的分类，我们基于图像的控制更接近于看动策略，而不是视觉伺服。然而，仍有改进的余地。

尽管之前开发了果园行之间自动导航的收割平台，但出于开发时间和安全批准的原因，我们选择（尚未）实施自动导航。

该项目的目的是通过使用现有最先进的（工业）组件，证明自动采摘机（AFPM）的可行性和功能。这就产生了AFPM原型，将在以下章节中介绍。首先，第2节描述了AFPM的总体结构。第3节介绍了我们专为苹果收获任务设计的新型专利手爪。第4节讨论了一个分拣周期的控制细节。最后，第5节和第6节总结了现场试验的结果，并对本文进行了总结。

2 AFPM的总体建设

AFPM建立在安装在农用拖拉机后面的平台上。图1显示了AFPM的第一个版本。图2示意性地说明了功能布局和数据流。为了缩短AFPM的开发周期，尽管有些过分，但还是选择了工业机器人（松下VR006L）作为机械手。AFPM还包括一台拖拉机驱动的发电机、一个（2D）水平稳定装置、一个用于扩大操作范围的第七外垂直轴、一个安全扫描装置、一个中央控制单元、一台带有人机界面的触摸面板PC、一个遮篷和一个用于平衡光照条件的四周帘子，以及一个专为此任务设计的水果夹，将摄像头安装在夹具的中心。柔性夹持器（如第3节所述）可确保在不损坏水果的情况下牢固地夹持水果，实际上可作为真空吸尘器的嘴。

图1 AFPM的建设

图2 AFPM的功能方案

2D水平稳定装置由两个液压支脚和一个翻转油缸组成，配置为三点悬挂。该系统由两个水平传感器控制，确保机器人平台在采摘周期内稳定定位。

3. 新型柔性夹持器

为了用尽可能少的能量摘苹果，必须设计一种全新的水果夹。它的专利设计有两个主要功能：捕捉苹果和封闭相机。图3给出了一些例子。

夹持器呈苹果的形状，并将其牢牢地包住。经过几次原型试验，设计并测试了最佳漏斗形状，包括边缘厚度、漏斗角度和大小，以及灵活性和坚固性之间的权衡。当前版本的最大直径为10.5厘米。夹持功能由真空吸力激活。例如，只需将夹持器推到苹果上，并用手指关闭真空端口，即可拿起苹果。实验表明，即使将苹果长时间暴露在所使用的（相当小的）真空水平下，也不会以任何方式损坏苹果。

图3  左：两个硅胶夹持器示例；右图：安装在机器人上的夹具摄像机在里面

将摄像头置于夹持器的中心有许多优点。首先，手爪始终与摄像机保持一致，从而与图像保持一致，这简化了从图像到机器人的（必要的）坐标变换。此外，摄像机的位置是完全可控的。相机始终可以将光轴指向苹果（参见第4节和模拟图7）。这减少了图像失真，并消除了彻底校准的必要性。

图4  相机模型的3D、俯视图和前视图定义了相机框架，并说明了在图像中居中苹果所需的旋转角度θx和θy的计算

4. 水果采摘周期的方法

自主收获操作分为三个层次。一旦AFPM位于具有主动稳定功能（第一级）的树前，它将从40个了望位置或扇区（第二级）扫描树。对于每个部门，所有成熟的苹果都会在一个循环任务（第三级）中列出并逐个采摘。拣选操作包括以下步骤：

1.苹果在图像中的位置可能是在去聚类后确定的。只选择大小合格的成熟苹果。

2.相机围绕x轴和y轴旋转，分别旋转θx和θy，以使光轴直接指向苹果。只需旋转手腕即可定位摄像头，从而实现机器人的快速小运动。图4定义了使用的设置。旋转角度产生：

                                (1)

用于绕x轴旋转，以及

                                 (2)

对于绕y轴（同时）旋转，f表示焦距[mm]，µp表示像素大小[mm/pix]，xp，yp表示苹果在图像平面[pix]中的测量中心。如等式1和2所示，旋转角度不取决于到苹果zcam的距离。只有焦距f需要校准。

即使焦距不完全已知，夹持器中心相对于苹果中心的最终偏移也将位于夹持器的边缘范围内：例如，焦距上10%的误差（相当大）会导致θx（或θy）上的误差为1.5 o，导致距离为1m的苹果偏移1.9 cm。由于我们的抓取器采用漏斗状设计，这种偏移不会导致错误的拾取周期。

图5  剩余距离计算的图示

图6  视觉系统、PLC和机器人在一个苹果采摘周期内的控制流程示意图

3. 当接近苹果时，处理多幅图像，通过三角测量计算到苹果的剩余距离。给定两幅图像之间的距离Z，以及从这两幅图像中测量的（对应）苹果半径xp1，xp2，剩余距离∆Z代表苹果产量。

                                   (3)

图5说明了等式3。由于苹果仍以图像为中心，因此后续图像中给定苹果的相关性很小。

4.一旦苹果在夹持器的给定范围内，真空吸力就会启动。检测到（少量）真空会触发下一步。

5.旋转苹果，轻轻倾斜，然后将其放在一边。手腕/机器人的实际运动因区域而异。它是预先编程和优化的，考虑到最小的树入侵。还需要添加一个标准的苹果运输和收集系统。

图6给出了这5个步骤的示意图。指示的数字与领料周期的步骤列表相对应。图像处理是在Windows下的工业奔腾IV 2GHz PC上进行的，该PC具有1GB内存。实际图像处理5使用Halcon软件[8]编程，大约需要0.6秒（步骤1）。请注意，完整的图像处理只需要在拾取周期开始时进行。后续图像处理应限于图像的一小部分，并缩小到功能性较差的步骤。

5田间试验

在Jonagold果园进行的为期数周的田间试验表明，AFPM的总体性能非常令人满意。机器人的快速运动不会给稳定带来困难。多亏了屋顶和全方位的覆盖，如图7所示，AFPM即使在恶劣的天气条件下也能工作，尽管这里的改进仍然是可能的。

实验表明，大约80%的苹果（直径从6厘米到11厘米）被检测到并收获。然而，30%的杆拉力仍然过高。然而，我们应该考虑到这样一个事实，即苹果经过处理可以延长收获期，从而使茎与四肢的连接更加牢固。然而，第4节中的微调步骤5可能会降低该故障裕度。

没有任何损伤。未收获的苹果要么无法被视觉系统检测到，要么无法被机械手触及。这个问题可以通过修剪果园的树篱部分解决。

图7  左：仿真模型；右图：野外实验

在当前设置中，拾取一个苹果的总周期为8到10秒。通过中央控制器（图6中的（触发器）信号）消除视觉系统和机器人之间当前的通信瓶颈，将提高总体拾取周期时间。在选择集群中的第一个苹果时要格外小心，以免推掉其他苹果。关于附近锋利肢体的额外视觉信息也有助于保护抓取器本身不受损坏。

6结论

AFPM的第一个结果非常有希望。所有必要的部件都安装在一起，并按计划运行，由此证明AFPM的可行性和功能性。然而，仍有改进的余地。通信瓶颈在于vision PC和中央控制单元之间的连接/通信。未来的工作将集中在提高这种连接的带宽和优化图像处理上。其目的是将分拣周期从平均9秒缩短至约5秒（或更短）。在这种情况下，AFPM的生产率将接近约6名工人的工作负荷，这使得机器在经济上可行。

通过考虑苹果相对于树枝的相对姿势，将特别注意改进实际的苹果分离运动。这将降低阀杆拉力百分比。此外，还计划进行进一步的研究，以实现果园导航的自动化，并调查梨的收获情况。