文/Dennis Scimeca

來(lái)自澳大利亞莫納什大學(xué)（Monash University）機(jī)械與航空航天工程系和運(yùn)動(dòng)生成與分析實(shí)驗(yàn)室采果器的Chao Chen博士及其團(tuán)隊(duì)采果器，在2019年11月至2020年10月期間發(fā)表的一系列四篇論文中采果器，描述了成功開(kāi)發(fā)自動(dòng)蘋果采摘機(jī)所需要的視覺(jué)和機(jī)器人引導(dǎo)系統(tǒng)的詳細(xì)過(guò)程。

利用了深度學(xué)習(xí)技術(shù)的自主農(nóng)作物采摘系統(tǒng)，通常包括一個(gè)神經(jīng)網(wǎng)絡(luò)（NN）模型系統(tǒng)，該系統(tǒng)按順序運(yùn)行或平行運(yùn)行，每個(gè)模型專注于一個(gè)不同的任務(wù)。研究人員通過(guò)對(duì)該系統(tǒng)開(kāi)發(fā)的詳細(xì)研究，明確了面臨的挑戰(zhàn)和成功的關(guān)鍵。

在他們的第一篇論文《利用深度學(xué)習(xí)在蘋果園中快速實(shí)現(xiàn)實(shí)時(shí)水果檢測(cè)》中，研究人員描述了自動(dòng)標(biāo)簽生成模型和基于深度學(xué)習(xí)的水果檢測(cè)器LedNet的創(chuàng)建。

圖1采果器：深度學(xué)習(xí)算法對(duì)圖像進(jìn)行分類和分割，而3D掃描用于確定機(jī)器人抓手的路徑。（圖片來(lái)源：Chao Chen）

當(dāng)出現(xiàn)一幅新圖像時(shí)，模型圍繞圖像的每個(gè)部分創(chuàng)建一個(gè)感興趣區(qū)域（ROI），認(rèn)為這是一個(gè)蘋果。所有被認(rèn)為包含一個(gè)蘋果的ROI，被分類為前景類，圖像的其余部分被歸為背景類。

為了訓(xùn)練基于深度學(xué)習(xí)的LedNet水果檢測(cè)器模型，研究人員使用微軟的Kinect-v2相機(jī)，從青島的一個(gè)果園采集了800張圖像。他們還在果園以外的場(chǎng)景中收集了300張?zhí)O果的圖像和100張不含有蘋果的圖像。他們從這些圖像中選擇了800張圖像用于訓(xùn)練。

在他們的第二篇論文《蘋果園環(huán)境中的水果檢測(cè)、分割和三維可視化》中，研究人員描述了該系統(tǒng)的改進(jìn)：通過(guò)為此目的創(chuàng)建一個(gè)特定的NN模型，增加了檢測(cè)樹(shù)枝的能力。分析每個(gè)蘋果的幾何特性并確定蘋果相對(duì)于相機(jī)的姿勢(shì)，需要深度信息。因此，研究人員使用了英特爾的RealSense D-435相機(jī)與羅技的網(wǎng)絡(luò)攝像頭C615。

在他們的第三篇論文《自主采摘蘋果的視覺(jué)感知和建模》中，研究人員描述了水果檢測(cè)和3D建模算法的第三次迭代，以及新機(jī)器人控制框架的創(chuàng)建。該系統(tǒng)使用優(yōu)傲機(jī)器人（Universal Robots）公司的UR5機(jī)械臂進(jìn)行測(cè)試。該機(jī)械臂裝有一個(gè)定制設(shè)計(jì)的末端執(zhí)行器采果器；一臺(tái)IntelRealSense D-435 RGB-D相機(jī)；一臺(tái)運(yùn)行Ubuntu 16.04 LTS操作系統(tǒng)的計(jì)算機(jī)，該計(jì)算機(jī)中帶有NviDIA的GTX-1080Ti GPU或Jeston-X2模塊；此外該系統(tǒng)中還包含一個(gè)Arduino Mega-2560 PLC。

圖2：莫納什大學(xué)的研究人員開(kāi)發(fā)了一種算法，該算法結(jié)合了物體檢測(cè)、3D建模和最佳路徑預(yù)測(cè)，使機(jī)器人能夠成功地采摘水果。

新系統(tǒng)將UR5機(jī)器人手臂和英特爾RealSense D-435相機(jī)部署在一個(gè)定制的四輪車上（見(jiàn)圖3）。該系統(tǒng)運(yùn)行在戴爾Inspiron PC上，配有英特爾i7-6700 CPU和NviDIA GT-1070 GPU，機(jī)器人控制器再次運(yùn)行Kinetic版本的ROS和LinuxUbuntu 16.04。一個(gè)RealSense通信包連接了相機(jī)、機(jī)器人和PC。

圖3：莫納什大學(xué)的蘋果采摘系統(tǒng)。

Soft end-effector——柔軟的末端抓手

Vision camera——視覺(jué)相機(jī)

Mobile base——可移動(dòng)的四輪車

Manipulator——機(jī)械臂控制單元

Control box——控制盒

在這項(xiàng)最終研究的結(jié)論中，研究人員指出，未來(lái)的工作包括進(jìn)一步優(yōu)化視覺(jué)算法，以提高準(zhǔn)確性、穩(wěn)健性和速度，并優(yōu)化機(jī)器人手臂的定制末端執(zhí)行器，以提高其靈活性和成功抓取蘋果的能力，以應(yīng)對(duì)各種實(shí)際挑戰(zhàn)。

END