電子信息工程 智能移動垃圾分揀機(jī)器人

《電子信息工程 智能移動垃圾分揀機(jī)器人》由會員分享，可在線閱讀，更多相關(guān)《電子信息工程 智能移動垃圾分揀機(jī)器人（26頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、廣東東軟學(xué)院本科畢業(yè)設(shè)計（論文） 智能移動垃圾分揀機(jī)器人 The intelligent mobile garbage sorting robot 內(nèi)容摘要 本課題探討一種基于機(jī)器視覺識別技術(shù)的智能移動垃圾分揀機(jī)器人系統(tǒng)。該系統(tǒng)實現(xiàn)了簡單背景下進(jìn)行路徑規(guī)劃遍歷待清掃區(qū)域，目標(biāo)對象的識別和定位。系統(tǒng)采用深度學(xué)習(xí)的方法實現(xiàn)簡單背景下目標(biāo)垃圾的真實性識別，由目標(biāo)檢測模塊、導(dǎo)航模塊以及分揀

2、控制模塊三大部分組成。自動導(dǎo)航基于ROS分布式框架，采用激光雷達(dá)采集清掃區(qū)域環(huán)境信息，運用掃描匹配算法的SLAM功能，通過最優(yōu)路徑算法進(jìn)行路徑規(guī)劃遍歷清掃區(qū)域。機(jī)器人遍歷過程中，目標(biāo)檢測模塊通過SSD_ MobileNet_V2深度學(xué)習(xí)算法對攝像頭獲取的圖像進(jìn)行目標(biāo)檢測以及目標(biāo)分類，獲取目標(biāo)的坐標(biāo)及其角度信息作為分揀控制模塊的輸入信息，控制分揀控制模塊執(zhí)行垃圾抓取任務(wù)。 關(guān)鍵詞：機(jī)器視覺 垃圾分揀 深度學(xué)習(xí) 自動導(dǎo)航  Abstract This paper discusses an intelligent mobile garbage sorting robot system

3、based on machine vision recognition technology. The system realizes the path planning, traversing the area to be cleaned, and identifying and locating the target object in a simple background. The system uses the method of deep learning to realize the authenticity identification of the target garbag

4、e in the simple background, which is composed of three parts: the target identification unit, navigation unit and the sorting control unit. Based on the ROS distributed framework, automatic navigation uses lidar to collect the environment information of the cleaning area, uses the slam function of s

5、canning matching algorithm, and uses the optimal path algorithm to plan and traverse the cleaning area. In the process of robot traversal, the target recognition unit detects and classifies the image acquired by the camera through the SSD_MobileNet_V2 deep learning algorithm, obtains the coordinates

6、 and angle information of the target as the input information of the sorting control unit, and controls the sorting control unit to perform the garbage grabbing task. Key Words: Machine vision,Garbage sorting Deep Learning Automatic pilot  目 錄 第一章 緒論 6 1.1課題研究背景與意義 6 1.1.1研究背景 6 1.1.2研究

7、意義 6 1.2國內(nèi)外研究現(xiàn)狀 7 第二章 總體設(shè)計方案 9 2.1任務(wù)需求與功能分析 9 2.1.1任務(wù)需求 9 2.1.2功能分析 9 2.2系統(tǒng)構(gòu)成 10 第三章 硬件電路設(shè)計 11 3.1硬件選型 11 3.1.1導(dǎo)航模塊主控制板選型 11 3.1.2 攝像頭模塊選型 12 3.1.3 舵機(jī)選型 13 3.1.4激光雷達(dá)選型 14 3.1.5微控制器選型 14 3.2總體結(jié)構(gòu)分布 15 第四章 系統(tǒng)軟件設(shè)計 17 4.1目標(biāo)檢測模型制作 17 4.1.1前期準(zhǔn)備 17 4.1.2 模型建立與評估 17 4.2激光SLAM運用 19 4.2.1 S

8、LAM導(dǎo)航系統(tǒng)框架 19 4.2.2建圖系統(tǒng)框架 20 4.3軟件流程 21 第五章 系統(tǒng)調(diào)試 23 5.1模型訓(xùn)練設(shè)置 23 5.1.1數(shù)據(jù)增強(qiáng) 23 5.1.2模型訓(xùn)練 23 5.2性能指標(biāo)測試 24 5.3結(jié)論 25 參 考 文 獻(xiàn) 26 致 謝 27  第一章 緒論 1.1課題研究背景與意義 1.1.1研究背景 從2000年以來，中國在經(jīng)濟(jì)方面取得了飛速發(fā)展，雖然生活水平得到了顯著提高，但是優(yōu)質(zhì)生活所帶來的困擾也在不斷增加，特別是生活廢品、垃圾的飛速增長，導(dǎo)致我國逐漸成為受垃圾污染最嚴(yán)重的國家之一。有關(guān)部門統(tǒng)計表明，生活垃圾的產(chǎn)量與GDP增長存在一定

9、關(guān)系，隨著經(jīng)濟(jì)的飛速增長，人均生產(chǎn)垃圾也會隨之飛速增長，中國人口基數(shù)的龐大也是最重要的原因之一。在2019年國務(wù)院發(fā)布了一則重要通告，是有關(guān)于在全國地級城市進(jìn)行生活垃圾分類工作的重要指示，決定在2019年起對全國地級及以上城市全面啟動垃圾分類工作。盡管全國各地都在積極推動人民要積極進(jìn)行垃圾分類處理，也都采取了各種措施來實施垃圾分類，即使垃圾分類的重要試點——上海，推行相關(guān)政策20多年，但是從實際執(zhí)行的過程及效果來看，并沒有達(dá)到政府所預(yù)期的成果。綜合來看，居民對于垃圾的分類意識不強(qiáng)烈、分類知識欠缺、地方執(zhí)行監(jiān)管力度不夠嚴(yán)格、未從根源分類等都可能是造成分類效果不理想的原因。我們所面臨的難題依然：是

10、如何才能促進(jìn)發(fā)發(fā)明更加節(jié)省人力又有效的垃圾分類方式。 在許多發(fā)展中國家，垃圾分類和減量勢在必行，在這些國家，固體廢物的快速增長與處理能力不足之間的不平衡可能是一個挑戰(zhàn)。城市固體廢物管理是當(dāng)今城市社會面臨的一個重大挑戰(zhàn)，因為它占公共預(yù)算的很大一部分，如果處理不當(dāng)，會導(dǎo)致環(huán)境和社會問題。分類是指將生活垃圾放入不同的垃圾桶中，通過不同的清潔、運輸和回收方式，使其成為新的資源。但是自從出現(xiàn)了與人們亂丟垃圾導(dǎo)致水污染、生態(tài)災(zāi)害、大氣污染和垃圾圍城等有關(guān)的問題之后，環(huán)境在以我們控制不了的速度持續(xù)惡化，這種行為應(yīng)該得到制止。 由于西方國家和一些亞洲國家城市化水平相對較高，城市垃圾問題也就更早的顯現(xiàn)出來，

11、現(xiàn)在國外主流措施對垃圾的源頭控制、市場與經(jīng)濟(jì)調(diào)控。日本在垃圾分類處理方面屬于世界頂尖水平。由于日本的孩子從小就接受環(huán)保方面的教育，最主要的優(yōu)點是他們對垃圾分類方面的宣傳與教育，公共場諸如：公交車、地鐵等所都會用自帶的垃圾袋去裝垃圾。在分類方式上日本垃圾分類比較細(xì)致。他們本身就存在著非常完善的垃圾管理系統(tǒng)，對于居民源頭分類是最有效的辦法，居民分類指導(dǎo)、經(jīng)濟(jì)鼓勵性和強(qiáng)制性手段可促進(jìn)居民的源頭分類。 1.1.2研究意義 在這種形勢下，垃圾分類收集已成為當(dāng)務(wù)之急和現(xiàn)代化建設(shè)的必然趨勢。我們普通公民的義務(wù)是垃圾分類回收，這不單單是國家的職責(zé)，我們的家園應(yīng)該由我們每一個人保護(hù)。目前，分類垃圾桶在我國城

12、市街道上大部分只是貼有標(biāo)簽的普通垃圾桶，需要人為去識別垃圾種類，這種分類桶缺乏自控能力，再加上我國對垃圾分類宣傳力度不夠，可回收垃圾的種類是很多人的知識盲區(qū)，使其分類并沒有達(dá)到想要的結(jié)果，回收后的再次分類消耗了大量的時間，依然需要安排人力對其進(jìn)行處理。目前，人工垃圾分類效率低的缺點需要改進(jìn)，取而代之的是機(jī)器人抓取系統(tǒng)。 本課題研究的是一種智能移動垃圾分揀機(jī)器人，其基于機(jī)器視覺識別技術(shù) 掃描識別垃圾并抓取垃圾和通過路徑規(guī)劃遍歷清掃需要人工清理的區(qū)域。本系統(tǒng)由分揀控制模塊、目標(biāo)檢測模塊以及導(dǎo)航模塊三大模塊組成。導(dǎo)航模塊基于ROS分布式框架，機(jī)器人遍歷過程中，使用基于掃描匹配算法的SLAM功能，

13、利用安裝在地盤上的激光雷達(dá)采集掃描周圍區(qū)域環(huán)境的整體信息并進(jìn)行建圖，通過最優(yōu)路徑算法進(jìn)行路徑規(guī)劃遍歷需要代替人工清掃的區(qū)域。目標(biāo)檢測模塊是由計算機(jī)連接攝像頭，通過SSD_MobileNet_V2深度學(xué)習(xí)算法對攝像頭獲取的圖像進(jìn)行目標(biāo)檢測以及分類，分揀控制模塊通過處理后所獲取的目標(biāo)坐標(biāo)及其角度信息作為的輸入信息，控制執(zhí)行對垃圾進(jìn)行抓取任務(wù)。 1.2國內(nèi)外研究現(xiàn)狀 國外對于機(jī)器視覺技術(shù)的運用已經(jīng)相對成熟，尤其是工業(yè)化程度較高的國家。 如德國、美國、日本等國家，已經(jīng)被廣泛的應(yīng)用在其工業(yè)生產(chǎn)中，其技術(shù)及應(yīng)用已經(jīng)走在世界的前列。日本的研究學(xué)者曾設(shè)計一款可除雜草并收割蔬菜的機(jī)器人，其利用機(jī)器視覺系統(tǒng)

14、識別雜草的位置，在通過機(jī)械結(jié)構(gòu)割除的同時收割蔬菜。研究學(xué)者曾用傅里葉函數(shù)對收集的開心果圖片進(jìn)行圖像特征點提取，同時利用CNN卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)開心果的等級選擇，從這個事例中也可看出卷積神經(jīng)網(wǎng)絡(luò)可以提取更準(zhǔn)確的特征，實現(xiàn)對開心果的精細(xì)分類。早在二十世紀(jì) 90 年代，英國就基于機(jī)器視覺技術(shù)開發(fā)了一種蘑菇采樣機(jī)器人，利用圖像檢測和識別技術(shù)實現(xiàn)對蘑菇的識別、分類及定位。 在垃圾分類處理方面，荷蘭的一家機(jī)器人公司開發(fā)了一款垃圾分類機(jī)器人，該機(jī)器人的分揀系統(tǒng)都是由荷蘭已經(jīng)制造的現(xiàn)成的工業(yè)機(jī)器人零部件組裝而成，不僅可以對垃圾進(jìn)行分揀的同時，還能夠?qū)C(jī)器人上的各個部位進(jìn)行任意功能部件的添加，其所佩戴的新的測

15、量裝置，安裝在其機(jī)械臂上的攝像頭、能夠?qū)χ匚镞M(jìn)行測量的重量測量儀、觸覺反饋和金屬探測器所采集的綜合數(shù)據(jù)，不僅能對金屬、塑料、木材，甚至對混凝土等的較難判斷的軟質(zhì)物質(zhì)進(jìn)行分類，還能降低有害物質(zhì)對人體的危害。為機(jī)器人系統(tǒng)上電后，根據(jù)系統(tǒng)設(shè)定，可以讓機(jī)器人從各種各樣的垃圾中分揀出可回收以及不可回收利用的垃圾材料，將需要被分揀的廢品放在垃圾傳送帶上，機(jī)器人的機(jī)械手將廢品等垃圾揀起并通過機(jī)器視覺技術(shù)進(jìn)行分析，機(jī)器人將能識別出垃圾的種類，識別后放在不同的垃圾回收分類箱里。從而進(jìn)一步提高這種單雙臂機(jī)器人的識別和分揀成功率，對于環(huán)境保護(hù)和節(jié)省人員有巨大的優(yōu)勢。 在2019年11月09日，上海進(jìn)博會的ABB公

16、司展出了一款垃圾分類機(jī)械臂，整套系統(tǒng)是聽過一云計算、深度學(xué)習(xí)、邊緣計算以及機(jī)器人自動化 等前沿技術(shù)的綜合性應(yīng)用使其能夠默契配合，并以此實現(xiàn)了各種各樣垃圾包括瓶子、紙巾、塑料袋等識別和分揀的自動化和無人化。分揀堆區(qū)域的單機(jī)械臂ABB機(jī)器人負(fù)責(zé)把收集到的垃圾桶里的垃圾放入投料區(qū)并對它進(jìn)行精準(zhǔn)識別。隨后發(fā)送給分揀區(qū)的雙機(jī)械臂ABB機(jī)器人，最終實現(xiàn)垃圾的分類與回收工作。  第二章 總體設(shè)計方案 2.1任務(wù)需求與功能分析 2.1.1任務(wù)需求 在生活的垃圾回收處理系統(tǒng)中，垃圾分類是整個系統(tǒng)的關(guān)鍵過程，其速率能夠制約整個生產(chǎn)線的效率，因此垃圾分揀是最關(guān)鍵的環(huán)節(jié)。目前，全世界范圍內(nèi)的生活垃圾分揀

17、線主要還是是采用傳統(tǒng)的人工分揀的方式，以傳送帶將生活垃圾持續(xù)平鋪傳送，其兩側(cè)站立多名工人，以手動抓取的方式對垃圾進(jìn)行分揀。傳送帶不間斷運行，工人長期在垃圾旁邊進(jìn)行重復(fù)性的垃圾分揀工作，手工分揀工作不僅量大、自動化程度差，而且工人會因為長期的工作而容易疲勞，從而使垃圾分揀工作效率降低，且具有工作環(huán)境惡劣、有害垃圾對人體的傷害等弊端。因此，生活垃圾處理生產(chǎn)線急需采用自動化機(jī)器人系統(tǒng)替代人工分揀，將垃圾處理廠打造成無人化、智能化的智慧工廠。當(dāng)給前復(fù)雜環(huán)境下的目標(biāo)檢測識別是當(dāng)前機(jī)器視覺檢測 技術(shù)的關(guān)鍵難題，到目前為止，針對具有粘連和遮掩的目標(biāo)對象的分類，尚未有成熟的視覺處理產(chǎn)品可以滿足此需求。特別是

18、與工業(yè)機(jī)械臂實時配合的視覺辨識技術(shù)也沒有成熟的解決方案。本文以國內(nèi)當(dāng)前急需發(fā)展的環(huán)保產(chǎn)業(yè)為中心點，展開智能移動垃圾分揀機(jī)器人系統(tǒng)相關(guān)技術(shù)的討論，以實現(xiàn)無人化、垃圾分揀生產(chǎn)線智能化為目標(biāo)，最終還可將相關(guān)技術(shù)推廣運用到分類及物料智能辨識等相關(guān)行業(yè)領(lǐng)域，應(yīng)用面廣泛。 2.1.2功能分析 課題所述的智能移動垃圾分揀機(jī)器人系統(tǒng)需要將生活中的垃圾進(jìn)行識別分類，通過分類后的結(jié)果將垃圾進(jìn)行分揀處理回收，需要滿足以下需求： （1）能在穩(wěn)定充足的光照環(huán)境或者各種理想環(huán)境下，激光雷達(dá)掃描環(huán)境區(qū)域，進(jìn)行3D建圖，獲取周圍的環(huán)境信息。 （2）通過安裝在計算機(jī)上的攝像頭實現(xiàn)實時傳輸圖像功能，獲取符合要求的圖像數(shù)據(jù)

19、。 （3）計算機(jī)將在簡單理想環(huán)境下，對攝像頭所拍攝的實時情況進(jìn)行目標(biāo)檢測分類識別，并且將處理結(jié)果保存，最終進(jìn)行數(shù)據(jù)對比。 （3）機(jī)械臂能通過現(xiàn)有所組裝的元件實現(xiàn)對垃圾的分類和抓取或者通過氣泵吸取入桶。 （4）整個系統(tǒng)的功能模塊搭配密切，具有較好的穩(wěn)定性和抗干擾性，能夠持續(xù)穩(wěn)定的進(jìn)行整套流程的操作。 （5）該系統(tǒng)有一定的模塊可組可拆化，可以進(jìn)行拆卸、非核心部件的組合等，為后續(xù)的功能實現(xiàn)提供更大可能性。 2.2系統(tǒng)構(gòu)成 該基于機(jī)器視覺的智能移動垃圾分揀機(jī)器人系統(tǒng)主要包括：目標(biāo)檢測模塊、導(dǎo)航模塊、分揀控制模塊，下圖2.1所示是整個系統(tǒng)構(gòu)成圖： 圖2.1系統(tǒng)構(gòu)成圖 根據(jù)課題

20、開發(fā)了一款基于機(jī)器視覺識別技術(shù)的智能移動垃圾分揀機(jī)器人，該機(jī)器人的總體框架分為三大模塊：導(dǎo)航模塊、目標(biāo)檢測模塊以及分揀控制模塊。導(dǎo)航模塊由軟硬件結(jié)合構(gòu)成，分別為ROS 機(jī)器人操作系統(tǒng)和激光雷達(dá)。目標(biāo)檢測模塊硬件上由攝像頭、計算機(jī)構(gòu)成，軟件上由谷歌開源TensorFlow框架負(fù)責(zé)垃圾類別的目標(biāo)檢測。分揀控制模塊為能夠夾取垃圾的機(jī)械臂、吸附木板或者紙巾的氣泵。 智能移動垃圾分揀機(jī)器人的工作流程如下：首先，開啟網(wǎng)絡(luò)以及無線通訊系統(tǒng)，使機(jī)器人正常啟動。在進(jìn)行垃圾分揀前，將機(jī)器人放置于待清理的區(qū)域中，控制機(jī)器人行走整個待清理區(qū)域，讓機(jī)器人上的激光雷達(dá)掃描待清理區(qū)域的環(huán)境，使用上位機(jī)建立待清理區(qū)域的2

21、D平面圖，上位機(jī)建立完2D平面圖后，機(jī)器人將根據(jù)平面圖的自擬路線，按照導(dǎo)航模塊的指示，自動巡航整個待清理區(qū)域。機(jī)器人在行走的過程中，攝像頭會將每一幀圖像數(shù)據(jù)送達(dá)上位機(jī)，上位機(jī)的目標(biāo)檢測模塊將每幀圖像處理后的圖像計算取得特征數(shù)據(jù)，與經(jīng)過訓(xùn)練后的識別模型系統(tǒng)庫所存儲的垃圾圖集特征數(shù)值進(jìn)行對比，若對比后的特征值數(shù)據(jù)相似度超90%以上，目標(biāo)檢測系統(tǒng)則會將其判別為垃圾，控制器控制分揀控制模塊，使機(jī)械臂對垃圾進(jìn)行清理，往返循環(huán)。 第三章 硬件電路設(shè)計 3.1硬件選型 3.1.1導(dǎo)航模塊主控制板選型 導(dǎo)航模塊需要接收通過激光雷達(dá)采集的大量環(huán)境數(shù)據(jù)，進(jìn)行里程等大量數(shù)據(jù)計算，這要求處理器需要足夠優(yōu)秀的

22、運算能力。有以下兩種主控制板供選擇： 第一種是世界著名的Nvidia制造商旗下的JetSon Nano人工智能計算機(jī),如圖3.1所示。 圖3.1 JetSon Nano 這是一款個人便攜式設(shè)備，其主打低功耗，雖然使用了相比Pascal老一代的Maxwell架構(gòu)GPU，但是包含的128個視覺CUDA核心足夠應(yīng)付大多數(shù)小型嵌入式系統(tǒng)的視覺需求，在電量僅為5W的情況下能將運算浮點提高達(dá)到472 GFLOPS。其技術(shù)規(guī)格如下表3.1所示： 參數(shù)名稱 技術(shù)規(guī)格 GPU 128-core Maxwell CPU Quad-core ARM A57 @ 1.43 GHz 內(nèi)存 4

23、GB 64-bit LPDDR4 25.6 GB/s 存儲 視頻編碼 視頻解碼 攝像頭 連接 屏幕 USB 其他 引腳規(guī)格 microSD (not included) 4K @ 30 | 4x 1080p @ 30 | 9x 720p @ 30 (H.264/H.265) 4K @ 60 | 2x 4K @ 30 | 8x 1080p @ 30 | 18x 720p @ 30 (H.264/H.265) 1x MIPI CSI-2 DPHY lanes Gigabit Ethernet, M.2 Key E HDMI 2.0 and eDP 1.4 4

24、x USB 3.0, USB 2.0 Micro-B GPIO, I2C, I2S, SPI, UART 69 mm x 45 mm, 260-pin edge connector 表3.1 JetSon Nano技術(shù)規(guī)格 第二種是價格比較相對JetSon Nano較為低廉的樹莓派3B+，如下圖3.2所示： 圖3.2 樹莓派3B+ 其是一種基于ARM的小型個人電腦，相較于較早型號的樹莓派3B，CPU最高到達(dá)1.4GHZ，擁有更強(qiáng)的WIFI連接（支持5G頻段以及BT4.2&BLE）功能，無線連接支持5GHZ的WiFi頻段能夠使計算機(jī)操控樹莓派更加方便。其主要配置如下表3.2所示：

25、 參數(shù)名稱 技術(shù)規(guī)格 SOC Broadcom BCM2837BO GPU 64 位 1.4GHZ 以太網(wǎng) HAT 有線網(wǎng)絡(luò) WiFi 同等條件功耗測試 同等條件溫度測試 1000M 802.11AC 無線；2.4GHZ/5HZ 雙頻 WiFi 1.67A 81 表3.2 樹莓派3B+規(guī)格 由主控制器只用來控制驅(qū)動板塊和分揀控制模塊的運行，從性能方面，樹莓派3B+能夠勝任用來處理激光雷達(dá)傳輸數(shù)據(jù)的速度并同時進(jìn)行2D平面圖的繪制；從主機(jī)整體面積上測量方面，樹莓派3B+占用空間相較于JetSon Nano更小，更易于攜帶。從成本方面，樹莓派只有不到JetSon

26、Nano三分之一的價格，因此完全符合本課題的制作需求。 3.1.2 攝像頭模塊選型 題主要有兩種攝像頭供選擇，一種是可以進(jìn)行視覺導(dǎo)航、紅外掃描周圍環(huán)境的深度攝像頭；另外一種則是普通攝像頭，只用來進(jìn)行2D視頻的獲取。 第一種是來自Intel公司的D415/D435深度攝像頭，它的用途廣泛，能夠進(jìn)行物體識別、定位和跟蹤；實現(xiàn)現(xiàn)代流行的人臉面部識別、整只手臂骨骼的跟蹤和手勢控制。它的強(qiáng)大之處不僅僅在視覺方面，還包括了一個雙陣列高精度回音消除麥克風(fēng)。如下圖3.3所示： 圖3.3 D415深度攝像頭 D415規(guī)格如下表3.3所示： 參數(shù)名稱 技術(shù)規(guī)格 深度技術(shù) 主動紅外（IR）立體

27、 輸出分辨率 1280 x 720 深度流輸出幀率 90fps 最小深度距離 0.3m RGB傳感器分辨率和幀速度 30fps時為1920 x 1080 紅外信號發(fā)射器功率 可配置至達(dá)440毫瓦 表3.2 D415規(guī)格 第二種是CMOS Sensor攝像頭。RGB數(shù)據(jù)除了能表示紅綠藍(lán)三種顏色之外，各自色閾控制在0至255之間，還能表示任何一種由紅綠藍(lán)組合而成的顏色。 在本課題的機(jī)器視覺系統(tǒng)中，拍照部分由攝像機(jī)和鏡頭兩部分組成，因為所要分揀研究的對象是垃圾，所以需要快速且精準(zhǔn)的捕捉運動中的物體圖像，并且考慮其在實際操作中的空間限制等問題，本課題只需采用一般的攝像頭元器

28、件即滿足對自動垃圾分類的探索條件。機(jī)器視覺方面采用1/2.7 OV2710 CMOS Sensor。在一般情況使用下能夠保持較好的低照度，模組搭配1080P 1/2.7 " 3.6mm高清拍攝鏡頭，照度可達(dá)星光級0.038Lux。高速640X480@120fps，1280X720@60fps，1920X1080@30fps 。除了用于普通廣告機(jī)、視頻會議和高清監(jiān)控等領(lǐng)域，還能支持USB2.0 OTG協(xié)議和接入OTG設(shè)備。 3.1.3 舵機(jī)選型 本課題研究選取機(jī)械臂由自己組裝而成，采用5個MG996R型號的舵機(jī)來機(jī)械臂三自由度抓取。由于本次垃圾分為2類，所以旋轉(zhuǎn)機(jī)構(gòu)除了旋轉(zhuǎn)精度高、扭力較大之

29、外，還需要有較大的轉(zhuǎn)動角度。故依據(jù)實驗研究要求，本次選擇大扭力單軸數(shù)字舵機(jī)MG996R如下圖3.4所示： 圖3.4 MG996R舵機(jī) 另外其具有4.8V/9kg-cm的超大扭力，能實現(xiàn)180度大角度轉(zhuǎn)動，具體規(guī)格參數(shù)如下表3.4所示： 參數(shù)名稱 技術(shù)規(guī)格 扭矩 9kg/cm(4.8V)，11kg/cm(6V) 電壓 4.8 ~ 6V 齒輪類型 金屬齒輪 死區(qū) 速度 角度 重量 尺寸 5us (微秒) 0.19秒/60(4.8V)，0.18秒/60(6V) 180 55jigug 40.7mm19.7mm42.9mm 表3.4 MG996R規(guī)格參

30、數(shù) 3.1.4激光雷達(dá)選型 激光雷達(dá)購買了思嵐A1雷達(dá)，其在國產(chǎn)一些SLAM導(dǎo)航 項目中得到廣泛應(yīng)用，而且價格相對合理，測距的經(jīng)典范圍在0.15－12米，掃描角度為0－360，其性能參數(shù)剛好適合于實驗場景。性能參數(shù)如下表3.5所示： 參數(shù)名稱 技術(shù)規(guī)格 角度分辨率 ≤1 單次測距時間 0.5ms 測量頻率 2000-8000Hz可調(diào)節(jié) 掃描頻率 5-10Hz可調(diào)節(jié) 表3.5思嵐A1雷達(dá)參數(shù) 3.1.5微控制器選型 由于微控制器的得負(fù)責(zé)移動和接收樹莓派3B+反饋的數(shù)據(jù)進(jìn)行行走，并且需要進(jìn)行機(jī)械臂的控制，因此需要選擇頻率相對較高的微控制器。意法半導(dǎo)體開發(fā)的STM32

31、F405擁有168MHz頻率的主頻，采用ART自適應(yīng)實時存儲加速器，能夠完美釋放Corte-M4內(nèi)核的性能；當(dāng)CPU工作于所有允許頻率時，可以達(dá)到幾乎零等待周期的性能，并且擁有5個串口通訊設(shè)備，完全滿足課程需求。 3.2總體結(jié)構(gòu)分布 機(jī)械部分分為上下兩層結(jié)構(gòu)，第一層放置高性能筆記本，第二層放置其他模塊。主要由車輪、車架、目標(biāo)檢測模塊、導(dǎo)航模塊、分揀控制模塊五部分組成。 機(jī)器人總體結(jié)構(gòu)如圖3.5所示： 圖3.5機(jī)器人總體結(jié)構(gòu) 1) .樹莓派3B+：作為激光雷達(dá)的系統(tǒng)搭建，為了能讓機(jī)器人以最快速度的進(jìn)行導(dǎo)航，輕巧易于攜帶、性能好。 2) .OV2710攝像頭：采用1/2.7 CMOS

32、 Sensor。擁有很好的低照度，照度可達(dá)星光級0.038 Lux。模組搭配 3.6mm 1080P高清鏡頭。高速640X480@120fps，1280X720@60fps，1920X1080@30fps 。用于廣告機(jī)、視頻會議、高清監(jiān)控等領(lǐng)域；支持USB2.0 OTG協(xié)議，可接入OTG設(shè)備。 3) .舵機(jī)：主要用于使機(jī)械臂進(jìn)行運動，綜合速度與力度的考慮，最終選定了MG996R。 4) .思嵐A1激光雷達(dá):使用最高模式8000采樣頻率可以實現(xiàn)對環(huán)境的360度全方位掃描測距檢測，確保機(jī)器人快速度運動時地圖構(gòu)建的質(zhì)量并獲得周圍環(huán)境的輪廓圖，最后構(gòu)建2D平面圖。 5) .驅(qū)動控制微處理器：主要

33、用于控制減速直流電機(jī)。擁有頻率可達(dá)168MHz的STM32F405可以提高反應(yīng)的速度，縮短機(jī)器人清理垃圾運作時間。 6) .機(jī)器人上下層：為了便于對機(jī)器人進(jìn)行加工和組裝模塊，減輕機(jī)器人的整體運行重量，本課題采用了亞克力板作為機(jī)器人搭載硬件的主體。直徑32cm，厚度1cm的圓形。為了增大空間，機(jī)器人分為了上下兩層，第一層搭載高性能計算機(jī)、攝像頭、垃圾存儲盒以及機(jī)械臂；第二層搭載樹莓派3B+、STM32F405和電源等小型設(shè)備。 7) .車輪：用于運載所有設(shè)備，一個搭載在底部亞克力板的萬向和兩個在前方的動力輪。兩個動力輪帶有防止打滑的橡膠輪胎，提高機(jī)器人對于環(huán)境的自適應(yīng)能力。 8) .機(jī)械臂

34、和氣泵：用于拾取垃圾、紙巾和木板。 9) .高性能計算機(jī)：為了實現(xiàn)實時拍攝并且能夠盡可能地快處理每一幀照片與模型庫進(jìn)行對比，機(jī)器人使用性能較好的計算機(jī)。 10) .垃圾存儲盒：20cm*19cm*10cm的3D打印垃圾存儲盒。  第四章 系統(tǒng)軟件設(shè)計 4.1目標(biāo)檢測模型制作 4.1.1前期準(zhǔn)備 首先在上位機(jī)端安裝深度學(xué)習(xí)Tensorflow框架與Python語言框架進(jìn)行編程，Tensorflow是由谷歌公司發(fā)明的神經(jīng)網(wǎng)絡(luò)框架，是一個用于Python編寫的高級神經(jīng)網(wǎng)絡(luò)API，能同時支持循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)，兩者可以緊密組合，在CPU和GPU上無縫銜接運行，可以實現(xiàn)訓(xùn)練模

35、型的快速化訓(xùn)練和實現(xiàn)；把你的想法轉(zhuǎn)為實驗結(jié)果盡可能縮短時間上的限制。所以基于 Tensorflow框架搭建 CNN的有模塊化、簡單快捷、易擴(kuò)展性等特點。垃圾的圖像為瓶子、紙巾以及木板，但是這些原始圖像有一些外來干擾因素導(dǎo)致數(shù)據(jù)不符合模型訓(xùn)練的基本條件，因此需要對圖像進(jìn)行以下處理： 1) .清洗數(shù)據(jù) 首先，數(shù)據(jù)清洗指的是對圖像數(shù)據(jù)進(jìn)行檢驗和重新審查。為了保證圖像數(shù)據(jù)屬性的一致性問題，需要糾正原本存在未標(biāo)注、標(biāo)注的錯誤和刪除重復(fù)的圖像信息。首先，為了保證圖像的質(zhì)量問題，需要花費大量時間在人工查看圖像數(shù)據(jù)上，由于一些體型較大的垃圾，如木板，不易折疊縮小體積，使得整個圖像空間被占滿，算法模型會難以

36、提取其特征數(shù)據(jù)，導(dǎo)致訓(xùn)練后的最終模型不能進(jìn)行目標(biāo)檢測識別，從而導(dǎo)致數(shù)據(jù)和計算時間的浪費，需予以剔除。 第二是必須保持圖像數(shù)據(jù)一致性。因為在拍攝數(shù)據(jù)集的過程中，可能會有與待標(biāo)注垃圾的無關(guān)物品出現(xiàn)，因此要在多種環(huán)境、背景下進(jìn)行數(shù)據(jù)集采集。 2) .分類數(shù)據(jù) 在進(jìn)行圖像存儲時，需要將圖像保持在不同類別的文件夾，使垃圾類別與文件夾名字一一對應(yīng)。需要保證每張照片都分在對應(yīng)的類別中。 3) .分類數(shù)據(jù)二次采集 圖像數(shù)據(jù)經(jīng)過清洗和分類后，已經(jīng)初步滿足模型訓(xùn)練的基本要求，但是如果在訓(xùn)練過程中，出現(xiàn)識別率從高到低的大幅下跌曲線，可以確定是數(shù)據(jù)沒有得到完全準(zhǔn)確標(biāo)注或者數(shù)據(jù)集不夠完好，需要進(jìn)行二次采集。

37、 4.1.2 模型建立與評估 1) .交叉驗證數(shù)據(jù) 目標(biāo)檢測系統(tǒng)的搭建主要包括三個部分：數(shù)據(jù)讀取并進(jìn)行人工處理、模型訓(xùn)練以及最終版本的模型測試。數(shù)據(jù)讀取處理是利用交叉驗證法，把原本的數(shù)據(jù)集劃分為三個集合，分別為訓(xùn)練集、驗證集和測試集；并同時使用人工數(shù)據(jù)增強(qiáng)技術(shù)對訓(xùn)練數(shù)據(jù)加以增強(qiáng)來提升其模型的泛化能力。模型訓(xùn)練部分是通過預(yù)訓(xùn)練的SSD_MobileNet_V2 模型作為基礎(chǔ)框架搭建深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)，并使用經(jīng)過數(shù)據(jù)增強(qiáng)的訓(xùn)練集對模型進(jìn)行訓(xùn)練，且使用驗證集的數(shù)據(jù)驗證訓(xùn)練效果，也就是識別正確率的高低。模型最終測試部分，通過實際情況中拍攝的圖像檢驗最終模型的性能，以此確定模型的識別率。

38、 由于數(shù)據(jù)集的數(shù)量不是很充足，因此本課程將訓(xùn)練集的數(shù)量控制為1050張，驗證集和測試集都為225張，占比分別為70%、15%、15%，這樣劃分的目的是降低過擬合的發(fā)生幾率。 2) .SSD_MobileNet_V2深度卷積神經(jīng)網(wǎng)絡(luò) 本課題構(gòu)建基于SSD_MobileNet_V2模型的訓(xùn)練模型，主要框架與官網(wǎng)API的SSD_MobileNet_V2模型一致，但是分類的類型較少，因此保留了輸入層、池化層和個卷積層，去除了2個全連接層來防止過擬合的情況發(fā)生。如下圖4.1所示： 圖4.1 SSD_MobileNet_V2簡化模型 3) .模型訓(xùn)練 由于Adam模型訓(xùn)練算法有計算方便

39、實現(xiàn)、計算快速、內(nèi)存占用較少等優(yōu)點，因此選擇此算法為最佳模型訓(xùn)練算法。每個輸出概率所屬置信度，選用對損失函數(shù)進(jìn)行計算，具體公式（1）如下： _ = ?1∑ =1 + (1 ? ) (1 ? ) （1） 4.2激光SLAM運用 ROS機(jī)器人系統(tǒng)是一個以一個機(jī)器人編程框架，有別于Windows、Mac不同的是：它只是一個中間橋梁，負(fù)責(zé)在Linux與應(yīng)用程序之間進(jìn)行聯(lián)系。使得機(jī)器人的感知、控制算法和決策可以更好地組織和運行。ROS分為兩種版本，本課程選擇Kinetic作為樹莓派3B+的搭載版本，另一個版本是Indigo版本官網(wǎng)已經(jīng)不再進(jìn)行維護(hù)更新，對后期實驗具有很大影響。 4.2.1

40、SLAM導(dǎo)航系統(tǒng)框架 激光SLAM系統(tǒng)框架指的是在激光SLAM系統(tǒng)中，導(dǎo)航包RVIZ利用柵格地圖， Gmapping是基于濾波SLAM算法獲取激光雷達(dá)掃描的反饋的環(huán)境信息信息以及行走時編碼器里程計數(shù)據(jù)可動態(tài)的生成2D柵格地圖，里程計數(shù)據(jù)和激光雷達(dá)數(shù)據(jù)做出適合的路徑規(guī)劃和定位 ，最后轉(zhuǎn)換為機(jī)器人的速度指令。如下圖4.2所示，激光SLAM 系統(tǒng)的框架，方框是傳感器獲得的數(shù)據(jù)或者生成的數(shù)據(jù)，橢圓里為ROS節(jié)點所發(fā)布或者獲得的消息隊列。 圖4.2 SLAM導(dǎo)航系統(tǒng)框架 4.2.2建圖系統(tǒng)框架 如下圖所示4.3所示： 圖4.3 建圖系統(tǒng)框架 1) .數(shù)據(jù)輸入和運動模型確定 開啟

41、建圖RVIZ后，首先需要將獲取激光和里程計數(shù)據(jù)傳入ROS mapping中，傳入開源的 openslam濾波算法地圖 openslam gmapping 包中，在下一時間的建圖導(dǎo)航時，根據(jù)上一時刻計算的粒子位姿。通過里程計數(shù)據(jù)來確定距離，在初始值的基礎(chǔ)上，通過增加高斯采樣的噪點來預(yù)測現(xiàn)在時刻的粒子位姿，為下一時刻提前做數(shù)據(jù)準(zhǔn)備。 2) .掃描匹配與建議分布 Gmapping默認(rèn)采取40個采樣對每個粒子實行掃描匹配算法。掃描匹配的作用是為后面粒子權(quán)重更新做充分準(zhǔn)備以及計算，通過找出每個粒子在下一時間位姿，進(jìn)行位姿判斷計算機(jī)器人的精準(zhǔn)坐標(biāo)點。如果這個環(huán)節(jié)的掃描匹配失敗，則必須對粒子權(quán)重更新，并

42、采用默認(rèn)的似然進(jìn)行估計。通過混合觀測模型和運動模型的建議分布來使當(dāng)前粒子位置能夠滿足該均值方差的高斯分布，對于小于某閾值則進(jìn)行均值與方差的計算，根據(jù)上一步掃描匹配獲得的最佳坐標(biāo)來圍繞該坐標(biāo)取若干位置樣本距離差值。 3) . 粒子維護(hù)地圖與地圖更新 粒子會對運動軌跡進(jìn)行維護(hù)，這個步驟執(zhí)行的操作是更新每個粒子維護(hù)的地圖。需要在RVIZ中進(jìn)行地圖更新并進(jìn)一步獲取權(quán)重總數(shù)的判斷結(jié)果，通過結(jié)果來得到最優(yōu)的粒子使用權(quán)重，從而使地圖能夠在下一時刻得到膨脹更新和得到機(jī)器人最優(yōu)路徑軌跡。 4) . 權(quán)重計算與重采樣 更新之后，需要對每個粒子進(jìn)行權(quán)重更新和歸一化操作，對于重采樣前更新過一次重采樣后又會對其

43、再更新一次。使用有效塔板數(shù)來判斷是否對結(jié)果進(jìn)行重采樣處理，因為這樣會導(dǎo)致重采樣頻率越高和粒子退化越嚴(yán)重，也就是粒子的多樣性降低建圖精確度的降低，所以有必要設(shè)定一個判定值來改善粒子退化問題，提高建圖精確度。 4.3軟件流程 在上位機(jī)部分，開啟機(jī)器人攝像頭采集地面環(huán)境圖像，將采集后的圖像送往SSD_Mobile_V2進(jìn)行垃圾分類 ，分類后將分類結(jié)果以及垃圾位置送往樹莓派3B+，樹莓派3B+根據(jù)垃圾的位置已經(jīng)類別進(jìn)行導(dǎo)航，同時將結(jié)果發(fā)送給STM32F405控制機(jī)械臂的分揀工作，分揀完成并返回導(dǎo)航路線。如下圖4.4所示： 圖4.4 上位機(jī)控制驅(qū)動圖 在網(wǎng)絡(luò)良好、2D平面圖構(gòu)建完成后，

44、將智能移動垃圾分揀機(jī)器人置于初始位置。系統(tǒng)進(jìn)入初始狀態(tài)，根據(jù)SLAM規(guī)劃的路線 行走遍歷平面圖，行走過程中，上位機(jī)實時采集環(huán)境地面圖像并反饋信息給驅(qū)動，如果有垃圾出現(xiàn)，機(jī)器人全程避障并且通過SLAM導(dǎo)航移動到垃圾周圍，通過上位機(jī)反饋的垃圾類別選擇機(jī)械臂或者氣泵對垃圾進(jìn)行分揀。過程如下圖4.5所示： 圖4.5程序流程圖  第五章 系統(tǒng)調(diào)試 5.1模型訓(xùn)練設(shè)置 5.1.1數(shù)據(jù)增強(qiáng) 訓(xùn)練前期拍攝了1500張瓶子、木板和紙屑后，經(jīng)過主流的數(shù)據(jù)增強(qiáng)方法：旋轉(zhuǎn)變換反射變換、隨機(jī)修剪、色彩抖動、平移變換、尺度變換、翻轉(zhuǎn)變換、對比度變換、噪聲擾動 等。本次對訓(xùn)練集做了基本的圖片大小的

45、規(guī)定之外，還用了以下數(shù)據(jù)增強(qiáng)的方法：縮放、錯切變換、橫向平移和縱向平移、水平翻轉(zhuǎn)。具體參數(shù)如下表5.1所示： 數(shù)據(jù)增強(qiáng) 參數(shù)設(shè)置 縮放 50% 水平反轉(zhuǎn) 是 上下翻轉(zhuǎn) 是 填充模式 默認(rèn)模式 旋轉(zhuǎn) 30 橫向平移 20% 縱向平移 20% 錯且變換 30% 表5.1數(shù)據(jù)增強(qiáng)參數(shù) 5.1.2模型訓(xùn)練 經(jīng)過數(shù)據(jù)增強(qiáng)后，最終得到15000張圖像，將這些圖像進(jìn)行模型的訓(xùn)練。如下表5.2為模型訓(xùn)練參數(shù)設(shè)置表： 訓(xùn)練集 10500 張+圖像分辨率 640480 測試集 2250 張+圖像分辨率 640480 驗證集 2250 張+圖像分辨率 6404

46、80 訓(xùn)練次數(shù) 117864 圖像是否翻轉(zhuǎn) 否 學(xué)習(xí)率 4.0000e-3 表5.2 模型訓(xùn)練參數(shù)設(shè)置表 模型訓(xùn)練的損失函數(shù)值變化如下圖5.1所示，基本達(dá)到預(yù)期要求。 圖5.1損失值變化圖 5.2性能指標(biāo)測試 實驗采用 150 張圖像用于測試，其中標(biāo)定的瓶子總數(shù)目為 180 個。在測試時，以檢測結(jié)果與瓶子真實位置的交并比大于 0.5 判斷瓶子是否被成功檢測。目標(biāo)識別模塊 的技術(shù)性能要求包括：圖像檢測精度、圖像采集檢測速度兩方面。 主要技術(shù)性能指標(biāo)要求如下： 1) .圖像采集系統(tǒng)需要保持有效圖像采集幀率≥30幀/s； 2) .圖像采集系統(tǒng)需要保持有效識別范圍≥

47、1m地面上的有效面積； 3) .圖像采集系統(tǒng)需要保持采集計算時間抖動≤10ms。 測試時，當(dāng)瓶子真實位置與檢測結(jié)果的交并比大于 0.5 時，則判斷瓶子被成功檢測出來。 實驗所采用的評價標(biāo)準(zhǔn)為誤檢率和漏檢率，分別定義如下： 漏檢率% = 漏檢的目標(biāo)數(shù)量/總的目標(biāo)數(shù)量100%； 誤檢率% = 誤檢的目標(biāo)數(shù)量/目標(biāo)識別檢測到的數(shù)量100%； 在當(dāng)前的實驗環(huán)境中，目標(biāo)的預(yù)測角度 預(yù)測準(zhǔn)確，目標(biāo)的誤檢率為6%，漏檢率為8.67%，誤撿率低于 10%，基本滿足了智能移動垃圾分揀機(jī)器人系統(tǒng)課題要求。 表5.2實驗結(jié)果： 45 度內(nèi)（個） 誤檢率(個) 漏檢數(shù)（個） 誤檢率 漏檢

48、率 150 9 13 6% 8.67% 5.3結(jié)論 本課題提出了一套基于機(jī)器視覺的生活垃圾智能分揀機(jī)器人系統(tǒng)的總體設(shè)計方案，當(dāng)前雖然存在各種垃圾分揀機(jī)器人，但是大多數(shù)是不可自主移動導(dǎo)航或者只能按照特定路線進(jìn)行巡邏分揀的任務(wù)機(jī)器人。本課題針對這種現(xiàn)象，簡單介紹了智能移動垃圾分揀機(jī)器人的總體設(shè)計方案和實現(xiàn)過程，針對本方案中的導(dǎo)航模塊、目標(biāo)識別模塊和分揀控制模塊進(jìn)行展開說明，通過對各部分系統(tǒng)的軟硬件設(shè)計原理和實現(xiàn)過程進(jìn)行簡單描述，最后通過做出實物的方法，不僅驗證了嵌入式目標(biāo)識別算法SSD_MobileNet_V2的準(zhǔn)確性，而且通過系統(tǒng)在生活環(huán)境中的實際運行，驗證了系統(tǒng)設(shè)計的可行性。

49、充分突出我國可持續(xù)發(fā)展戰(zhàn)略，并構(gòu)建生態(tài)環(huán)境友好型社會的發(fā)展需求。 參 考 文 獻(xiàn) [1] 面向智能分類回收的塑料瓶機(jī)器視覺識別技術(shù)研究[D]. 浙江大學(xué), 2017. [2] 陳曉斐. 機(jī)器視覺技術(shù)在機(jī)械制造自動化中的應(yīng)用分析[J]. 中國設(shè)備工程, 2017(1):168-169. [3] 張慧, 王坤峰, 王飛躍. 深度學(xué)習(xí)在目標(biāo)視覺檢測中的應(yīng)用進(jìn)展與展望[J]. 自動化學(xué)報, 2017, 43(8): 1289-1305. [4] 兼容ROS的嵌入式實時機(jī)器人通信系統(tǒng)的設(shè)計與實現(xiàn)[D]. 哈爾濱工業(yè)大學(xué), 2018. [5] 易柯敏, 沈艷霞. 激光SLAM導(dǎo)航移動機(jī)器人定

50、位算法研究綜述[J]. 機(jī)器人技術(shù)與應(yīng)用, 2019(5). [6] Sandler M, Howard A, Zhu M, et al. MobileNetV2: Inverted Residuals and Linear Bottlenecks[C]// 2018. [7] Mur-Artal R, Montiel J M M, Tards J D. ORB-SLAM: A Versatile and Accurate Monocular SLAM System[J]. IEEE Transactions on Robotics, 2017, 31(5):1147-1163. [8]

51、 趙妍, 解迎剛, 陳莉莉. 基于SLAM算法的機(jī)器人智能激光定位技術(shù)的研究[J]. 激光雜志, 2019(7). [9] Rahman M A, Kapoor P, Laganiere R, et al. Deep People Detection: A Comparative Study of SSD and LSTM-decoder[C]// 2018 15th Conference on Computer and Robot Vision (CRV). 2018. [10] 韓凱, 張紅英, 王遠(yuǎn),等. 一種基于 Faster R-CNN 的車輛檢測算法[J]. 西南科技大學(xué)學(xué)報,

52、 2017, 32(4):65-70. [11] Kujala J V, Lukka T J, Holopainen H. Picking a Conveyor Clean by an Autonomously Learning Robot[J]. Computer Science, 2015. [12] 蔡漢明, 趙振興, 韓露,等. 基于SSD網(wǎng)絡(luò)模型的多目標(biāo)檢測算法[J]. 機(jī)電工程, 2017, 34(6):685-688. [13] Liu W, Anguelov D, Erhan D, et al. SSD: Single Shot MultiBox Detector[C]// European Conference on Computer Vision. 2016. 26