基于機器人視覺的快遞分揀系統設計與試驗

《基于機器人視覺的快遞分揀系統設計與試驗》由會員分享，可在線閱讀，更多相關《基于機器人視覺的快遞分揀系統設計與試驗（84頁珍藏版）》請在裝配圖網上搜索。

1、 本科畢業論文（設計） 論 文 題 目 ：基于機器人視覺的快遞分揀系統設計與試驗 本科畢業論文（設計）專用 摘 要 隨著電子商務行業的發展，包裹遞送量不斷增加，使傳統的分揀自動化機器人面臨壓 力，并限制了它們跟上需求的能力。作為回應，將視覺智能系統與這些機器人集成可以提 高效率并降低成本。對此，本文提出了一種基于機器視覺和機器人技術的快遞箱自動分類 系統，實現快遞盒的自動分揀和分類，可以分揀不同尺寸的快遞盒，提高分揀效率和準確 性。本文主要研究內容主要集中于以下幾個方面： (1) 研究采用 HALCO

2、N 視覺軟件獲取快遞箱的深度信息，進而提取出快遞箱的長度、 寬度、高度和體積等信息，并通過九點標定算法和仿射變換得出快遞箱的坐標信息，通過 socket 通信將坐標信息傳輸給 ABB 機器人，實現機器人的精確抓取和分類。 (2) 實現對快遞盒的自動分類，編寫一套控制機器人動作的程序，開發相應的軟件程 序來實現這一目標，程序將指引機器人對快遞盒進行自動分類。這些程序需要與攝像頭、 傳感器和其他設備協調，以確保分揀操作順利進行。 (3) 使用 C#語言開發 WinForm 界面，實現對整個快遞分類流程的控制。利用 C#語言 創建 WinForm 接口，用于控制整個快速分類過程。讓快遞自動分類更

3、簡單流程化。 使用 ABBIRB1410 型號的工業機器人、工業相機、光源、光源控制器、主控電腦等硬 件組成了機器人分揀系統，提出了一種基于機器視覺和機器人技術的快遞箱自動分類系統， 將視覺智能系統和機器人技術集成，以應對快遞遞送量不斷增加的挑戰。本文的研究成果 可以代替人工進行快遞分揀搬運，提高快遞盒的自動分揀和分類效率和準確性，具有廣闊 的應用前景和市場價值。 關鍵詞：機器視覺；快遞分揀；工業機器人；C#；工作站集成設計。 Abstract As the e-commerce industry grows, package delivery volumes

4、are increasing, putting traditional sortation automation robots under pressure and limiting their ability to keep up with demand. In response, integrating visual intelligence systems with these robots could improve efficiency and reduce costs. In this regard, this paper proposes an automatic sor

5、ting system for express boxes based on machine vision and robot technology to realize automatic sorting and classification of express boxes, which can sort express boxes of different sizes and improve sorting efficiency and accuracy.The main research content of this paper mainly focuses on the fol

6、lowing aspects: (1) The study uses the HALCON vision software to obtain the depth information of the express box, and then extracts the length, width, height and volume of the express box, and obtains the coordinate information of the express box through the nine-point calibration algorithm and af

7、fine transformation. The socket communication transmits the coordinate information to the ABB robot to realize the precise grasping and classification of the robot. (2) Realize the automatic classification of express boxes, write a set of programs to control the movement of the robot, and develo

8、p corresponding software programs to achieve this goal. The program will guide the robot to automatically classify the express boxes. These procedures need to be coordinated with cameras, sensors and other equipment to ensure that sorting operations run smoothly. (3) Use C# language to develop

9、 the WinForm interface to realize the control of the entire express classification process. Create a WinForm interface using C# language to control the entire quick classification process. Make the automatic classification of express delivery easier and more streamlined. A robot sorting system

10、is composed of ABB IRB1410 industrial robot, industrial camera, light source, light source controller, main control computer and other hardware, and a express box automatic sorting system based on machine vision and robot technology is proposed. Integrate with robotics to meet the challenge

11、 of increasing express delivery volume. The research results of this paper can replace manual express sorting and handling, improve the efficiency and accuracy of automatic sorting and classification of express boxes, and have broad application prospects and market value. Key words: machine vi

12、sion; Express sorting; industrial robots; C#；Workstation-integrated design. 本科畢業論文（設計）專用 目 錄 1 引 論 1 1.1 研究目的及意義 1 1.2 國內外研究現狀 2 1.3 設計的主要內容 3 1.4 章節安排 4 2 機器人視覺的快遞分揀系統設計 6 2.1 視覺分揀系統方案設計 6 2.2 系統軟硬件集成設備選型 6 2.3 光學方案設計 12 3 Halcon 視覺圖像處理 15 3.1 Halcon 視覺軟件工作總體流程 15 3.

13、2 相機的標定 20 3.3 系統的通信方式 23 3.4 快遞的定位轉換 25 4 VS2019 的 WinForm 窗體設計 30 4.1 上位機開發功能要求 30 4.2 以 C#格式導出 Halcon 程序 30 4.3 配置環境 30 4.4 Winform 界面設計 34 4.5 窗體界面的顯示邏輯 35 5 ABB 機器人路徑算法設計 37 5.1 ABB 機器人工作總體流程 37 5.2 ABB 機器人 Halcon 通訊設置 37 5.3 ABB 機器人離線程序設定 39 6 工作站聯合調試試驗 41 6.1 程序調試 41 6.2

14、 軟件打包發布 41 7 結 語 46 參考文獻 47 致 謝 48 附 錄 49 附錄一：Halcon 機器視覺算法設計及說明 49 附錄二：ABB 機器人詳細離線程 54 附件三：VS2019 的 WinForm 算法設計及說明 59 附 圖 79 附圖一：UI 界面圖 79 本科畢業論文（設計）專用 1 引 論 1.1 研究目的及意義 近年來快遞量的持續增長，物流服務的質量和水平仍有待提高。要提高我國郵政業的發 展水平和國際競爭力，必須在郵政業實行全面、精細化的管理。智能分揀系統由物流自動化 設備、信息傳輸、倉儲控制、管理系統組成，是快遞

15、物流系統的重要組成部分，也是保障整 個物流系統高效運行的重要基礎設施。其主要功能包括自動揀選、自動包裝、自動分揀，可 由計算機遠程監控或管理。研究快遞物流分揀環節自動化技術，可以為郵政行業的自動化生 產提供新技術、新產品，提高企業的經濟效益。視覺識別技術是機器人分揀系統的核心組成 部分，涉及計算機采集圖像信息、分析圖像信息、提取有價值的信息等關鍵技術。通過分析 與研究圖像特征與分類之間的關系，進而獲取目標區域特征信息進行識別和分類，下面是分 揀機器人正在在進行分揀作業。（圖 1.1） 圖 1.1 產線上的視覺分揀機器人 機器人視覺作為一種新興技術，可以應用于自動化生產領域，用于物體識別

16、、跟蹤、分 類和計數。機器人視覺的關鍵在于實現物體識別和定位、跟蹤，并確定目標物體的位置和運 動方向，主要任務是目標對象檢測和分割。主要包括：（1）獲取和處理圖像中的顏色、灰度、 紋理等各種信息;（2）對加工目標進行分類;（3）對檢測到的目標對象進行計數和識別等基本 操作。在分揀過程中，機器人視覺不僅可以對貨物進行分揀，還可以對自動分揀系統中各種 傳感器檢測到的各種產品的規格和尺寸進行準確判斷和分類。實現不同產品之間或單個項目 之間的信息相互傳遞，部門之間的指令和信息傳遞，也需要不同的技術手段。機器人視覺可 以檢測并自動分類不同的產品或相同的產品。它在分揀過程中起著至關重要的作用，不僅實 現了

17、自動化物流系統中貨物的分揀功能，而且按照一定的程序和規則將貨物分揀或運輸到指 定位置。 本文設計一種可以應用于自動識別分揀小物件快遞盒和快速分揀系統。在進行貨物分類 處理時，快遞公司的工作人員將先前已經分好相同地區的商品再進行分配，快遞公司的工作 人員將產品放到傳送帶上，經過機器視覺識別器掃描后，將商品放到自動運輸機器上，到了 出貨站臺后自動運輸機器會把托盤升起使機器上的商品落到出貨口，集中配送。[7] 9 本科畢業論文（設計）專用 通過對快遞包裝進行圖像采集，采用了圖像處理中常用的閾值分割方法、邊緣檢測、形 態學操作、閾值分割、形態學操作以及特征提取方法來對包裹和包裝

18、箱進行分類識別。根據 用戶對快遞單信息錄入要求，設計了一種用于處理快遞數據信息并且能對快遞圖像數據信息 進行處理的系統模塊；該智能分揀系統可以自動識別單快遞盒和包裝箱等不同類別和不同大 小的物品進行分揀； 1.2 國內外研究現狀 自 20 世紀以來，快遞行業飛速發展，智能物流發展迅速，國家政策也在不斷出臺鼓勵創 新。國內也在不斷學習技術并進行開發，以保證物流行業的高速發展。隨著人工智能技術在 各企業間的推廣應用，機器人視覺技術的發展也逐步成熟。我國研究的自主式智能快遞機器 人系統由三部分組成：控制中心、末端執行器、服務機器人。機器人視覺技術在各行各業得 到廣泛應用，主要是為了提高生產效率和

19、自動化程度，并且能有效避免人為失誤；其次是降 低人工成本、減輕勞動強度、實現機器換人等特點。隨著人工智能和信息科技的不斷發展， 機器人系統被廣泛運用于物流、倉儲等領域中，目前已有很多優秀品牌采用了自主研發機器 人來代替人工對貨物進行分揀作業。國內快遞行業正處于快速發展時期且各大快遞公司均在 不斷投入大量資金完善設施設備。[2] 目前國內已經有了許多分揀中心與自動化設備供各大快遞公司使用，并且已經取得了良 好成效。隨著人工智能技術和信息科學技術的迅速發展，機器人系統可以有效代替人工工作 并降低人力成本；同時也是對傳統的機械化流水線進行升級改造的過程。近年來隨著物流行 業快速發展使得快遞行業業務

20、量激增而機器人系統無法滿足日益增長的快件數量所造成的設 備及人工成本增加是導致我國快遞分揀中心智能化水平不斷提高的重要原因之一；同時我國 物流業快速發展、物流業相關服務體系不斷完善也是對物流行業轉型升級、提高物流行業自 動化程度起到促進作用。目前我國已經有了許多專業從事物流設備研發與生產、運營管理等 方面工作人員。其中就包括從事機器人系統研究、開發、制造及技術服務等工作人員；同時 從事機械自動化工程設計人員；從事相關設備研究及應用開發人員以及從事物流企業相關從 業技術與管理人員等；這些人通常擁有高學歷和扎實的專業技能與技術經驗。 與國外的機器視覺和人工智能領域進行比較，我們可以對國外幾種典型

21、視覺識別系統進 行分析和應用研究： 美國：Eclipse 公司的自動分揀系統（Automatic Segmentation System, ASS），通過基于圖 像的信息識別技術，實現自動分揀和貨物定位。 日本：豐田物流公司的倉儲設備中，利用機器視覺識別系統技術來對分揀出來的貨物進 行分類。 德國：Deeplearningen 公司通過計算機視覺識別系統來實現對貨物的分揀。 法國：Eclipse 公司使用工業相機和機器視覺技術來實現貨物的識別。 澳大利亞：Australian Technology 公司開發出一種可以將計算機視覺技術與 RFID 相結合 使用并集成到機器人揀選中的機器人

22、系統?？萍级挤奖懔巳藗內粘Ｉ詈涂爝f行業的發展。 盡管國內快遞行業已經取得了一定的成效，但是有些企業采用的是傳統的人工分揀方式， 成本高、效率低，同時易出現人為失誤，影響服務質量。所以提高快遞分揀中心的速度，降 低成本，提高服務質量，是快遞行業需要解決的問題。 目前國內的物流企業已經開始進行自主研發機器人快遞系統，例如順豐、圓通、中通等。 這些公司不斷引入新技術，提高其設備和機器人的智能化程度，提高快遞分揀中心的自動化 水平。在這些企業的帶動下，中國快遞業的自動化水平也在不斷提高。 總的來說，隨著人工智能技術和信息科技的不斷發展，機器人系統將在物流、倉儲等領 域中被廣泛運用，快遞

23、行業也將會實現從人工分揀到機器人分揀的轉變。我國快遞行業還需 要不斷加強技術研發和人才培養，提高自主創新能力，以適應快速發展的市場需求，推動快 遞行業的轉型升級和可持續發展。 1.3 設計的主要內容 （1）機器人視覺快遞分揀系統設計與測試方案，討論研究的目標以及對高效準確的快遞 包裹分揀系統的需求，為研究所需的實驗工作場景選擇合適的軟硬件設備，建立工作操作平 臺，連接系統與集成系統形成整體。設計系統的關鍵部件，包括攝像頭和視覺分揀一體化的 空間布局，開發可靠高效的系統，可以準確分揀快遞包裹。 （2）快遞分揀系統光學平臺的設計與構建，確定需要分揀的快遞員的尺寸范圍，選擇合 適的硬件和軟件來

24、設計和構建光學平臺，選擇光學載物臺的三個主要組成部分：光源、相機 和鏡頭，再校準相機以獲得快遞尺寸和位置的準確測量值，確保快遞可以清晰地成像和提取， 以便在后續章節中進一步處理。 （3）設計基于 HALCON 機器視覺的快速定位與抓取算法，描述 Halcon 軟件的整體工作 流程，利用處理圖像的算法提取快遞的深度信息，得到快遞的長度、寬度和高度，以及快遞 的體積，使用九點標定算法獲取快遞的坐標點，就可以通過 socket 通信發送到機器人的交互 端，實現快遞盒分揀和快遞盒的定位。 （4）使用 C#作為編程語言工具，編寫基于 Halocn 程序的 VS2019 WinForm 界面設計 配置

25、打包 Halocn 程序并配置語言環境，根據實驗要求設計 Winform 界面，控制快遞分揀 全過程。 （5）快速定位和抓取的機器人工作流程，詳細介紹 ABB 機器人的工作流程，包括機器 人坐標系的建立、機器人的軌跡規劃、機器人的抓取和放置，針對快遞箱的不同尺寸和重量 調整機器人的工作參數，編寫相應的程序來控制機器人的動作，實現機器人的自動分類功能， 與攝像頭、傳感器等設備協調，確保機器人的分揀作業能夠順利完成。 1.4 章節安排 圖 1.2 技術路線流程圖 第一章，首先介紹研究的目的和意義，解釋了該主題的研究方向，通過研究目的介紹了 機器人視覺快遞分類的研

26、究進展，并總結了國內外快遞分類技術的發展和實現方向。 第二章本章主要探討機器人視覺快遞分揀系統的設計和測試方案。研究的目標是開發一 個高效準確的系統,能夠快速分揀各種大小和形狀的快遞包裹和遞分揀系統光學平臺的設計和 構建。為了實現這個目標,我們針對研究所需的實驗工作場景,具體選取了合適的軟硬件設備。 光學平臺是系統的關鍵組件,因為它捕獲快遞的圖像以進行進一步處理。為了確保準確高效的 分揀,我們首先確定需要分揀的快遞的尺寸范圍。根據實驗的要求,選擇合適的硬件和軟件來設 計和構建光學平臺。光學平臺由三個主要部件組成：光源、相機和鏡頭。光源為快遞提供照 明,其選擇對于最大限度地減少快遞表面的陰影和

27、反射至關重要。根據快遞的尺寸、分辨率和 相應的視覺算法選擇相機。選擇鏡頭以優化圖像質量,并確保在相機的視野中準確捕獲快遞。 選擇硬件后,我們校準相機以獲得快遞尺寸和位置的準確測量值。校準過程包括測量相機的固 有和外在參數并獲得失真系數。校準結果用于校正相機捕獲的圖像,使其更準確并適合進一步 處理。根據快遞的高度、分辨率和相應的視覺算法進行特殊設計。這確保攝像頭能夠捕捉清 晰準確的快遞圖像,從而基于大小和形狀進行精確的分揀。此外,規劃視覺分揀集成的空間布局, 以確保系統的效率和準確性得到優化。這包括攝像頭、照明和其他組件的擺放,以確保整個快 遞分揀過程順暢無縫。機器人視覺快遞分揀系統的設計和測試

28、方案考慮了實驗的具體需求和 要求,開發出可靠高效的系統,能夠準確地分揀快遞包裹。通過設計和構建光學平臺,我們確?？?以清晰地成像和提取快遞,以便在后續章節中進一步處理。 第三章，視覺圖像處理、算法流程、視覺中標定的介紹，基于 HALCON 機器視覺的快遞 定位抓取，本研究的主要目的是通過應用圖像處理算法從快遞包裹中提取深度信息。具體來 說，這些算法旨在確定快遞的長度、寬度和高度，以及其整體體積。有了這些深度信息，系 統就可以利用九點校準算法和仿射變換來獲得快車的精確坐標。這項工作是自動分類和分揀 系統的關鍵組成部分，對系統的整體成功至關重要。 第四章，基于 Halocn 程序進行

29、 VS2019 的 WinForm 窗體設計。該設計主要以 C#作為編 程語言工具。概述了自動分類和排序系統中窗體設計開發的功能要求。它涵蓋了窗體設計必 須具備的關鍵特性和功能，以有效控制和監視系統的運行。介紹了以 C#格式導出 HALCON 程序的過程。這是開發 WinForm 接口的關鍵步驟，因為它支持將 HALCON 程序與接口的 C# 代碼集成。還有開發 WinForm 接口所需的環境配置。它涵蓋了軟件和硬件要求，以及必要的 設置和配置。首先打包好 Halocn 程序，以及配置好語言環境，再根據實驗的要求設計 Wimform 界面，釋界面的顯示邏輯，該邏輯決定了各種組件在屏幕上的顯示方

30、式。本節涵蓋了管理不 同元素的顯示并確保界面響應迅速且用戶友好的代碼。做好控制快遞分揀整個流程。 第五章，在本章中，將全面介紹 ABB 機器人的工作流程，包括坐標系建立、軌跡規劃、 抓取和放置等關鍵步驟。再針對不同尺寸和重量的快遞箱，將對機器人的工作參數進行優化， 以實現最佳分類效果。為實現機器人的自動分類功能，還將編寫相應的程序，控制機器人的 運動。在程序設計中，我們將充分考慮機器人的安全性、精確性和效率等因素。同時，我們 還需要與相機和傳感器等設備進行協調，以確保機器人的分類操作能夠順利完成。研究重點 在于如何實現機器人的精準定位和分類功能，解決機器人在處理快遞時可能遇到的尺寸差異 和重

31、量不同等問題，提高機器人的分類效率和準確性。 第六章，本章分為兩部分，重點介紹此過程涉及的關鍵步驟。重點是識別和修復系統軟 件組件中的錯誤所需的步驟。介紹如何使用調試工具和技術（如斷點、變量檢查和錯誤日志 記錄）來識別和解決軟件中的問題。還有自動分類和排序系統的軟件打包和發布過程。它涵 蓋了將軟件組件打包為可分發格式（如安裝程序或 zip 文件）所需的步驟。更是介紹了發布過 程，包括版本控制、文檔和測試。強調了徹底測試和文檔編制的必要性，以確保系統部署和 運行成功。主要目的是描述系統的聯調過程。 第七章，論文的結語提供了研究工作的總結，從獲得的結果中得出結論，提出了未來研 究的可能方向，并

32、強調了研究結果的實際意義。最后的發言表達了對那些為這項研究做出貢 獻的人的感謝，并以對該領域未來研究的希望聲明結束。 2 機器人視覺的快遞分揀系統設計 2.1 視覺分揀系統方案設計 視覺分揀機器人設計由多個系統組成，包括快遞傳輸、視覺采集、圖像和信息處理、機 器人和控制器等。不同尺寸的快遞通過托盤隨機放置在傳送帶上。（圖 2.1）CCD 攝像設備捕 捉到圖像在工業生產過程中，使用 Halcon 軟件識別目標物體的類型，通過算法提取實時坐標， 并將坐標信息傳輸給工業機器人。然后，機器人對工件進行相應的分類。 控制器 CCD 光源 快遞盒 PC 工業機器人 圖 2.

33、1 基于視覺機器人分揀系統示意圖 快遞的輸送單元由輸送機履帶和步進電機組成。快遞箱均為棕色，具有光澤，與工件傳 輸跟蹤箱托盤形成明顯的顏色對比。這種色差有利于快遞箱的識別和精確定位。 視覺部門包括工業相機、光學鏡頭和照明設備。視覺光源作為平臺的照明設備安裝在傳 送帶的兩側。充足的照明設備對于提高目標的成像效果，克服環境光干擾，確保圖像穩定性， 消除工件上的陰影至關重要。工業相機在傳送帶上連續捕獲目標工件，獲得的信息由 Halcon 軟件處理，以便工業機器人進行后續分類，把 Visual Studio 作為操作軟件界面。該接口可輕 松控制和監控整個系統，使包裹的分揀和交付更加高效和有效。

34、2.2 系統軟硬件集成設備選型 本次視覺分揀機器人中的控制單元與視覺設備選型分為兩種，一是硬件選型，二是軟件 選型。硬件選型為：工業機器人、控制柜、示教器、?？迪鄼C、條形光源、光源控制器、紅 外線感應器、繼電器。軟件選擇為：Halcon17.12 完成（圖 2.2）。Halcon 與 VS2019 開發完成 （圖 2.3）。 圖 2.2 HALCON12 開始界面 圖 2.3 VS2019 開啟界面 本課題選擇了中國 ABB 機器人分公司的一款名為 IRB-1410 型號機械手臂（圖 2.4）。該 機器人手臂具有卓越的性能，工作周期短，運行可靠，精度高，機器人手腕

35、荷重為 5kg。此外， 機器人上管還提供了獨有的 18kg 附加荷重。根據 ABB 官方網站提供的信息，該機器人末端 加上吸盤可以吸取的最大重量為 10 公斤，該項目中使用的工業機器人是一個多功能且適應性 強的系統，能夠容納一系列工藝設備。得益于其先進的定位技術，它擁有卓越的速度和精度， 可以進行調整以適應每個制造過程的獨特要求。此外，這種堅固可靠的機器人以其低噪音排 放、長使用壽命和最低維護要求而聞名。其廣泛的工作范圍、長范圍和緊湊的設計使其成為 高效的選擇，即使在狹窄或具有挑戰性的工作空間中也是如此。憑借其卓越的性能和適應性， 該工業機器人非常適合滿足該項目的需求。 圖 2.

36、4 IRB-1410 機器人 IRB1410 還配備了相應的機器人控制柜，如圖 2.4 所示。該控制柜支持以太網和串口通信。 同時，示教器功能也非常強大，包括通信暫停、功能復位、觸摸屏無效化和機器人系統重啟 等功能。機器人示教器是一種用于編程和控制工業機器人的工具，由一個手持式設備和一個 用戶界面組成，可以讓用戶直接控制機器人的運動和操作，而不需要編寫復雜的程序代碼。 使用機器人示教器，操作人員可以將機器人的動作記錄下來并保存為程序，然后這些程序可 以在后續的操作中被重復使用。這使得機器人的編程和操作變得更加簡單和高效，同時也提 高了生產線的靈活性和適應性。（圖 2.4） 圖 2.5

37、示教器 機器人的末端執行器可以配備不同的組件，例如真空吸盤（如圖 2.6 所示）和機械夾持器。 在該系統中，真空吸盤比機械夾具更實用、更高效。夾持器/吸盤工具是一種多功能復合工具， 可以將活塞銷的外圓表面夾在夾持器端的內側，并將卡展開以將連桿夾在外側。此外，當完 全關閉時，該工具的前端可以將活塞銷推入到位。 圖 2.6 真空吸盤 另一方面，吸盤工具用于夾緊活塞部分的上端面。吸盤的使用需要空氣壓縮機（如圖 2.9 所示）、真空發生器（如圖 2.8 所示）和電磁閥（如圖 2.7 所示）?？諝鈮嚎s機和真空發生器 為真空吸盤產生吸力，而電磁閥控制氣體通道的打開和關閉。該系統選擇了常

38、用的 NMPC 三 位兩位三通電磁閥。當機器人的吸盤用于抓取快遞時，電磁閥打開，當工業機器人將快遞放 下時，電磁閥關閉。 圖 2.7 電磁閥 圖 2.8 真空發生器 圖 2.9 空氣壓縮機 ?？低曄鄼C MV-CA050-12GC（圖 2.10）是一款高性能的工業相機，主要用于工業自動 化、機器視覺、數字圖像處理等領域。以下是對其詳細介紹： 分辨率和幀率：MV-CA050-12GC 采用 500 萬像素的 CMOS 圖像傳感器，最大輸出分辨 率為 2448×2048 像素，幀頻為 23.5fps@2448×2048 Mono8，可以實現高速捕捉和處理圖像數 據。 接口和輸出：該相機

39、支持 GigE Vision 接口，傳輸速率高達 1Gbps，具有較高的數據傳輸 穩定性和可靠性。并輸出格式支持 RAW、BMP、JPEG 等多種格式。 光學性能：該相機使用了高品質的鏡頭和濾光片，能夠提供高質量的圖像捕捉。此外， 它還支持多種自動曝光、自動白平衡等功能，可以適應不同的光線環境，并能夠實現自適應 亮度和對比度調節，使得圖像更加清晰和真實。 硬件和軟件支持：MV-CA050-12GC 相機可以通過 SDK 和 API 進行編程和控制，此外， 該相機還具備多種應用程序，如捕捉、觸發、調試等，方便用戶進行圖像處理和數據分析。 （圖 2.12）。 圖 2.10 外形

40、尺寸 圖 2.11 MV-CA013-20GC 相機 圖 2.12 12mm 鏡頭 在本課題中，我們需要選用合適照明設備。這種照明設備是條形光源，它有兩種形態： 高均勻性線性光源和復合線性光源。前者是照亮大型方形物體的理想選擇，而后者則提供了 根據需要組合顏色的靈活性。條形光源的長度和照明角度可調，適用于各種成像場景，尤其 是快遞包裹等涉及大型物品的場景。由于其多功能性，條形光源是這些領域專業人士的寶貴 工具。條形光源是任何需要高質量照明才能產生準確結果的機器視覺系統的關鍵組件。本次 試驗也是采用 WD MM 型號:DSL-144-22 條形光源（圖 2.13）。

41、19 圖 2.13 DSL-144-22 條形光源 圖 2.13 光源照度參考圖 條形光源具有高亮度 LED，其照明水平可以根據照度參考圖進行調整，同時可以靈活修 改照明角度以滿足特定要求。此外，增加的擴散板可確保更均勻、更柔和的光輸出。 本研究使用紅外傳感器（圖 2.14）來感應物體是否有無等其他參數。當紅外傳感器發出 信號時，信號要么被周圍物體吸收，要么被反射，傳感器根據反射時間和強度計算物體的位 置和距離。在本項目中，紅外傳感器用作硬觸發器，在必要時通過向相機發送信號來捕獲圖 像。 圖 2.14 紅外線傳感器 光源控制器：?？倒庠纯刂破鳎吞枮椤癕V-

42、VB2210-120G”（圖 2.15），主要負責控制光 源的亮度和開/關狀態。它配備了英特爾 E3845 SoC，配備 1.91GHz CPU，4GB DDR3L 內存和 高可靠性 SSD 存儲。它還支持多個光耦合器隔離輸入和輸出，并可通過光源接口控制光源的 開/關狀態和亮度。內置觸發器是一個數字輸入模塊，用于檢測外部信號，例如按下按鈕或光 傳感器檢測物體，并向光源控制器發送信號以觸發相應的操作?？刂破鞯某叽缛缦拢▓D 2.16） 圖 2.15 光源控制器 2.3 光學方案設計 圖 2.16 光源控制器尺寸 檢測快遞盒

43、以及標準，產品名稱：快遞盒（圖 2.17），產品尺寸：直徑長寬<50cm,產品 結構如下圖所示,產品檢測姿態：定點檢測，無運動。檢測標準:檢測快遞盒的長寬高，精度不 低于 0.1cm。 尺寸 24.7X17.2X43cm 圖 2.17 快遞盒尺寸 光學排布圖的設計，使用?？低曄鄼C MV-CA050-12GC 和 12mm 鏡頭與海康威視光源 控制器和條形燈一起（圖 2.18），FOV 是 80*60cm，單次曝光，10ms，相機安裝孔做成 U 型 長孔可進行適當的距離調整，光源支架做 C 型孔可進行適當的角度調整，

44、兩個相機中心分別 正對兩側快遞盒表面中心且光學聚焦面為快遞表面；光學排布圖可能會根據現場機構實際狀 態做優化調整，左側為正視圖，右側為側視圖。（圖 2.19） 圖 2.18 dome 平臺 圖 2.19 光學排布圖 視覺檢測流程，首先快遞盒移動到相機下，觸發紅外線傳感器進行拍照，隨后通過軟件 對圖像進行處理，對產品進行定位等操作，發送給 ABB 機器人一個信號，隨后機器人進行抓 取分揀。流程圖如下。 圖 2.20 視覺方案流程圖 3 Halcon 視覺圖像處理 3.1 Halcon 視覺軟件工作總體流程 在本設計中主要的圖像處理流程如下： (

45、1) 首先讀取圖像:使用讀取圖像函數 read image，并將其存儲在 lmage1 中。圖像路徑為 C:/Users/32923/Desktop/畢業設計/1.jpg”。 (2) 將 RGB 圖像轉換為灰度圖像:使用 rgb1 to_gray 函數將 lmage1 轉換為灰度圖像，并將結 2 果存儲在 Graylmage 中。 (3) 腐蝕處理: 使用 gray erosion rect 函數對 Graylmage 進行腐蝕處理， 并將結果存儲在 26lmageMin 中。 (4) 膨脹 處理: 使用 gray dilation rect 函數 對 ImageMin 進行

46、膨脹處 理， 并 將結果 存儲在 ImageMax 中。 (5) 閩值處理:使用 threshold 函數對 ImageMax 進行閩值處理，并將結果存儲在 Regions 中。 (6) 連 通 域 處 理 : 使 用 connection 函 數 對 Regions 進 行 連 通 域 處 理 ， 并 將 結 果 存 儲 在 ConnectedRegions 中. (7) 選擇形狀: 使用 select shape 函數從 ConnectedRegions 中選擇符合“ 面積在 734291 和 1.47756e+006 之間”的形狀，并將結果存儲在 SelectedRegi

47、ons 中。 (8) 填充區域:使用 fill up 函數對 SelectedRegions 進行填充，并將結果存儲在 RegionFillUp 中。 (9) 形狀 轉換 : 使用 shape trans 函數 將 RegionFillUp 轉換 為凸 包形 狀， 并 將結 果存儲 在 RegionTrans 中。 (10) 10.矩形開放:使用 opening rectangle1 函數對 RegionTrans 進行矩形開放，并將結果存儲在 RegionOpening 中 (11) 邊 界 處 理 : 使 用 boundary 函 數 提 取 RegionOpening 的

48、內 部 邊 界 ， 并 將 結 果 存 儲 在 RegionBorder 中 (12) 最小矩形處理:使用 smallest rectangle2 函數提取 RegionBorder 的最小矩形，并分別將結果 存儲在 Row、Column、Phi、Length1、Length2 中。 在進行圖像處理之前，第一步先要對快遞進行標定（圖 3.1），我們采用的方法是九點標 定，先要拍取實際標定板的圖像，得到的圖像通過預處理和 blob 分系得到九點的中心坐標， 這里使用中心點(x,y)。用工業機器人移動機械臂旋轉中心依次到第一個點，并且保存機器當 前坐標(X,Y),然后按照順序移動到第二個點，

49、保存坐標，以此類推，到最后一個點,坐標全部保 存起來利用剛剛保存的九點坐標和機器坐標，再用算子 vector_to_hom_mat2d 求出矩陣，把像 素坐標轉化成實際坐標，就可以確定相機鏡頭下的物體具體坐標，機械臂就可以實現精準抓 取。 圖 3.1 標定方法 第二步建立機器人與相機通訊（圖 3.2）。本次試驗中使用 socket 通訊，機器人充當服務 器，Halcon 充當客戶端。服務器使用 Sockek 對象創建偵聽連接，并通過 Bind 方法將其綁定 到一個 EndPoint 上。然后，使用 Listen 方法開始偵聽連接請求。當客戶端請求連接時，服務 器將創建一個新的

50、Socket 對象，并使用 Accept 方法開始通信。通信結束后，需關閉連接?？?戶端需要先創建一個 Socket 對象，然后使用指定的服務器 IP 地址和端口號創建一個 EndPoint 對象，以建立連接。接下來，使用 Connect 方法將連接請求發送到服務器，使用先前創建的 EndPoint 對象作為參數。 圖 3.2 建立通訊 成功連接后，客戶端使用 socket 對象方法向服務器發送信息（如圖 3.3 所示）。然后，客 戶端使用 socket 對象的 Receive 方法來接收服務器發送的信息。通信完成后，關閉套接字。一 旦 ABB 機器人收到 Halcon 發送的坐

51、標，它就會繼續抓取目標。在進行實驗以確定目標是否 已準確定位后，如有必要，對 X 或 Y 軸進行調整，直到到達中心點。 圖 3.3 信息接收 第三步是確定快遞盒的中心坐標。為此，首先對快遞盒像進行預處理，然后使用中值濾 波和高斯濾波、閾值分割、連接區域、區域選擇和區域填充運算符等過濾技術，以獲得快遞 的最小邊界矩形，也就是快遞件的矩形區域，隨后用 area_center 算子就可以求出快遞件中心 坐標，再通過中心坐標求出機器坐標 affine_trans_point_2d(HomMat2D,物體 Row,物體 Column, 得到機器 X,機器 Y）。同時另外一個相機拍照得到

52、高度 Z,Z 的實際值求出后，先計算機器人 基坐標中 Z 坐標在快遞平臺的高度，根據上升多少多少坐標與實際上升高度成比列進行轉換， 具體要根據現場調試，經過比列計算轉換成參數給到 Halcon 求出的實際高度，進行比列轉換 得到相應的高度坐標，之后統一把 X、Y、Z 通過字符發送機器人，便形成相應的空間坐標。 （圖 3.4） 圖 3.4 中心坐標轉換 舉例：快遞實際高度為 Q，快遞平臺的高度在機械手臂中基坐標 Z1 為 200，平臺高度加 上快遞高度在基坐標中為 200+X，則計算快遞在平臺中機械手臂坐標高度 X 比快遞實際高度 Q，得到的比例 X\Q，就可以根據 X\Q，再檢測

53、其他快遞的高度轉換成新機械臂坐標高度：z+Z1， 根據 X\Q，檢測其他快遞的高度轉換成新機械臂坐標高度：z+Z1。（圖 3.5） 圖 3.5 高度計算流程圖 第四步是 Halcon 圖像處理對快遞件的大小進行確定，實現不同大小進行分倉處理，先通 過 Halcon 對快遞進行預處理，再通過求出的最小矩形得到快遞盒的長寬大小，；另外一臺相 機同樣以這種方法得到快遞件的高度，這樣我們通過 Halcon 求體積的算法求出快遞件的體積。 Volume 為體積，根據像素數轉換為實際長、寬、高進行求體積。 具體程序如下： *求最小矩形 smallest_rectangle2 (Reg

54、ionBorder, Row, Column, Phi, Length1, Length2) *顯示產生任意方位的矩形-Length1 是矩形短邊（寬度）-Length2 是矩形的長邊（長度） *根據像素數，實際長度與圖像長寬計算出，實際長度為 15cm：real_length1:= Length * resolution resolution:= 0.01941 a:=Length1 b:=Length2 real_length1:= a * resolution real_length2:= b * resolution *快遞盒實際表面積為 area:=real_length

55、1*real_length2 *下一步計算體積 *resolution 為像素比 resolution:= 0.01941 c:=Length2 *實際的高度 real_length3:= c * resolution *real_length3 為實際高度，在基坐標中桌面高為 Z1（根據現場設置），坐標高/快遞實際 高比等于實際高度比 *設置平臺高坐標 Z=200,實際高度比 Heightratio=1.2,高坐標 Highcoordinates=平臺坐標高 High platform coordinates+實際高度比 Heightratio*實際的高度 real_length

56、3 Heightratio:=1.2 Highplatformcoordinates:=200 Highcoordinates:=Highplatformcoordinates+Heightratio*real_length3 *求體積的循環 volume volume := area * real_length3 隨后按不同體積進行分揀，識別完之后 Halcon 會給 ABB 機器人發送不同信號，機器人 通過不同信號進行編程，把快遞件搬運至不同信號的指定位置。 首先通過?？迪鄼C連續觸發拍照得到快遞件的圖像，試驗總共是三個快遞件分為，長寬 高各不相同。求體積的循環 volume 條

57、件一：體積大于等于 1500，高小于等于 15 執行 0 條件 二：體積小于 1500，高小于等于 15 執行 1 條件三：體積大于等于 1500，高大于等于 15 執行 2。 具體程序如下： *條件一：體積大于等于 1500，高小于等于 15 執行 0 if(volume>=1500 and real_length3 <= 15) Summ := '0' tuple_add (Highcoordinates+';',Summ, data) tuple_add (Sum1, data, out) send_data (Socket1, 'z', out, []) endif

58、 *條件二：體積小于 1500，高小于等于 15 執行 1 if(volume < 1500 and real_length3 <= 15) Summ := '1' tuple_add (Highcoordinates+';',Summ, data) tuple_add (Sum1, data, out) send_data (Socket1, 'z', out, []) *條件三 ：體積大于等于 1500，高大于等于 15 執行 2 endif if (volume >= 1500 and real_length3 > 15) Summ := '2' tuple_add (Hig

59、hcoordinates+';',Summ, data) tuple_add (Sum1, data, out) send_data (Socket1, 'z', out, []) endif 之后通過 tuple_add 算子把需要輸出的 xyz 坐標和相應的執行條件進行統一輸出，后面會 通過 ABB 機器人進行接收。（圖 3.6） 圖 3.6 坐標輸出 3.2 相機的標定 在本文中，相機校準過程使用九點標定方法（圖 3.7），這是機器視覺中機器人技術的一 個重要方面，因為它向機器人手臂提供有關操作對象的關鍵信息。物體識別與計算機視覺有 一些相似之處，但其他兩個方

60、面是機器視覺獨有的。相機校準是決定相機和機器人手臂之間 的相對位置和方向，姿態估計涉及計算物體在相機坐標系中的位置和方向，使機器人手臂能 夠準確抓取它。此校準過程對于將物體的世界坐標系轉換為機械臂坐標系至關重要，從而實 現準確的產品識別、定位和抓取。 攝像機 標定板 機械臂末端 機器人基座 圖 3.7 相機標定 九點標定的基本原理是將物體放置在工作區內的 9 個位置，并使用相機捕獲圖像以獲得 這 9 個點的機械和像素坐標。然后使用 halcon 運算符 vector_to_hom_2d 和 affine_trans_point_2d 計算仿射矩陣，前者獲得變換矩陣關系，后者執行

61、實際轉換。為確保準確的 2D 校準，確保相 機平面和物體平面盡可能平行且角度相同非常重要。 手眼校準過程是一個成熟的領域，旨在確定相機、工具、機器人手臂和世界坐標系之間 的變換矩陣。這是必要的，因為物體識別通常依賴于世界坐標系，而機械臂操作需要了解物 體在機器人手臂坐標系中的真實位置。如果機械臂包含夾持器，則需要進行額外的變換才能 將機械臂坐標系轉換為工具坐標系。因此，手眼校準涉及在機器人手臂的工作空間內捕獲不 同位置和方向的物體圖像，然后使用這些圖像來確定與不同坐標系相關的仿射變換矩陣。確 保相機平面和物體平面盡可能平行非常重要，以最大程度地減少二維校準過程中的誤差。手 眼標定分為兩類（圖

62、 3.8）： (1) Eye to Hand：相機在機器人外部固定，不用隨機械臂的運動而運動。 24 (2) Eye in Hand：相機在機械臂上，跟隨機械臂運動。 圖 3.8 Eye to Hand 及 Eye in Hand 標定 本課題中使用 Eye to Hand，就是眼在手外。 (1) 首先自己畫九個點（圖 3.9），點的中心是為了用于機械臂旋轉中心定位。 圖 3.9 九點標定板 (2) 把剛剛放圖打印出的標定紙進行拍照（圖 3.9）。 (3) 使用 halcon 把剛剛拍的標定板圖片進行圖像處理,獲取九個點的坐標，這里只使用了中心 點

63、(X,Y)。（圖 3.10） 圖 3.10 九點坐標 (4) 移動機械臂旋轉中心依次到第一個點，并且保存機器當前坐標(X,Y),然后按照順序移動到 第二個點，保存坐標，以此類推，到最后一個點,坐標全部保存起來。（圖 3.11） 圖 3.11 九點中機器人坐標 (5) 利用剛剛保存的九點坐標和機器坐標，求出矩陣 vector_to_hom_mat2d(九點行,九點列,機 器 X,機器 Y,HomMat2D) (6) 之 后 拿 個 物 品 ， 再 用 halcon 求 出 物 體 的 坐 標 ， 拿 著 物 品 坐 標 求 出 機 器 坐 標 affine_tr

64、ans_point_2d (HomMat2D, Row, Column, X, Y)。（圖 3.12） 具體程序如下： *實際的坐標點 Qx:=[-1.08,70.46,142.05,0.22,71.11,142.77,0.22,71.53,142.77] Qy:=[64.82,65.72,66.91,0.42,1.33,2.34,-64.24,-63.29,-62.27] vector_to_hom_mat2d (Column, Row, Qx, Qy, HomMat2D) affine_trans_point_2d (HomMat2D, 1572, 1770, Qx1, Qy1)

65、 *求快遞區域面積和中心點位置 area_center (Rectangle, Area, Row2, Column2) *坐標的轉化 affine_trans_point_2d (HomMat2D, Column2, Row2, Qx1, Qy1) tuple_string (Qx1, '-0.1f', String) tuple_string (Qy1, '-0.1f', String1) tuple_add (String+';', String1+';', Sum1) 圖 3.12 轉換坐標 X 和 Y (7) 機械臂移動到剛剛求出來的機器 X，機器 Y 即可，

66、如果有角度需求，直接補償計算出來 的角度即可，當前移動以及定位的精度和機械臂的重復定位精度和相機畸變較大關系有關系， 常規的工業相機畸變并不是很大，但是標定后會造成累積的邊緣誤差，導致邊緣的器件誤差 增大，同時機械臂重復定位精度會導致在標定時，移動的點位坐標出現誤差，從而也會累積 為隨機的系統誤差，所以現場需要根據實際誤差來進行最終調試。 3.3 系統的通信方式 本課題用 PC 普通計算機，用 socket 通信連接 ABB 機器人?？?ABB 機器人如何用 socket 與 Halcon 相連接，（圖 3.13）可以看到 socket 的基本用法，socket 的聲明、服務端與客戶端 的建立等等。Socket 通訊的流程： (1) 原始套接字的一種 TCP/IP，需要選項 616-1PC Interface (2) 先創建服務器端監聽，再創建客戶端連接服務器端； (3) 服務器端與客戶端建立端口對端口連接以后，就可以互相收發數據； 注意事項： (1) 無字符串終止符，而不是回車換行符/r/n (2) 消息的意外合并，注意發送數據留有間隙，或增加握手互傳信號 (3)