多規格板件分揀機器人工作站視覺系統設計

《多規格板件分揀機器人工作站視覺系統設計》由會員分享，可在線閱讀，更多相關《多規格板件分揀機器人工作站視覺系統設計（55頁珍藏版）》請在裝配圖網上搜索。

1、 本科畢業論文（設計） 論文題目 ： 多規格板件分揀機器人工作站 視覺系統設計 姓 名 ： 學 號 ： 班 級 ： 年 級 ： 專 業 ： 學 院 ： 指導教師 ： 完成時間 ： 本科畢業論文（設計）專用 摘 要 機器人視覺應用已在各領域有著越來越重要的作用，已然成為一種發展趨勢。而多規 格板件則是最常用和常

2、見的基本工件，若靠人力分揀各種板件則費時費力，并且存在這效 率不高，人工疲勞，易產生誤差等缺點。所以需要設計一種可以自動分揀多規格板件的工 作站，以便于提高效率，減少人工，并可以在惡劣環境中工作。 本文對三種規格板件進行工作站視覺系統識別，首先提出了對多規格板件分揀機器人 工作站和視覺系統的功能分析，并確定了工作站的總體方案和視覺系統的總體方案。確定 完方案之后對視覺系統所需硬件：工業相機、工業相機鏡頭、工業相機光源以及傳感器的 選型，下一步是用 halcon 以及 C#語言對視覺軟件程序的編寫，包括實現對圖像的處理以 及顯示，相機的標定還有深度學習等功能。為了讓視覺系統和工作站機器人形成一

3、個整體 系統，需要通過 PLC 來讓視覺系統和工作站進行通訊，確定通訊方式為串口通信，并且完 成通訊的程序編寫。最后是對 300 塊板件進行工作站視覺系統的識別測試，經過測試識別 率達到 95%以上，符合設計需求。 該工作站視覺系統對 wcgxy.5-1 安裝板 A、wcgxy.5-2 安裝版 B、wcgxy.5-2 安裝板 C 三種板件進行了視覺識別，相比于人工分揀，大大提高了效率，并且識別精度高，速度快 具有十分實用的價值。 關鍵詞：機器視覺；板件分類；圖像處理 · Abstract Robot vision applications have

4、 played an increasingly important role in various fields and have become a development trend. Multi-specification plates are the most commonly used and common basic workpieces, if you rely on manpower to sort various plates is time-consuming and laborious, and there are shortcomings such as low effi

5、ciency, artificial fatigue, and easy to produce errors. Therefore, it is necessary to design a workstation that can automatically sort multi- specification plates to improve efficiency, reduce labor, and work in harsh environments. In this paper, the workstation vision system identification of thre

6、e specifications of plates is proposed, and the functional analysis of multi-specification plate sorting robot workstation and vision system is proposed, and the overall scheme of the workstation and the overall scheme of the vision system are determined. After determining the solution, the hardware

7、 required for the vision system: industrial camera, industrial camera lens, industrial camera light source and sensor selection, the next step is to use halcon and C# language to write vision software programs, including the implementation of image processing and display, camera calibration and deep

8、 learning and other functions. In order to make the vision system and workstation robot form an overall system, it is necessary to use PLC to let the vision system and workstation communicate, determine the communication method as serial communication, and complete the program writing of communicati

9、on. Finally, the identification test of the workstation vision system was carried out on 300 plates, and the recognition rate reached more than 95% after the test, which met the design requirements. The workstation vision system visually identifies wcgxy.5-1 mounting plate A, wcgxy.5-2 mounting pla

10、te B, wcgxy.5-2 mounting plate C three kinds of plates, compared with manual sorting, greatly improving efficiency, and high recognition accuracy, fast speed has a very practical value. Key words: Machine vision;plate sorting; image processing 本科畢業論文（設計）專用 目 錄 1 緒 論 1 1.1 研究目的及意義 1 1

11、.2 國內外研究現狀 2 1.3 主要研究內容 3 2 多規格版分揀工作站的視覺系統方案設計 4 2.1 多規格版分揀工作站功能分析 4 2.2 多規格版分揀工作站總方案 4 2.3 視覺系統方案 5 3 視覺系統的硬件選型 6 3.1 視覺系統硬件方案 6 3.2 工業相機選型 6 3.3 工業相機鏡頭選型 8 3.4 工業相機光源選型 10 3.5 傳感器的選型 13 3.6 小結 13 4 視覺系統的軟件設計 15 4.1 軟件設計方案 15 4.2 相機標定 15 4.3 圖像采集 19 4.4 圖像預處理 19 4

12、.5 特征匹配和圖像識別 20 4.6 識別結果顯示 20 4.7 深度學習 21 4.8 小結 23 5 視覺系統的通訊設置 24 5.1 通訊協議選定 24 5.2 相機與 PLC 的通訊 24 6 系統測試 26 6.1 測試對象與樣本 26 6.2 測試過程 26 6.3 測試結果 38 7 結語 39 參考文獻 40 致 謝 41 附 錄 42 1 緒 論 1.1 研究目的及意義 近些年來隨著科技水平的不斷提高，我們正處于新型工業化的浪潮之中，而機器人工 程作為新工業化最主要的趨勢，機器人產業的需求也不斷

13、地擴大。在現代化技術不斷地提 高中，機器人技術也隨之日益增長，由人組成地勞動力已逐步被自動化設備以及機器人所 取代，因此機器人在各行各業扮演著越來越重要的角色，已然成為了未來發展的重要趨勢。 而機器人視覺系統作為構成機器人整體最主要的系統之一，其實用性和重要性不言而喻。 近些年來依靠電子科技和信息技術的發展，視覺系統也證再高速發展[8]。在不少領域比如 食品領域，已有高速機器人分揀系統視覺技術的研究，這些系統的研發提高了我國食品生 產效率，保障了食品安全，降低了勞動強度[1]。 機器人可以運用到機械零件分揀的過程中，可以利用機器人智能化的特點來代替人工 操作[4]。多規格板件是最常見和最常用

14、的加過零件或裝配零件，現如今對于多規格板件的 分揀大多數還是處于人工分揀的階段，單純依靠人工分揀不僅僅導致了工作效率低的問題 更關鍵的是依靠人工分揀，難免會因疲勞，工人分神等各種原因導致工作精度不高，較易 產生失誤的問題。而且，現在的自動化技術少有自主識別的功能。因此我針對這一現象， 展開多規格板件分揀機器人工作站視覺系統設計課題的研究，依靠機器人視覺來識別多規 格板件，并用機器人工作站來進行多規格板件的分揀工作。機器人視覺系統對不同形狀的 板件一一識別，并通過機器人通訊將識別結果反饋給機器人，最后機器人通過末端操作器 將已識別的板件進行分揀工作，把不同規格的板件放入相應的采集框中。通過多規格

15、板件 分揀機器人工作站視覺系統設計來達成使用機器人工作站代替人工分揀多規格板件，并且 提高分揀多規格板件的準確性和高效率的目的，進一步提高生產能力?？梢詤⒄諚罴t軍等 人提出的利用機器視覺和氣動機器人的自動化分揀解決方案,并從軟件和硬件兩方面進行 了詳細的設計[7]。 研究多規格板件分揀機器人工作站視覺系統設計課題具有十分重要的實際意義，通過 用機器人視覺來對多規格板件進行形狀識別，再配合機器人進行分揀裝箱，這大大解放了 由人力為主的生產力，并且能夠實現在惡劣的環境中進行分揀工作，加強了生產力對環境 的適應性，也大大加強了分揀工作的精確性還有提高了分揀工作的效率。在一定的基礎上 可以大規模的進

16、行分揀，大大提升了生產力。在一定程度上也可以降低經濟成本，提高市 場競爭力，使用機器人視覺識別與分揀可以規范產品位置和產品分類，從而提高生產效率 和降低后續的勞動強度。機器人視覺分揀對實現工業自動化也具有十分重要的意義，促進 了現代工業化進程。 6 1.2 國內外研究現狀 從全球市場角度來看，物聯網的飛速發展，邊緣算法的逐步完善，機器視覺行業已 經走向成熟，越來越多地在工業領域得到發展[15]。這些年以來，視覺市場的專利雖然在 除中國以外的國家中逐漸降低，但是歐美的視覺技術還是名列前茅，特別是以美國，歐 洲和日本等發達城市為主，這些國家的機器人視覺技術和市場還是占據絕大部

17、分。在現 在這幾年，視覺領域相關的技術已經初步完善，包括像傳感器和處理器技術，圖像處理 技術以及光學成像等技術的快速發展以及和機器人視覺技術的融合，機器視覺在我們的 生活中以及變得越來越常見，我們在機器視覺領域也運用得越來越廣泛和熟練，可以說 機器視覺在生產過程中扮演著重要得角色。包括在最主要的工業生產領域，到服務行業 比如物流搬運，酒店人臉識別以及超市入口測量體溫等方面，再到金融領域，交通中的 機器視覺，甚至是國家安防領域，機器視覺發揮著越來越穩定，有效，重要的作用，機 器視覺現如今正在促進制造業，服務業在內的許多行業進行快速地轉型。在世界范圍內 的“工業 4.0”和自動化生產需求的趨勢下，

18、機器視覺因具備著精度高，效率高以及穩定性 好的眾多優點，機器視覺正成為我國研究的重點領域和應用方向。光學鏡頭是作為機器 視覺最重要以及必需的組成部分之一，根據數據統計，伴隨著這些年以來機器視覺的市 場在全世界范圍內規模的擴張，關于應用在工業機器人視覺以及自動化領域的光學鏡頭 正在穩步發展中，光學鏡頭在 2017 年的市場規模已經達到了 14 億美元，并且根據相關 預測，光學鏡頭的市場規模將會增長到 28 億美元，并且復合增長率將會達到 12%。雖然 我國的機器視覺行業起步落后于歐洲，美國，日本等發達國家，并且我國機器視覺起初 還是依靠國外品牌的代理，而且集中程度也不高。但是在現在這幾年，我國已

19、經陸續出 現很多的經銷商，并且已經開始自己研發機器視覺相關的產品，雖然我國已經開始追趕 國外機器視覺領域的腳步，但是在機器視覺領域的行業分布還有銷售渠道和方式，以及 具有高度成熟化的自動化產品等這些方面還是有著不小的距離。我國現 m 如今的自動化 設備產品的成熟度還不是很高，而且所包含的技術還不成熟，技術含量不高，最重要的 一點，我國的機器視覺的市場還遠遠達不到飽和的狀態。所以我國的機器視覺還存在著 較大的潛力。我們可以將機器視覺的企業分為層開發廠商，二次開發廠商和產品代理 商。其中在我國的機器視覺企業中，機器視覺的系統二次開發廠商和國外機器數額企業 的產品代理商這兩種企業占據了大部分。根據統

20、計，國外的機器視覺企業品牌在我國已 達到 100 多家，而在我國負責代理銷售這些品牌的企業已達到 200 多家，并且負責專業 的系統集成商也已經超過了 50 家。但是，在我國負責真正機器視覺的底層廠商數量少之 又少，可以說是鳳毛麟角，所以說我國本土關于生產機器視覺系統的元器件的廠商以及 設計機器視覺系統廠商嚴重缺失。為了迅速拓展機器視覺領域的市場以及增強我國企業 在這個領域的積極性，國家發布了許多優惠政策，據統計自 2016 年以來我國的年專利申 請量已經超過了 1000 項，所以說在技術研發的層面，我國的專利申請量已經遠遠高于國 本科畢業論文（設計）專用 外的數量

21、，但是國外在這些專利的操作上以及如何去將這些專利應用在各個其他方面的 領域上，這個方面上我國還是沒趕上國外的質量。但是換過來說，我國在本土品牌的創 建上正在飛速發展，現如今本土品牌的數量正在逐步逼近外資品牌的數量，不足的是， 我國本土品牌的質量和在國際上的影響力方面，相比于國外知名品牌還存在著不小的差 距，所以說我國的本土品牌或者民族品牌想要成為世界知名品牌，所要經歷的道路還比 較長，我們需要加速這一進程?，F如今我國需要降低人工成本和提高生產的效率，我國 這一方面的需求及其龐大，況且我國正在由勞動密集型向技術密集型進行轉型，所以我 國在機器視覺領域存在著巨大的潛力，將成為在世界范圍內機器視覺發

22、展技術最活躍的 地區之一。我國的珠三角和長江三角洲一帶地區，是全球知名的電子和半導體技術的轉 移地，因此具備成為機器視覺發展地的良好條件，這兩個地區中的機器視覺發展也是突 飛猛進。同時這兩個地區吸引著世界各地優秀的機器視覺系統和技術，不斷引進這些優 秀企業和技術，我國的機器視覺企業和技術將在各個優秀企業的良性競爭中不斷得到滋 補，不斷茁壯成長，出于我國政府的支持，各大高校和研究院也不斷在機器視覺中投入 研究，我國機器視覺的前景十分光明，伴隨著機器視覺在各個領域的應用，機器視覺將 會在不同的領域造福社會和人們。 1.3 主要研究內容 本文是研究多規格板件分揀機器人工作站視覺系統設計，為了實現

23、對三種規格的板件 進行快速識別，并通過通訊系統鏈接工作站中的工業機器人，完成對三種規格板件的分 揀，課題主要研究內容如下。 （1）完成多規格板件分揀機器人工作站視覺系統方案設計； （2）完成機器人視覺的硬件（工業相機，工業相機鏡頭，光源，傳感器）的選型和 軟件系統編程設計； （3）完成相機通訊系統設置設計； （4）完成視覺與工作站工業機器人通訊設置設計； （5）進行工作站測試。 本科畢業論文（設計）專用 2 多規格版分揀工作站的視覺系統方案設計 2.1 多規格版分揀工作站功能分析 工業機器人視覺系統可分為兩大核心部分（即機器人控制部和視覺控制部），機器人 控制

24、部是對機器人進行控制，視覺控制則要同步控制攝像部和圖像處理部，多個部門緊密 配合，相輔相成，借助機器人視覺系統來搜集相應的數據和信息，經過處理之后及時傳輸 到下一環節當中[14]。設計的多規格版分揀工作站能通過工業攝像機將三種規格的板件進行 拍照，并通過視覺系統進行精準識別，視覺系統與機器人工作站進行通訊，上傳識別數據， 工作站中的機器人夾爪對傳送帶上已識別完成的板件進行夾取操作，將板件放到對應的收 集箱中。 板件的類型有：wcgxy.5-1 安裝板 A、wcgxy.5-2 安裝版 B、wcgxy.5-2 安裝板 C。 2.2 多規格版分揀工作站總方案 為了實現對三種板件的分揀，設計的工

25、作站需要有視覺系統來識別三種板件，通訊系 統來鏈接機器人和視覺系統，以及工業機器人對板件進行夾取分揀，最后用三個收集箱來 分裝三種板件。具體方案如圖 2.1 所示。 傳送帶傳送板件 No 光電傳 觸發工業相機攝像 Yes 感器 視覺系統 工作站控制系統 識別板件并通訊 光電傳感器 Yes 顯示屏 機器人夾爪夾取 滿載提示 圖 2.1 多規格版分揀工作站總方案 2.3 視覺系統方案 視覺系統是整個工作站最重要的組成部分之一，要實現對三種板材的識別，對工業相機 所拍攝的圖像進行采集和處理

26、等操作。多規格版分揀工作站視覺系統方案如圖 2.2 所示。 圖 2.2 多規格版分揀工作站視覺系統方案 3 視覺系統的硬件選型 根據上述視覺系統方案，要更好地實現視覺功能和達到所需效果，需要對其相關硬件 進行設計。 3.1 視覺系統硬件方案 設計的視覺硬件部分需要有系統觸發，拍照攝像，圖像采集等功能。系統觸發我們需 要用傳感器，當板件到達傳感器感應范圍時，傳感器會輸出一個型號給視覺系統，觸發視 覺系統中的相機工作，相機對下方板件進行拍照攝像，上傳圖像到視覺系統，視覺系統對 上傳的圖像進行圖像識別和圖像預處理。機器視覺需要有實用性和性價比，同時要有通用 的工業接口，

27、有較高的容錯率和安全性，能夠在復雜的環境下工作[2]。上述便是視覺系統 的硬件方案工作流程，下面對所用到的相關裝置進行選型選擇和安裝設計。 3.2 工業相機選型 工業相機運行的工作方式其實就是通過 CMOS 或 CCD 這兩種成像傳感器實現光信號 轉化變成電信號，而且這種電信號必須是有序的，并將這些有序電信號的信息通過工業相 機上的相應接口傳輸到計算機上。視覺導航線路跟蹤機器人需要利用圖像處理技術,通過攝 像機對線路進行檢測[12]。而且因為系統安裝在生產線上，相機檢測速度需要與生產線上的 檢測速度保持同步，相機拍照需要精確且能夠抓拍到移速較高的板件[9]。 工業相機和普通的相機進行比較

28、，在工業領域有著巨大的優勢，首先工業相機安裝簡 便快捷，安裝流程比一般的相機簡單許多。其次，工業相機相比較于普通相機，結構組成 十分緊湊而且結實耐用，所以工業相機比一般的相機更能承受惡劣的環境，能在不好的環 境中穩定高效地運行，同時也保證了連續工作的時長。還有一點，工業相機需要運用于工 業場景，所以需要滿足工業環境的條件和需求，為了這個原因，工業相機往往具有更加快 速的抓拍速度，可以瞬間捕捉到高速運動物體的圖像，因此工業相機需要具備一個靈敏的 快門，保證快門時間要十分短。最后就是工業相機的幀率，相比于一般的相機，工業相機 的幀率也要遠遠要高，因為工業相機的輸出數據類型屬于是裸數據，所以工業相機

29、所需要 的光譜的范圍也是要比普通相機的光譜范圍要大得多，因為這一點，工業相機就可以進行 高質量的圖像處理算法，同時高質量的圖像處理也更適用于工業相機所拍攝的圖像。傳統 的機器人分揀系統是固定式攝像頭，相機一般固定在一個世界坐標系中不動，拍攝固定焦 距平面的物體，實時處理一幅圖像進行位置和形態的分析[6]。 現在市面上的工業相機有以下幾類： （1）我們可根據不同的靶面類型將工業相機分為面陣相機和線陣相機。第一，面陣相 機的定義是該類型相機可以對所需要采集的圖像進行一次性地采集，所以面陣相機在許多 領域都有廣泛的應用，比如說在不同零件或者物件的形狀檢測上，檢測零件的位置，以及 可以檢

30、測不同零件或相似形狀零件的尺寸上。第二，線陣相機不同之處就是線陣相機需要 用到線陣圖像傳感器來檢測所拍攝的物品，因此線陣相機在另外一些領域發揮著重要的作 用，比如說可以用線陣相機來分析物品的材料組成，通過該類型的相機來檢測像金屬物品， 塑料制品，尼龍纖維制品等不同的材質組成物品的表面是否存在著缺陷。 （2）按照芯片類型不同可以分為 CCD 相機和 CMOS 相機：CCD 工業相機具有體積 小重量輕、低功耗、響應速度快、像素集成度高等優勢，CMOS 工業相機具有高速成像、 高幀率、高性價比等優勢。 （3）我們還可以通過相機拍出來的圖像色彩區別進行分類，通常情況下我們可以分為 兩類，一種是輸出

31、有色彩的圖像的工業相機即彩色相機，第二種就是拍出來只有黑白兩種 顏色圖片的相機即黑白相機。兩種相機對比下來，在相同的分辨率的條件下，黑白相機可 以具有更好的成像效果，特別是在邊緣檢測這一塊，而且黑白相機相較于彩色相機，雖然 不能識別顏色，但是在相同的分辨率下具有更加高的精度如果需要處理項目與圖像顏色有 關，彩色工業相機效果更佳。 本工作站需要識別的是尺寸固定的三種規格的板件，所以選用面陣相機比較合適。 相機只需要拍攝黑白照片就可滿足需求，每秒拍攝一到兩張照片，所以照片所占空間 并不多，圖像處理區域一秒可處理 256MB 大小數據，因此剩余空間可用兩個高速輸出通 道傳輸數據，以達到實時識別的

32、效果，通過 IO 模塊向 PLC 控制柜傳輸數據信息。工作站 處于較開放的空間中，所以對工業相機的尺寸要求并不嚴格，但是被測物體識別區域面積 比較大，同時需要網絡通訊來傳輸數據，因此相機需要有相對應的網絡接口。 綜上所述，本工作站的工業相機選用 ME2L-161-61U3M 水星二代 Lite16 萬像素黑白 工業相機。水星二代 Lite(ME2L-U3)系列數字相機是大恒圖像自主研發的面陣工業數字相 機， 低成本、高性能、高可靠性，外形尺寸僅為 29mm(W)×29mm(H)×28.1mm(L)，對于相 機成本和尺寸有嚴苛要求的用戶將會是一個不錯的選擇。ME2L-161-61U3M 采用全

33、局曝光 的 Sony IMX296 CMOS 感光芯片，該款相機用于傳輸數據的數據線類型屬于是 USB3.0 的 接口，這款接口在市面上比較常見，更方便于更換，而且該款工業相機同時也配備了 I/O(GPIO)這款接口，能夠更加全面地適用于多接口的設備，為了穩固接口，盡量少地減少 接口的松動，該款相機還具備了數據線纜的固定鎖緊設計，這一設計更加有利于這款工業 相機在不友好的工業環境中正常，高效穩定地工作，所以這款相機無論是在性能上還是設 計上都是優秀的一款工業相機，同時這款相機的體積小，便于攜帶的同時也便于安裝，使 用該款相機也是很方便，操作十分簡單，對于新手來說很容易上手操作，ME2L-161

34、-61U3M 相機還有一個優點就是使用該款相機時，這款相機工作所產生的噪聲小，使得相機能在一 定程度上增加精度，最后 ME2L-161-61U3M 這款相機最重要的一個優點，就是這款相機具 有較高的清晰度，這對于選擇工業相機來說是一個十分重要的指標。結合這些優點來說， ME2L-161-61U3M 這款相機時我們工作站的首選，這款相機超高的性價比和十分可靠的性 能，都十分有利于我們的視覺系統。其參數如表 3.1 所示。 18 本科畢業論文（設計）專用 表 3.1 ME2L-161-61U3M 工業相機技術參數 分辨率 1440*1080 幀率（fps） 6

35、1.2 傳感器廠商 Sony 傳感器 1/2.9IMX296 Global shutter CMOS 像元尺寸 3.45um 像素深度 8bit,10bit 數據接口 USB3 鏡頭接口 C,CS 光譜 黑白 圖像數據格式 Mono8,Mono10 信噪比 40.6Db 供電要求 5VDC 額定功率 <2.7W@5VDC 工作溫度 0℃-+5℃ 存儲溫度 -20℃-+70℃ 工作濕度 10%-80% 機械尺寸（W*H*L） 29mm*29mm*28.1mm(不含 C 接口長度) 重量 47g 認證及標準 CE,RoHS,USB

36、3Vision,GenlCam 3.3 工業相機鏡頭選型 工業相機的鏡頭一般具有將光束實現轉換的基本功能，或者稱為將光束進行調制，鏡 頭需要負責與自帶的圖像傳感器進行配合，將我們所需要拍下來的圖片成像在圖像傳感器 的光敏面上，這也是鏡頭所具備的重要功能。同時工業鏡頭也具備另一特性，那就是光譜 特性，工業相機鏡頭都會有鏡頭鍍膜，而影響光譜特性的便是鏡頭鍍膜的干涉特性和所鍍 膜的材料具備的吸收特性。相機鏡頭還有以下四個因素的影響。 （1）焦距和景深，畸變和漸暈現象都具有很大的聯系，就景深來說，焦距和景深是 成反比關系，同時焦距和畸變也是呈現反比的關系。而如果焦距越小，那么漸暈現象也 就會

37、越嚴重，漸暈現象越嚴重也會導致像差邊緣照度降低。 （2）第二就是和光圈大小有影響，光圈大小和圖像亮度則呈正比關系，與景深呈現 反比關系，最后如果光圈越大，那么圖像的分辨率也是越高。 （3）第三與像場中央與邊緣也有影響，一般像場中心較邊緣分辨率高一般像場中心 較邊緣光場照度高。 （4）光波長度的影響。 本科畢業論文（設計）專用 光圈 F 值一般有： 2.8、4、5.6、8、11、16、25、50 這幾個等級，F 值和景深關系 如圖 3.1 所示。 圖 3.1 F 值與景深關系圖 通過相機的尺寸也就是 CCD 的尺寸，還有鏡頭與所拍物品所存在的工作距離（WD）， 這樣

38、通過這兩個條件，我們可以算出來工業相機的焦距并且確定所需要的焦距大小，焦距 的計算過程如圖 3.2 所示。 圖 3.2 焦距計算公式 視野角計算原理如圖 3.3 所示。 圖 3.3 視野角計算原理圖 工作距離：視野角=焦距：CDD 尺寸 本工作站選用的鏡頭是大恒圖像 HN-P-5028-6M-C1/1.8 型號工業鏡頭。如圖 3.4 所示。 圖 3.4 大恒圖像 HN-P-6M 系列鏡頭的 HN-P-5028-6M-C1/1.8 型號工業鏡頭 大恒圖像 HN-P-5028-6M-C1/1.8 型號工業鏡頭的技術參數如表 3.2 所示。 表 3.2

39、 N-P-5028-6M-C1/1.8 型號工業鏡頭的技術參數 型號 HN-P-5028-6M-C1/1.8 品牌 大恒圖像 調焦類型 固定焦距 分辨率 6M 焦距 50 Sehsor 尺寸（inch） 1/1.8 視場角（H*V） 7.84*5.24 光圈范圍 F2.8-F16 畸變（%） ±0.1 鏡頭接口 C 螺紋尺寸 M30.5*0.5 最小工作距離（mm） 500 工作距離（mm） 250-∞ 機械尺寸（D*H）(mm) Φ37*51.7 重量 104.5g 3.4 工業相機光源選型 光源的作用有以下幾點： （

40、1） 照亮目標，提高目標亮度； （2） 形成最有利于圖像處理的成像效果； （3） 為了保證圖像具有較高的穩定性，不被自然光以及周圍環境中的光源所干擾； （4） 用作測量的工具或參照。 我們可以根據我們所需光源的位置來進行分類，主要分為四類光源，第一種是安裝在 物件前端的光源稱之為前光源，第二種是安裝在物件背后，在后面提供光源的稱之為背光 源，第三種是環形的安裝在物件正上方的光源，稱之為環形光源，最后一種光源是以點射 光直接照射在物件表面的光源稱之為點光源。四種光源安裝方式如圖 3.5，圖 3.6，圖 3.7 和圖 3.8 所示。 圖 3.5 前光源 圖 3.

41、6 背光源 圖 3.7 環形光源 本科畢業論文（設計）專用 圖 3.8 點光源 市面上常見和最常用的光源有以下五種：電致發光管，光纖鹵素燈，高頻熒光燈，氙 燈，LED 燈，這幾種光源的特性比較如表 3.3 所示。 表 3.3 光源的特性比較表 光源 顏色 壽命/h 發光亮度 特點 鹵素燈 白色，偏黃 5000~7000 很亮 發熱多，較便宜 熒光燈 白色，偏綠 5000~7000 亮 較便宜 LED 燈 紅、黃、綠、白藍 6000~10000 較亮 固體，能做出很多形狀 氙燈 白色，偏藍 3000~70

42、00 亮 熱多，持續光 電致發光管 由發光頻率決定 5000~7000 較亮 發熱少，較便宜 本工作站需要識別的是三種規格的板件，主要對板件的形狀尺寸進行識別，若使用點 光源會因角度產生較大陰影區域從而產生較大誤差，而且 LED 燈安全性高，作為低溫光 源，LED 的發熱率很低，不會產生熱輻射，能夠實現光線角度、形狀的控制，光線較柔和， 不會產生刺眼的光線，不會產生鈉、汞等有害物質[13]。所以本工作站光源可選擇以 LED 燈 組成的環形光源，垂直安裝在板件上方。采用 LED 環形光源，可以加大被測板件的光照范 圍，從而可以拍攝出有較好的灰度成像值的照片，有利于后期圖像的處

43、理，提高板件識別 的成功率。FH-RI15045 LED 環形光源如圖 3.9 所示。 本科畢業論文（設計）專用 3.5 傳感器的選型 圖 3.9 FH-RI15045 LED 環形光源 相機開始工作需要用傳感器來觸發，所以本工作站需要一個感應迅速，靈敏的傳感器 來檢測被測板件，因此本工作站選擇光電傳感器。 光電傳感器由發射器，接收器和檢測電路三部分組成。當光源投射的光照到被測板件 上，再從被測板件上反射到接收器上，通過電信號信息傳輸到視覺系統，視覺系統接受到 信號后開始工作。為了達到這一流程并且滿足工作站的需求，我們選擇 M18 漫反射式光

44、電 傳感器如圖 3.10 所示。 3.6 小結 圖 3.10 M18 漫反射式光電傳感器 在本章，我們根據多規格版分揀機器人工作站視覺系統的需求，選擇了工業相機，工 業相機鏡頭，工業相機光源，傳感器這些硬件的選型。我們的工業相機選擇 ME2L-161- 61U3M 水星二代 Lite16 萬像素黑白工業相機，工業相機鏡頭選擇大恒圖像 HN-P-6M 系列 鏡頭的 HN-P-5028-6M-C1/1.8 型號工業鏡頭，工業相機光源選擇了 LED 環形光源，傳感器 選擇了漫反射式光電傳感器。這些硬件均可滿足工作站視覺系統工作的需求。 4 視覺系

45、統的軟件設計 4.1 軟件設計方案 本工作站視覺系統通過 halcon 軟件編寫程序，對三種規格的板件的圖像進行采集和預 處理，并對圖像進行識別并將結果顯示。 具體流程是先進行相機標定，完成相機標定之后相機對待采集的板件進行拍照采集圖 像，當采集的圖像質量符合圖像識別標準時，用 halcon 軟件將圖像進行灰度化等預處理， 完成圖像預處理后，視覺系統進行深度學習，并建立特征庫，最后通過建立的特征庫與待 檢測的板件進行特征匹配，從而完成視覺系統對于待測板件的識別并將結果顯示在顯示屏 上。 4.2 相機標定 相機標定是不可缺少的環節，相機的標定是為了防止圖片產生形變，而圖片的形變產

46、生的原因就是因為鏡頭的畸變造成的，所以相機標定的作用之一就是用于矯正鏡頭的形變。 除此之外，相機的標定可以通過算法進行數學變換，可以通過數學變換來對一個三維坐標 點與與它對應的二維圖像的坐標點進行轉換，通過這一操作可以得出相機的內外參數。同 時“相似度閾值”是影響視覺系統識別工件的因素，鄧龍等人得出了工件高度與“相似度閾值” 之間的關系，為工業機器人準確、高效、穩定抓取工件提供了理論依據[11]。 工作站對板件實際發生的旋轉量和偏移量進行計算，根據板件的旋轉中心進行二次補 償，之后再把板件旋轉中心的坐標發送給 PLC，PLC 再將二次補償的值反饋給電機，通過 板件平移的長度和旋轉的角度進行位

47、置標定。 我們需要得到對處理圖像最適合的圖像位置，所以我們需要對偏移值進行計算，經過 計算之后，會反饋給我們一個對圖像處理的最好位置以及一個最合適的偏轉角度值，我們 還可以運用這種方式來計算得出圖像中的像素相對應的位置和距離，通過得出的這些距離 值來將需要處理的圖像區域更加準確的上傳到我們的 PLC 種，從而是我們處理圖像更加精 確。最后我們還可以通過對偏移量的計算，從而算出我們的工業相機所在空間區域的坐標 或者位置，確定我們工業相機的高度，從而可以計算出相機的焦距和識別域的景深是多少。 這樣可以令圖像識別更加清晰準確。 我們的工作站基本運用棋盤格的方法來標定我們的工業相機，首先我們將圖像

48、的三維 點和二維圖像的坐標點輸入到我們的工業相機之中，棋盤格是由黑色和白色相間的格子組 成的，所以二維圖像要找到角點是十分迅速的，主要通過黑色和白色格子來確定角點。其 次，我們如果要確定實際情況之中的三維點，我們需要在圖像采集的過程之中，先把我們 的工業相機放在一個固定的位置上，然后提前確定三維坐標 XYZ 的值之后通過對黑白棋 盤格的位置移動，拍攝棋盤格不同位置的圖像。我們還可以借助標定板來幫助我們進行相 機的標定，如果我們采用借助標定板的方法將會大大減少我們的工作量，提高我們的效率。 用標定板標定實現代碼如下。 #對于在棋盤格之中的角點的定位 criteria = (cv2.

49、TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) #確定格子的尺寸大小 w = 9 h = 6 #世界坐標系中的棋盤格點,例如(0,0,0),(1,0,0),(2,0,0) ....,(8,5,0)，去掉 Z 坐標，記為二維矩陣 objp = np.zeros((w*h,3), np.float32) objp[:,:2] = np.mgrid[0:w,0:h].T.reshape(-1,2) #儲存棋盤格角點的世界坐標和圖像坐標對 objpoints = [] #在世界坐標系中的三維點 imgpoints = [

50、] #在圖像平面的二維點 我們還需要把已經標定過的三維點和與之相互對應的處理過的圖像的二維點進行比對。相機標定 完成后，這個函數就會返回標定結果、從而得出相機內參數矩陣、畸變系數、旋轉矩陣和平移向量。再 將對應的相機標定進行對棋盤格進行設存儲并在圖像上顯示出來。代碼如下： images = glob.glob('calib/*.png') for fname in images: img = cv2.imread(fname) gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY) #找到棋盤格角點 et, corners = cv2.findChes

51、sboardCorners(gray, (w,h),None) #如果找到足夠點對，將其存儲起來 我們還可以使用九眼標定法來進行相機標定的操作，這也是我在平時的課程中最常用 的標定方法，并且在實現機器視覺與工業機器人相聯合的話也需要使用九眼標定的方法來 進行相機的標定。 現在我們來看如何來實現相機的九眼標定。 首先第一個步驟就是準備一張有九個點的圖片，我們稱之為標定板，并且圖中點是尺 寸直徑為 3cm 的圓，如圖 4.1 九眼標定九點圖所示。 圖 4.1 九眼標定法標定板的圖片 第二個步驟，就是我們需要把這張標定板放置在我們的工業相機的正下方，并且標 定板需要處于

52、水平位置，然后我們需要按照 Z 字形的順序來記錄這九個點的中心坐標是 多少。 第三個步驟是我們需要控制我們的工業機器人，并且將工業機器人的末端操作器， 在我們實驗室使用的末端操作器是一支筆，我們用筆尖來按順序靠近九個圓的中心點， 用筆尖可以更加精確地得到圓心的坐標，然后我們記錄用機器人記錄的九組坐標數據。 第四個步驟就是我們需要用到 Halcon 軟件的算子，這一步驟需要在 Halcon 軟件上編 程，并且運用之前所記錄的數據。 我們在所拍攝的照片上的數據所需的程序代碼如下。 image_x:=[] image_y:=[] 我們用機器人所采集的九組數據坐標的程序代碼如下。 robo

53、t_x:=[] robot_y:=[] 完成這一步之后，我們需要將我們所拍攝的圖片記錄的數據和機器人所記錄的九組 數據坐標相結合，程序代碼如下。 vector_to_hom_mat2d (image_x, image_y, robot_x, robot_y, HomMat2D) 然后我們需要貯存一個矩陣的數據，儲存矩陣的代碼是 write_tuple (HomMat2D, '路徑 ')，值得注意的是我們需要命名的后綴是.tup 這個形式。 這里我們已經標定完成了，接下來我們就需要用相機拍一個特征點，并且求出這個 點的像素位置。 img_x:= img_y:= read_t

54、uple (‘路徑’, HomMat2D) affine_trans_point_2d(HomMat2D,img_x,img_y, Qx, Qy) 這一步我們就可以把所得的像素坐標重合為機器人坐標。 接下來我們就要寫出完整的九眼標定法的代碼，代碼如下。 read_image (Image, 'D:/hellowprld/視覺標定板圖/9points.jpg') dev_close_window () dev_open_window_fit_image (Image, 0, 0, -1, -1, WindowHandle) dev_display (Image) binary_thresho

55、ld (Image, Region, 'max_separability', 'dark', UsedThreshold) connection (Region, ConnectedRegions) *篩選出來九個點 select_shape(ConnectedRegions, SelectedRegions, 'area', 'and', 1000, 2000) shape_trans (SelectedRegions, RegionTrans, 'outer_circle') *求出九點坐標 area_center (RegionTrans, Area, Row, Column)

56、 disp_message (WindowHandle, 'R:'+Row+' C:'+Column, 'Image', Row, Column, 'black', 'true') *把求得的 Row 和 Column 賦值 *九點標定行 PxRow:=Row *九點標定列 PxColunm:=Column *九點標定行 *PxRow:=[23.5, 23.5, 23.5, 71.5, 71.5, 71.5, 118.5, 118.5, 118.5] *九點標定列 *PxColunm:=[28.5, 75.5, 122.5, 28.5, 75.5, 122.5, 28.5,

57、75.5, 122.5] *機器坐標行 Qx:=[100,50,0,100,50,0,100,50,0] *機器坐標列 Qy:=[0,0,0,50,50,50,100,100,100] *拿到機器坐標和像素坐標求出關系矩陣 *標定行 標定列 機器 X 機器 Y 得到矩陣 vector_to_hom_mat2d (PxRow, PxColunm, Qx, Qy, HomMat2D) *保存矩陣 write_tuple (HomMat2D, '九點標定.tup') 本科畢業論文（設計）專用 *讀取矩陣 read_tuple ('九點標定.tup', Ho

58、mMat2D) *利用求出來的物體行列坐標得到機器坐標 affine_trans_point_2d (HomMat2D, Row, Column, Qx1, Qy1) 4.3 圖像采集 圖像采集是視覺系統乃至整個機器人系統最重要的環節之一[10]。在圖像采集中，獲得 的圖像具有以下共同特點：（1）我們需要將圖像中可以利用的信息提取出來，并且有用信 息提取得越多，對于我們接下來處理圖像越有利；（2）我們的工業相機所具備的傳感器的 有效像素有限，所以需要最大程度地利用起來，我們需要識別的板件盡可能地再 FOV 中全 部展現出來；（3）我們采集的圖像需要具備盡可能高的信噪比，以降低干擾，值得一

59、提的 是，我們這里不需要采取任何降噪的算法來實現這一目的，我們需要原始圖像有高的信噪 比；（4）我們采集的圖像需要有無限靠近最大值的動態范圍，并且我們的圖像的動態值并 不能達到飽和狀態；（5）我們的采集的圖像必須沒有其他圖像的干擾，去除會產生干擾的 圖像，只留取我們所需的三種板件的完整圖像。 采集的圖像是視覺系統工作最重要的一環，若沒有采集到足夠清晰的圖像，后續的視 覺識別將會面臨較大的困難，并且識別的準確性將大打折扣，達不到預期的標準。 4.4 圖像預處理 為了將圖像不需要的元素去除，只保留所需的區域圖像，我們一般會將圖像進行預處 理操作。圖像預處理一般由三個步驟組成：圖像灰度化，圖像

60、幾何變化，圖像增強。 圖像灰度化：灰度值是在工業相機中的模擬視頻部分用信號/噪音比 SNR 表示；經過 采集卡的 A/D 轉換之后的數字視頻量是用比特（bits）位數表示的。在現實世界中一幅圖 像同時具有最亮和最暗的區域，他們之間的差距非常大，機器視覺系統所采集的圖像應盡 可能地反映出這種灰度的巨大變化范圍。對采集的圖像進行灰度值轉換的操作，將 RGB （red、green、bule）三種顏色的進行灰度值轉換為黑白圖像（0-255），讓相機精確的識別 出板件的形狀和尺寸。童勝杰,江明,焦傳佳等通過實驗結果表明,通過改進的算法在去除工 件表面劃痕方面效果明顯,并與傳統微分算子比較,邊緣清晰度

61、、峰值信噪比(PSNR)都有大 幅提高,為提高工件識別精度打好基礎[3]。 幾何變換是指借助對圖像進行鏡像操作，平移操作，旋轉操作，放大或縮小操作，轉 置操作等一些對圖像幾何方向上的轉換來減小乃至減除因為采集時系統存在的誤差，比如 我們置放板件時位置的不同而產生的誤差，還有工業相機儀器所產生的微笑誤差，比如相 機和鏡頭自身重量所產生的細微誤差，提高了圖像的準確性以及能夠提高圖像處理的效率。 我們除了通過幾何變換來減少誤差，我們還要使用灰度插值法，這種方法精度更加高，因 為灰度插值法可以將相機輸出的圖像的像素映射到輸入圖像的非整數坐標上。 我們還需要對圖像進行增強操作，我們的目的就是為了提高

62、圖像可采集的信息，放大 19 本科畢業論文（設計）專用 圖像所呈現出來的效果，歸根到底，圖像增強操作屬于是一種失真處理。在運用具體的影 像時，應注重其整體或局部的特性，以強調其原本的模糊、突出某些特性、放大不同對象 的特性差異、去除不相干的特性、提高影像質量、增加資訊的數目、 提高影像的判讀和識 別能力，以達到一定的分析需求。 4.5 特征匹配和圖像識別 我們完成了對我們所拍攝的圖像的預處理之后，一般我們選擇對預處理完的圖像進行 特征提取，特征提取是對我們拍攝的圖像進行矢量分析，主要是借助于特征描述的方法來 進行這一操作，而關于特征提取，就是把我們得到的圖像進行一連串

63、的編碼，從而我們在 輸出端會得到關于我們的圖像的一組數據。特征抽取是指由單一的點或多個點，通過低層 次的屬性來探測出特定的點。“低級屬性”是沒有意義的，比如：地點、高度、幾何、色彩、 強度、點數等?！暗图墝傩浴钡男畔⒁话悴恍枰崆矮@得先進的知識就能從點云數據中獲得。 在此基礎上，提出了一種基于特征的特征提取方法。劃分是根據以上所說的低層次特征， 把點集成一小塊或一小塊的過程。相對于單個的分析和處理，劃分過程對各個物體進行了 進一步的 處理和分析，使得數據更加豐富。利用該方法，可以從大量的數據中提取出特定 的目標特性，從而實現對板件類型的預測[5]。 4.6 識別結果顯示 我們在 halco

64、n 軟件上完成了對板件進行識別操作的編程并且調試完之后，我們開始使 用 C#語言編寫相應的程序，從而達到可以有顯示我們識別結果的界面的目的，顯示界面的 主要代碼如下。 namespace _1 { public partial class Form1 : Form { CogToolBlock ab = new CogToolBlock(); public Form1() { InitializeComponent(); cogRecordDisplay1.AutoFit = true; LoadJob(); } private void LoadJob () { ab=

65、( CogToolBlock)CogSerializer.LoadObjectFromFile("C:\\20220213\\20220213.vpp"); 43 } private void button1_Click(object sender, EventArgs e { label1.Text = ""; label2.Text = ""; label3.Text = ""; ab.Run(); cogRecordDisplay1.AutoFit = true; cogRecordDisplay1.Record = ab.CreateLastRunRecord

66、().SubRecords[0]; int Results_Count = (int)ab.Outputs["Results_Count"].Value; int Results_Count1 = (int)ab.Outputs["Results_Count1"].Value; int Results_Count2 = (int)ab.Outputs["Results_Count2"].Value; if (Results_Count == 1) { label1.Text = " wcgxy.5-1 安裝板 A "; } if (Results_Count1 == 1) { label2.Text = "wcgxy.5-2 安裝版 B "; } if (Results_Count2 == 1) { label3.Text = " wcgxy.5-2 安裝板 C "; } } } } 4.7 深度學習 機器視覺最重要的一環便是深度學習之一塊，而深度學習的定義則為深度神經網絡學 習，它能過尋找被測產品也就是我們的板件的數據聯系后，建立起和我們板件相同的深