最新動態

智慧工廠機器視覺感知與控制關鍵技術綜述
首頁 > 最新動態 > 智慧工廠機器視覺感知與控制關鍵技術綜述

導讀:當前,全球制造業格局面臨著重大調整,新一代信息技術與制造業深度融合,正在引發影響深遠的產業變革,形成新的生產方式、產業形態、商業模式和經濟增長點。

各國都在加大科技創新力度,制訂了多個智能制造產業發展計劃,包括德國的“ 工業4.0”計劃,美國的“制造業回歸”計劃,中國的“中國制造2025”計劃日本的“2015 制造白皮書”等。在最具代表性的“ 工業4.0”計劃中,提出了第4 次工業革命的概念。在該智能制造模式中,信息物理系統(CPS)[3-5]通過將物聯網、服務網絡、社會網絡有機結合,實現智能機器、存儲系統生產設施、物流和定制服務等各個生產-消費要素相互獨立地自動交換信息、觸發動作和控制,從根本上改善包括制造、工程、材料使用、供應鏈和生命周期管理的工業過程,生產出智能產品,大幅度提高服務質量,降低設備閑置率、生產時間、能源消耗和制造成本。

工業4.0 的核心在于智慧工廠,它是實現高質量定制產品和智能產品的關鍵。在工業4.0 框架下,發展智慧工廠和智能制造裝備需要解決多個關鍵技術難題,諸如精密機構設計、高性能材料、高速網絡通信、云計算平臺、環境感知和智能控制等信息處理方法、系統可靠性等。其中,環境感知和智能控制技術作為智慧工廠高適應性、高精度、智能化作業的根本保障,是必須首先解決的關鍵技術難題。在工業4.0 框架下,智慧工廠的感知和控制技術必須具備高速、高精度模塊化、智能化、無損感知等特點,能夠根據不同的任務實現自主配置和自適應調節,滿足定制和個性化產品的自適應制造,然而傳統的感知控制技術無法滿足上述需求,因此研究適應智慧工廠需求的新型環境感知和智能控制技術十分必要。

1、機器視覺感知與控制關鍵技術

機器視覺感知與控制技術是解決智慧工廠環境感知和自主控制這一技術難題的關鍵。機器視覺檢測與控制技術是采用機器視覺、機器手代替人眼、人腦人手來進行檢測、測量、分析、判斷和決策控制的智能測控技術,是人類模仿自身視覺感知能力實現自動化測量和控制的重要手段,能夠同時滿足智慧工廠環境感知和自主控制的多項需求。機器視覺感知控制技術可用于智慧工廠中的精密制造自動化生產線、智能機器人、在線檢測裝備、細微操作、工程機械、虛擬現實產品設計等多個領域,在提高航空航天、軍工、汽車、電子、精密儀器等行業自動化加工制造水平,保障產品質量等方面發揮巨大作用。因此,機器視覺感知控制技術是工業4.0 框架中不可或缺的重要組成部分。

1.1 智慧工廠中的機器視覺感知控制系統方案

智慧工廠屬于復雜系統,應用環境特殊,對機器視覺感知控制技術的準確率實時性、重復性有著極高的要求。針對這一難題,我們提出了如圖1 所示的智慧工廠機器視覺感知控制系統方案。在該系統方案中,根據應用需求,首先設計智能視覺成像系統和自動化圖像獲取機構,自動獲取檢測對象的高質量圖像;獲取的圖像經過去噪增強、分割、配準融合、拼接等圖像預處理步驟,改善獲取圖像質量;然后采用目標定位與分割算法、目標檢測與識別算法,智能分類與判別等圖像處理過程,實現對檢測對象的識別、檢測、分析、測量。同時,從圖像處理中得到的目標位姿信息可用于基于視覺的高速運動精確位置與恰當力的優化控制。

▲圖1 智慧工廠中的機器視覺感知控制系統方案

1.2 工業成像系統的關鍵技術

工業成像系統包括光學、成像、處理3 部分。其中,光學部分由光源、光學系統構成,光源主要用于在成像對象表面上產生光場,常用的光源包括發光二級管(LED)光源、結構光等;光學系統主要實現光路控制,并將光信號聚焦到成像平面上。成像部分主要由圖像傳感器構成,將入射光轉化為電信號,并經過放大、調理、A/D 轉換和讀出,就可以得到數字圖像。處理部分由通信電路、圖像處理器和處理算法構成,獲取的圖像通過通信電路和協議傳輸到圖像處理器中,并采用圖像處理算法進行實時處理,提取出視覺信息用于智能制造裝備的檢測和控制。

1.3 自動圖像獲取的關鍵技術

精密成像機構是自動圖像獲取的關鍵,它可以實現對成像位置、視角、分辨率、質量、數量等參數的精密控制。為適應不同成像對象和裝備機械結構多種自動圖像獲取方法和精密成像機構被提出,主要包括:高速運動序列圖像獲取、位置觸發成像、顯微成像、眼手圖像獲取、全方位圖像獲取、立體視覺成像、線掃描成像、點云成像等關鍵技術。

1.4 圖像預處理的關鍵技術

圖像預處理方法主要包括去噪、增強、配準、融合、拼接,通過圖像預處理可提高圖像質量,降低圖像識別和分類的難度,從而保證檢測控制的精度圖像去噪增強主要用于消除獲取圖像中包含的鹽椒、高斯等多種噪聲,并通過特征結構增強改善可能存在的對比度低,邊界模糊和運動模糊等現象。常用的去噪方法包括空間域濾波方法、變換域濾波方法、基于偏微分的圖像去噪方法、基于相似性的圖像去噪方法、全變分圖像去噪等。常用的圖像增強方法包括直方圖均衡化、匹配、校正,圖像銳化方法,基于視覺模型的增強方法,運動模糊去除方法等。多源圖像融合可以去除冗余信息,提高單幅圖像所包含的信息量。圖像融合 主要基于圖像分解和重構,其中多分辨率圖像分析是最常用的圖像分解方法,包括小波變換、金字塔形或樹狀小波幀變換幾何分析小波,以及稀疏表示等;在重構過程中,根據統計模型或其他融合規則對圖像分解系數進行融合,經過逆變換得到融合圖像。

對不同位姿獲取的圖像進行配準,可以將多幅圖像對齊到單個圖像坐標系下,實現多幅圖像拼接,還可以實現圖像偏差測量。在圖像配準過程中,輸入多源圖像經過特征檢測、匹配、變換模型估計、圖像重采樣和空間變換,得到相同目標在不同圖像中的匹配關系,最后根據變換模型對圖像進行空間變換和重采樣,獲得配準后的圖像。

1.5 圖像定位分割的關鍵技術

在成像過程中由于運動控制方式和機械電氣誤差,圖像中對象位置并不固定,因此需要進行目標定位和檢測區域分割。對于背景簡單、特征明顯對象可以利用目標邊界、幾何形狀特征等先驗知識,實現目標定位和檢測區域提取。對于復雜背景下且特征模糊對象,可采用基于圖像分割的定位和檢測區域提取方法,如閾值分割方法、區域生長法、分水嶺分割算法、聚類分割方法、基于圖的分割方法、基于主動輪廓的分割方法、神經網絡圖像分割方法等關鍵技術。

1.6 圖像識別檢測的關鍵技術

通過圖像識別檢測,可實現目標識別和分類、缺陷檢測、視覺測量等功能,從而滿足智慧工廠多樣化的應用需求。圖像識別可通過對分割后圖像特征分析,序列圖像運動分析和模式匹配等方法實現。識別目標多表現為灰度或紋理均勻的閉合區域,利用檢測對象輪廓等不變性特征和形狀、面積、灰度、紋理等先驗信息,對分割后圖像進行特征分析,即可實現圖像識別。在基于模式匹配的識別方法中,模式可以用點集、輪廓、骨架來表示,匹配過程可采用動態規劃、最優化、最大似然、圖匹配方法、Patmax方法等,得到對象位移、旋轉、尺度、形變等參數。圖像檢測可實現對缺陷、特定結構及特征的檢測,由于檢測目標在尺寸、灰度、紋理等特征方面與背景差異較大因此圖像檢測主要通過特征分析實現。針對不同應用,多種特征分析方法被提出,主要包括基于紋理分析的檢測方法、基于局部特征的檢測算法、基于模板匹配的缺陷檢測方法等。

圖像分類是實現圖像識別、檢測、決策的關鍵,其精度直接決定最終檢測識別結果。常用的分類方法包括模糊方法、神經網絡方法、支持向量機、極限學習機、深度學習等機器學習方法。機器學習方法能夠模仿人的學習能力,處理非線性等復雜問題,提高圖像分類決策的智能化程度。然而當前主要問題在于圖像分類精度不理想,特別是對于復雜高維數據、非均衡數據集等,同時圖像空間域與特征域的建模也是一大難點。

1.7 視覺伺服與優化控制的關鍵技術

智慧工廠根據視覺檢測識別和位姿測量結果,引導精密伺服運動控制,系統可控制機器人完成定位、抓取、分揀、組裝、灌裝、裝配等復雜自適應作業。視覺伺服運動控制基本原理如圖2 所示,視覺控制率根據視覺誤差產生控制量,驅動機器人的關節運動,完成給定作業。其中視覺誤差定義為給定特征向量和視覺信息反饋之間的差值。在反饋環節,通過成像參數、控制對象模型等信息,將當前圖像特征的測量值轉化為與給定特征向量同類型的測量值。根據特征向量類型,可分為基于位置的視覺伺服(PBVS)、基于圖像的視覺伺服(IBVS)混合視覺伺服和直接視覺伺服等。其中PBVS 采用機器人末端空間位姿作為反饋,IBVS 將圖像特征作為反饋,而混合視覺伺服則將一種擴展圖像坐標特征作為反饋。針對傳統方法未充分利用圖像信息這一不足,直接視覺伺服方法將整幅圖像作為反饋,通過最優化方法得到視覺伺服中的位姿信息,改善視覺伺服的精度和魯棒性。與其他控制方法相比,視覺伺服控制的主要難點在于視覺反饋信息的測量和視覺控制率的確立。在智慧工廠中,智能制造系統需要自動化生產線上多種智能制造裝備協同工作,是一種典型的高階、非線性、強耦合的多變量系統。針對這一難題,可采用多機器人手眼協調控制,將機器人逆運動學分析、軌跡規劃、多機器人協同控制、力/位混合控制、多感知控制等智能控制技術用于視覺伺服中,實現多機器人關節空間的協同視覺伺服控制,提高控制精度和智能化程度。

▲圖2 視覺伺服運動控制基本原理

2、智慧工廠機器感知控制的云計算平臺設計

在智慧工廠中,機器感知控制技術主要用于解決特定的制造作業,如目標識別和位姿測量,產品質量和缺陷檢測、物理量測量、目標三維建模、視覺伺服作業等。在這些應用中,由于實時獲取的圖像本身數據量較大,且圖像處理過程通常較為復雜,導致整個信息處理過程計算量復雜度極高,采用傳統的裝備側運算資源難以滿足上述應用對于實時性的要求。針對這一難題,在工業4.0 框架下,智能制造過程中獲取的實時圖像數據通過高速通信網絡傳輸到云計算平臺中,利用云端極強的運算能力和計算負載平衡方法,可以滿足各種機器感知控制算法應用的實時性、檢測控制精度、穩定性極高的需求。

智慧工廠中的機器視覺感知控制的云計算平臺可采用如圖3 所示的系統方案,該云平臺主要有3 部分構成,分別為裝備抽象層、機器視覺感知控制算法層和智能制造數據庫。裝備抽象層主要對各種制造裝備進行抽象,得到裝備的成像系統模型、控制系統模型等,作為環境感知和自主控制的基礎。算法層主要包括各種圖像去噪增強、配準融合、目標定位、檢測區域分割、目標識別、特征檢測、機器學習、視覺伺服控制等信息處理方法,實現從獲取的圖像中提取出目標的位姿、特征、類型等信息,滿足智慧工廠各種應用對于信息服務的需求。智能制造數據庫主要包括感知和控制目標數據庫、圖像處理流程數據庫等主要用于存儲、配置和統計制造過程中的物流、制造參數、信息處理流程等,是實現柔性制造和高質量定制產品制造的關鍵。

?圖3智慧工廠的機器視覺感知控制云計算平臺系統設計

與傳統的機器視覺感知控制系統相比,上述基于云平臺的實現可以大幅度提高系統的可擴展性、可重構性等,同時也降低了系統開發的難度和成本,有利于在智慧工廠中普遍推廣應用機器視覺感知控制技術,提高環境感知和自主控制的智能化程度。

3、總結與展望

智慧工廠是一個復雜系統,通過智能制造裝備、大數據、云計算平臺和信息物理系統的應用,可滿足極其復雜的制造過程協同控制的需求,大幅度提高制造過程的智能化和自主化程度。機器視覺感知控制技術是解決智慧工廠環境感知和自主控制這一難題的關鍵,而云計算技術則能夠解決各種視覺應用高實時性需求與圖像運算復雜度極高之間的矛盾,因此發展機器視覺感知控制云計算平臺對于智慧工廠來說十分重要。針對這一難題,我們分別對機器視覺感知控制技術進行綜述,并提出了一種機器視覺感知控制云計算平臺設計方案,在該方案中有以下關鍵技術難題有待進一步研究:

(1)先進工業成像技術。當前采用的成像技術大多局限于可見光成像,導致在某些應用中獲得的圖像特異性差,不能夠全面體現被檢對象特征。為此需要從光源頻譜控制、先進陣列感知、信號調理等方面全面研究成像技術,探索不同類型對象與電磁波相互作用和成像的新現象、新原理、新方法。將多種先進成像技術,如高光譜成像、激光掃描成像、干涉/衍射成像、層析成像、太赫茲成像、電容成像等應用于工業視覺檢測和控制,豐富視覺感知手段。

(2)云計算平臺負載平衡技術。圖像大數據與其他信息不同,具有流數據的特點,如何在云計算平臺中實現對制造過程獲取的圖像大數據進行實時處理一直是困擾智能制造的一個技術難題。因此,研究云計算平臺中的負載平衡技術,將圖像處理步驟分散到各個節點中,結合流數據處理特點,實現并行圖像處理,成為解決這一難題的關鍵。

(3)云計算平臺中的自動化圖像處理流程設計。圖像處理過程通常由多個圖像處理步驟構成,而每個步驟都可以采用多種處理算法,同時由于不同應用圖像特征和任務目標各異,造成圖像處理流程設計困難。為解決這一難題,需研究自動化圖像處理流程設計方法,首先分析不同圖像處理算法的特點,以及達到的處理效果,并分析參數對于圖像處理結果的影響,然后根據任務、先驗知識和圖像特征,選擇最優圖像處理算法和參數,實現自動化圖像處理流程設計。

(4)智慧工廠機器魯棒感知控制的高穩定性、高可靠性和適應性研究。由于機器感知圖像信息屬于非線性多維信息,在應用中存在多種不確定性,限制了智慧工廠制造裝備的穩定性和可靠性。為此需要研究機器感知應用的穩定性、可靠性控制方法,以及誤差控制方法,消除不確定性,提高智慧工廠的自適應能力。

(5)智慧工廠機器深度學習技術研究。建立智能化工廠是企業未來發展的需要。不論是食品行業還是其他行業,最初的生產都是大批量生產,隨著技術及時代的發展,市場上產品同質化越來越嚴重;另一方面客戶的個性化需求逐漸增強,迫使企業由大批量生產轉向多品種小批量生產,更進一步,將逐步轉向個性化定制生產。市場需求的變化使得各行各業逐步開始進行轉型升級,要求生產線具有高度的柔性,能夠進行模塊化的組合,以滿足生產不同產品的需求。與此同時,為了響應客戶的需求,需要及時對客戶的信息進行收集、處理及反饋,也促使企業開始關注自己的數字化、信息化建設,各種實用的系統逐步上線;更進一步為了提升生產效率,使得設備與設備之間、設備與人之間要有信息互通和良好的交互,又要求利用相關技術實現互聯。在工業4.0 概念中對于智能化要求的描述是設備自適應柔性制造、信息感知及端到端溝通,并具有預警和自診斷能力。為此需研究深度學習的機器感知、機器認知,以提高智慧工廠的自適應柔性制造能力。

如涉及版權等問題,請及時與我們聯系,我們將在第一時間處理

淫治疗