人工智能化的機器視覺技術(shù)

我們常說，眼睛是人類心靈的窗戶，那么給機器裝一雙眼睛，賦予它感知能力，使得它看懂世界，這便是計算機視覺作為人工智能最重要的環(huán)節(jié)之一。

機器視覺系統(tǒng)

?

機器視覺系統(tǒng)是指利用機器替代人眼做出各種測量和判斷。機器視覺是工程領(lǐng)域和科學領(lǐng)域中的一個非常重要的研究領(lǐng)域，它是一門涉及光學、機械、計算機、模式識別、圖像處理、人工智能、信號處理以及光電一體化等多個領(lǐng)域的綜合性學科，其能以及應用范圍隨著工業(yè)自動化的發(fā)展逐漸完善和推廣，其中母子圖像傳感器、CMOS和CCD攝像機、DSP、ARM嵌入式技術(shù)、圖像處理和模式識別等技術(shù)的快速發(fā)展，有力地推動了機器視覺的發(fā)展。

機器視覺是一種比較復雜的系統(tǒng)。因為大多數(shù)系統(tǒng)監(jiān)控對象都是運動物體，系統(tǒng)與運動物體的匹配和協(xié)調(diào)動作尤為重要，所以給系統(tǒng)各部分的動作時間和處理速度帶來了嚴格的要求。在某些應用領(lǐng)域，例如機器人、飛行物體導制等，對整個系統(tǒng)或者系統(tǒng)的一部分的重量、體積和功耗都會有嚴格的要求。

機器視覺系統(tǒng)的構(gòu)成和工作過程

一個完整的機器視覺系統(tǒng)包括：照明光源、光學鏡頭、 CCD 攝相機、圖像采集卡、圖像檢測軟件、監(jiān)視器、通訊單元等。

工業(yè)機器視覺系統(tǒng)的工作過程主要如下：

1、當傳感器探測到被撿測物體接近運動至攝像機的拍攝中心，將觸發(fā)脈沖發(fā)送給圖像采集卡；

2、圖像采集卡根據(jù)已設(shè)定的程序和延時，將啟動脈沖分別發(fā)送給照明系統(tǒng)和攝像機；

3、一個啟動脈沖送給攝像機，攝像機結(jié)束當前的拍照，重新開始一副新的拍照，或者在啟動脈沖到來前攝像機處于等待狀態(tài)，檢測到啟動脈沖后啟動，在開始新的一副拍照前攝像機打開曝光構(gòu)件（曝光時間事先設(shè)定好）；另一個啟動脈沖送給光源，光源的打開時間需要與攝像機的曝光時間匹配；攝像機掃描和輸出一副圖像；

4、圖像采集卡接收信號并通過A/D轉(zhuǎn)換將模擬信號數(shù)字化，或者是直接接收攝像機數(shù)字化后的數(shù)字視頻數(shù)據(jù)；

5、圖像采集卡將數(shù)字圖像存儲在計算機的內(nèi)存中；

6、計算機對圖像進行處理、分析和識別，獲得檢測結(jié)果；

7、處理結(jié)果控制流水線的動作、進行定位、糾正運動的誤差等。

機器視覺系統(tǒng)的工作過程

?機器視覺相關(guān)技術(shù)

?

1、圖像采集技術(shù)——機器視覺的基礎(chǔ)

圖像采集部分一般由光源、鏡頭、數(shù)字攝像機和圖像采集卡構(gòu)成。采集過程可簡單描述為在光源提供照明的條件下，數(shù)字攝像機拍攝目標物體并將其轉(zhuǎn)化為圖像信號，最后通過圖像采集卡傳輸給圖像處理部分。在設(shè)計圖像采集部分時，要考慮到多方面的問題，主要是關(guān)于數(shù)字攝像機、圖像采集卡和光源方面的問題。

（1）光源照明

照明是影響機器視覺系統(tǒng)輸入的重要因素，其直接影響輸入數(shù)據(jù)的質(zhì)量和應用效果。到目前為止，還未有哪種機器視覺照明設(shè)備能通用各種應用，因此在實際應用中，需針對應用選擇相應的照明設(shè)備以滿足特定需求。?

照明系統(tǒng)按其照射方法可分為:背向照明、前向照明、結(jié)構(gòu)光和頻閃光照明等。其中，背向照明是指將被測物放在光源和攝像機之間，以提高圖像的對比度。前向照明是光源和攝像機位于被測物的同側(cè)，其優(yōu)點是便于安裝。結(jié)構(gòu)光照明是將光柵或線光源等投射到被測物上，并根據(jù)其產(chǎn)生的畸變，解調(diào)出被測物的三維信息。頻閃光照明是將高頻率的光脈沖照射到物體上，攝像機拍攝要求與光源同。

（2）光學攝像頭

光學攝像頭的任務(wù)就是進行光學成像，一般在測量領(lǐng)域都又專門的用于測量的攝像鏡頭，因為其對成像質(zhì)量有著關(guān)鍵性的作用。攝像頭需要注意的一個問題是畸變。這個就需要使用相應的畸變校正方法，目前也開發(fā)出了很多自動畸變自動校正系統(tǒng)。

（3）CCD 攝像機及圖像采集卡

CCD( Charge Coupled Device) 攝像機及圖像采集卡共同完成對目標圖像的采集與數(shù)字化。目前 CCD，CMOS等固體器件的應用技術(shù)，線陣圖型敏感器件，像元尺寸不斷減小，陣列像元數(shù)量不斷增加，像元電荷傳輸速率也得到大幅提高。在基于PC機的機器視覺系統(tǒng)中，圖像采集卡是控制攝像機拍照來完成圖像的采集與數(shù)字化，并協(xié)調(diào)整個系統(tǒng)的重要設(shè)備。

圖像采集卡直接決定了攝像頭的接口為：黑白、彩色、模擬、數(shù)字等形式。

2、圖像處理與分析——機器視覺的核心

用于機器視覺的圖像處理與分析方法的核心是，解決目標的檢測識別問題。當所需要識別的目標比較復雜時，就需要通過幾個環(huán)節(jié)，從不同的側(cè)面綜合來實現(xiàn)。

對目標進行識別提取的時候，首先是要考慮如何自動地將目標物從背景中分離出來。目標物提取的復雜性一般就在于目標物與非目標物的特征差異不是很大，在確定了目標提取方案后，就需要對目標特征進行增強。?

隨著計算機技術(shù)、微電子技術(shù)以及大規(guī)模集成電路的發(fā)展，圖像信息處理工作越來越多地借助硬件完成，如 DSP 芯片、專用的圖像信號處理卡等。軟件部分主要用來完成算法中并不成熟又較復雜或需不斷完善改進的部分。這一方面提高了系統(tǒng)的實時性，同時又降低了系統(tǒng)的復雜度。

??

機器視覺技術(shù)遇到的問題

?

對于人類來說，識別和理解周圍場景是一件非常容易的事，但對于機器人來說，卻是一件很困難的事。主要困難有一下幾個方面：

（1）? ?穩(wěn)定性問題

現(xiàn)實中的環(huán)境因素是多變的，場景中的諸多因素，包括照明、物體形狀、表面顏色、攝像機以及空間關(guān)系變化都會對生成的圖像有影響。比如用于智能交通檢測的設(shè)備，如何保證其在惡劣天氣下依舊保持較高的穩(wěn)定性就是一個很難解決的問題。

（2）構(gòu)造出性能良好的識別算法

圖像處理與分析技術(shù)是機器視覺的核心，所以構(gòu)造出一個良好的、適應相關(guān)領(lǐng)域應用的識別算法顯得尤為重要。而且現(xiàn)在的應用領(lǐng)域越來越要求檢測設(shè)備具有準確、高速地識別出目標的能力，如果我們不能構(gòu)造出一個更好的識別算法，就不能適應不斷增長的需求。

（3）數(shù)據(jù)量大

機器視覺所獲取的數(shù)據(jù)量非常非常大的。比如用于手機上的人臉識別功能，識別一次要投射多大幾萬個紅外線點，這是一個龐大的數(shù)據(jù)。再比如交通檢測方面看，一天累積下來的數(shù)據(jù)量也是驚人的。所以如何處理如此大的信息量是個難題。不過隨著硬件技術(shù)的發(fā)展，這個問題將來會逐步得到解決。

機器視覺發(fā)展歷史

?

機器視覺技術(shù)是計算機學科的一個重要分支，自起步發(fā)展至今，機器視覺已經(jīng)有20多年的歷史，其功能以及應用范圍隨著工業(yè)自動化的發(fā)展逐漸完善和推廣。

20世紀50年代開始研究二維圖像的統(tǒng)計模式識別。

60年代Roberts開始進行三維機器視覺的研究。

70年代中，MIT人工智能實驗室正式開設(shè)“機器視覺”的課程。

80年代開始，開始了全球性的研究熱潮，機器視覺獲得了蓬勃發(fā)展，新概念、新理論不斷涌現(xiàn)。

初級階段為1990～1998年，期間真正的機器視覺系統(tǒng)市場銷售額微乎其微。主要的國際機器視覺廠商還沒有進入中國市場。1990年以前，僅僅在大學和研究所中有一些研究圖像處理和模式識別的實驗室。在20世紀90年代初，一些來自這些研究機構(gòu)的工程師成立了他們自己的視覺公司，開發(fā)了第一代圖像處理產(chǎn)品，人們能夠做一些基本的圖像處理和分析工作。盡管這些公司用視覺技術(shù)成功地解決了一些實際問題，例如多媒體處理，印刷品表面檢測，車牌識別等，但由于產(chǎn)品本身軟硬件方面的功能和可靠性還不夠好，限制了他們在工業(yè)應用中的發(fā)展?jié)摿ΑＡ硗?，一個重要的因素是市場需求不大，工業(yè)界的很多工程師對機器視覺沒有概念，另外很多企業(yè)也沒有認識到質(zhì)量控制的重要性。

第二階段1998～2002年定義為機器視覺概念引入期。自從1998年，越來越多的電子和半導體工廠，包括香港和臺灣投資的工廠，落戶廣東和上海。帶有機器視覺的整套的生產(chǎn)線和高級設(shè)備被引入中國。隨著這股潮流，一些廠商和制造商開始希望發(fā)展自己的視覺檢測設(shè)備，這是真正的機器視覺市場需求的開始。設(shè)備制造商或OEM廠商需要更多來自外部的技術(shù)開發(fā)支持和產(chǎn)品選型指導，一些自動化公司抓住了這個機遇，走了不同于上面提到的圖像公司的發(fā)展道路——做國際機器視覺供應商的代理商和系統(tǒng)集成商。他們從美國和日本引入最先進的成熟產(chǎn)品，給終端用戶提供專業(yè)培訓咨詢服務(wù)，有時也和他們的商業(yè)伙伴一起開發(fā)整套的視覺檢測設(shè)備。

經(jīng)過長期市場開拓和培育，不僅僅是半導體和電子行業(yè)，而且在汽車、食品、飲料、包裝等行業(yè)中，一些頂級廠商開始認識到機器視覺對提升產(chǎn)品品質(zhì)的重要作用。在此階段，許多著名視覺設(shè)備供應商，如：Cognex， Basler ， Data TranslaTIon， TEO，SONY開始接觸中國市場尋求本地合作伙伴，但符合要求的本地合作伙伴寥若晨星。

第三階段從2002年至今，我們稱之為機器視覺發(fā)展期，從下面幾點我們可以看到中國機器視覺的快速增長趨勢：

1、在各個行業(yè)，越來越多的客戶開始尋求視覺檢測方案，機器視覺可以解決精確的測量問題和更好地提高他們的產(chǎn)品質(zhì)量，一些客戶甚至建立了自己的視覺部門。

2、越來越多的本地公司開始在他們的業(yè)務(wù)中引入機器視覺，一些是普通工控產(chǎn)品代理商，一些是自動化系統(tǒng)集成商，一些是新的視覺公司。雖然他們絕大多數(shù)尚沒有充分的回報，但都一致認為機器視覺市場潛力很大。資深視覺工程師和實際項目經(jīng)驗的缺乏是他們面臨的最主要的問題。

3、一些有幾年實際經(jīng)驗的公司逐漸給自己定位，以便更好的發(fā)展機器視覺業(yè)務(wù)。他們或者繼續(xù)提高采集卡、圖像軟件開發(fā)能力，或者試圖成為提供工業(yè)現(xiàn)場方案或視覺檢查設(shè)備的領(lǐng)袖廠商。單純的代理仍然是他們業(yè)務(wù)的一部分，但他們已經(jīng)開始開發(fā)自己的技術(shù)或者訣竅，在元件和系統(tǒng)的層次上。

4、經(jīng)過幾年尋找代理的過程，許多跨國公司開始在中國建立自己的分支機構(gòu)。通常他們在北京、上海、廣東、深圳等建立自己在中國的分支機構(gòu)，來管理關(guān)鍵的客戶以及向合作伙伴提供技術(shù)和商務(wù)支持。

機器視覺發(fā)展趨勢

?

機器視覺可以說是人工智能的最下層的基礎(chǔ)設(shè)施層， 在人工智能產(chǎn)業(yè)行業(yè)應用最主要幾個應用領(lǐng)域中，機器視覺的應用領(lǐng)域非常深、非常多，從整個產(chǎn)業(yè)鏈的全景圖來講，中國的人工智能產(chǎn)業(yè)處在快速的生態(tài)的構(gòu)建期。

從整個機器視覺的領(lǐng)域來講，它是處在快速的重構(gòu)期，通過市場分析來看，機器視覺并不是特別新興的領(lǐng)域，這從最早圖像處理衍生到現(xiàn)在，市場上有很多大的廠商對智能安防和交通做了很久的深耕，他們最開始不是做機器視覺、人臉識別起家的，在這幾個行業(yè)中很多廠商都處于并駕齊驅(qū)、快速發(fā)展階段。

賽迪顧問預測到2018年中國人工智能市場規(guī)模會超過406億，這個復合增長率會達到25.8%，增速是快于全球的整個增長率的。在市場結(jié)構(gòu)上來講，也是存在著整體的情況。投資規(guī)模來講，在去年一年，從投資的整個額度包括投資筆數(shù)都呈快速增加的態(tài)勢，而且很多從事人工智能和機器視覺的企業(yè)數(shù)量也在快速地增加。

未來，通過人工智能方面利好的政策，在這四個領(lǐng)域會有比較大的機遇，安防、交通，金融，消費電子這是機器視覺領(lǐng)域重點關(guān)注的應用行業(yè)方向。

第一是現(xiàn)在巨頭做機器視覺，包括人工智能演進，他們都是呈開元化，這在中國來講比如華為，對他們來說開源的思路，到底開源怎么用，有很多理念上跟國外還是有一定的差距，很多開源做完代碼自己封裝自己用了，其實從整個思路來講，國外開源理念上是更先進的。當然有其背后的原因，很多企業(yè)基本上在提交人工智能代碼上走著開源化部署道路。

整個產(chǎn)業(yè)的演進方向，目前處在快速回報期。整個產(chǎn)業(yè)和產(chǎn)品技術(shù)演進會存在周期的波動，機器視覺領(lǐng)域以及計算機視覺，仍是處在快速的回報期，也就是說它的技術(shù)已經(jīng)得到成熟，市場關(guān)注度也在快速地回升，它是未來能夠得到快速回報的重點產(chǎn)品和領(lǐng)域。

最后就是在目前中國整個市場發(fā)展，包括政府的規(guī)劃中，智慧城市這個話題又重新火熱起來了，很多年前建設(shè)了很多，但是發(fā)展都不是特別順利，現(xiàn)在隨著人工智能整個產(chǎn)業(yè)發(fā)展，這個動力和熱潮，主要原因就是技術(shù)實力能夠解決真正的剛需和真正的問題，在數(shù)據(jù)方面我們預測今年中國智慧城市建設(shè)數(shù)量超過500個，在整個智慧城市的產(chǎn)業(yè)定義上來講，機器視覺領(lǐng)域需求量特別大的，很多的包括智慧城市的定義就是說，什么叫智慧城市，就是攝象頭數(shù)量多少個，這是一個很剛性的標準，對智能，包括具備人臉識別功能攝象頭需求量未來是非常大的。

機器視覺的應用

?

目前，最先進的機器視覺技術(shù)仍然由歐美、日本等國家掌握，發(fā)達國家針對工業(yè)現(xiàn)場的應用開發(fā)出了相應的機器視覺軟硬件產(chǎn)品。中國目前正處于由勞動密集型向技術(shù)密集型轉(zhuǎn)型的時期，對提高生成效率、降低人工成本的機器視覺方案有著旺盛的需求，中國正在成為機器視覺技術(shù)發(fā)展最為活躍的地區(qū)之一。長三角和珠三角成為國際電子和半導體技術(shù)的轉(zhuǎn)移地，同時也就成為了機器視覺技術(shù)的聚集地。許多具有國際先進水平的機器視覺系統(tǒng)進入了中國，國內(nèi)的機器視覺企業(yè)也在與國際機器視覺企業(yè)的良性競爭中不斷茁壯成長，許多大學和研究所都在致力于機器視覺技術(shù)的研究。

在國外，機器視覺主要應用在半導體及電子行業(yè)，其中，半導體行業(yè)占 40% ～ 50%。例如，PCB 印刷電路、SMT表面貼裝、電子生產(chǎn)加工設(shè)備等。此外機器視覺還在質(zhì)量檢測的各方面及其他領(lǐng)域均有著廣泛應用。

（1）? ?在工業(yè)檢測方面

近幾十年來，在工業(yè)檢測中利用視覺系統(tǒng)的非接觸、速度快、精度合適、現(xiàn)場抗干擾能力強等突出的優(yōu)點，使機器視覺技術(shù)得到了廣泛的應用，取得了巨大的經(jīng)濟與社會效益。

自動視覺識別檢測目前已經(jīng)用于產(chǎn)品外形和表面缺陷檢驗，如木材加工檢測、金屬表面視覺檢測、二極管基片檢查、印刷電路板缺陷檢查、焊縫缺陷自動識別等。這些檢測識別系統(tǒng)屬于二維機器視覺，技術(shù)已經(jīng)較為成熟，其基本流程是用一個攝像機獲取圖像，對所獲取的圖像進行處理及模式識別，檢測出所需的內(nèi)容。

（2）? ?在醫(yī)學上的應用

在醫(yī)學領(lǐng)域，機器視覺主要用于醫(yī)學輔助診斷。首先采集核磁共振、超聲波、激光、Ｘ射線、γ射線等對人體檢查記錄的圖像，再利用數(shù)字圖像處理技術(shù)、信息融合技術(shù)對這些醫(yī)學圖像進行分析、描述和識別，最后得出相關(guān)信息，對輔助醫(yī)生診斷人體病源大小、形狀和異常，并進行有效治療發(fā)揮了重要的作用。不同醫(yī)學影像設(shè)備得到的是不同特性的生物組織圖像，如Ｘ射線反映的是骨骼組織，核磁共振影像反映的是有機組織圖像，而醫(yī)生往往需要考慮骨骼有機組織的關(guān)系，因而需要利用數(shù)字圖像處理技術(shù)將兩種圖像適當?shù)丿B加起來，以便于醫(yī)學分析。

（3）? ?交通監(jiān)控領(lǐng)域中的應用

智能交通監(jiān)控領(lǐng)域中，在重要的十字路口安放攝像頭，就可以利用攝像頭的快速拍照功能，實現(xiàn)對違章、逆行等車牌的車牌進行自動識別、存貯，以便相關(guān)的工作人員進行查看。

（4）? ?在橋梁檢測領(lǐng)域中的應用

人工檢測法和橋檢車法都是依靠人工用肉眼對橋梁表面進行檢測，其速度慢，效率低，漏檢率高，實時性差，影響交通，存在安全隱患，很難大幅應用；無損檢測包括激光檢測、超聲波檢測以及聲發(fā)射檢測等多種檢測技術(shù)，它們儀器昂貴，測量范圍小，不能滿足日益發(fā)展的橋梁檢測要求；智能化檢測有基于導電性材料的混凝土裂縫分布式自動檢測系統(tǒng)和智能混凝土技術(shù)，也有最前沿的基于機器視覺的檢測方法。導電性材料技術(shù)雖然使用方便，設(shè)備簡單，成本低廉，但是均需要事先在混凝土結(jié)構(gòu)上涂刷或者埋設(shè)導電性材料進行檢測，而且智能混凝土技術(shù)還無法確定裂縫位置、裂縫寬度等一系列問題距實用化還有較長的距離；而基于機器視覺的檢測方法是利用CCD相機獲取橋梁表觀圖片，然后運用計算機處理后自動識別出裂縫圖像，并從背景中分離出來然后進行裂縫參數(shù)的計算的方法，它具有便捷、直觀、精確、非接觸、再現(xiàn)性好、適應性強、靈活性高、成本低廉的優(yōu)點，能解放勞動力，排除人為干擾，具有很好的應用前景。

據(jù)統(tǒng)計，混凝土橋梁的損壞有90%以上都是由裂縫引起的，因此對橋梁的健康檢測主要是對橋梁表觀的裂縫進行檢測與測量?；跈C器視覺的橋梁檢測技術(shù)主要包括三部分內(nèi)容：橋梁表觀圖像的獲取技術(shù)、基于圖像的裂縫自動識別理論與算法以及基于圖像的裂縫寬度等病害程度定量化測量方法。

基于機器視覺的自動化、智能化檢測技術(shù)已經(jīng)在道路、隧道上得到了成功應用，在橋梁上也得到了初步的應用，但主要集中在視線開闊的高空混凝土構(gòu)件表觀圖像獲取技術(shù)上，在病害的自動識別方面仍停留在理論研究階段，還無法應用于實際工程當中。

針對量大面廣的混凝土梁體，智能化視頻橋梁檢測車進入理論與關(guān)鍵部件模型的研制階段，但是受到橋梁細小裂縫自動識別與清晰圖像快速化獲取難度大的限制，目前離達到實用化程度的要求還相距甚遠。

機器視覺的誕生和應用，大幅解放了人類勞動力，同時提高了生產(chǎn)自動化水平，裝備的使用效率、可靠性及穩(wěn)定性等。隨著新技術(shù)、新理論在機器視覺系統(tǒng)中的應用，機器視覺將在國民經(jīng)濟的各領(lǐng)域申發(fā)揮更大作用，其應用前景廣闊，并為社會的發(fā)展帶來了新的技術(shù)革命。?