像人腦一樣看：機(jī)器視覺的一種新形式
近年來，圖像傳感器陣列逐漸發(fā)展出一種集成神經(jīng)網(wǎng)絡(luò)的新體系結(jié)構(gòu)，它可以同時(shí)采集和識別光學(xué)圖像，并且可以在不將信號轉(zhuǎn)換成數(shù)字形式的情況下使高速信息處理成為可能。
視覺是我們最重要的感受之一。雖然人類的視覺更精確、更高效，但受生物學(xué)啟發(fā)的機(jī)器視覺近十年來發(fā)展迅速，使得人工系統(tǒng)能夠“看到”世界，從圖像和視頻中獲取有價(jià)值的信息[1][2]。最近Mennel等人【3】報(bào)道了【0x9A8B】一種類似大腦的視覺系統(tǒng)，經(jīng)過訓(xùn)練后可以在幾納秒內(nèi)實(shí)現(xiàn)簡單的圖像分類。
數(shù)碼相機(jī)等現(xiàn)代圖像傳感器主要基于70年代初發(fā)展起來的半導(dǎo)體(凝聚態(tài))技術(shù)，可分為電荷耦合器件和有源像素傳感器兩大類。這些傳感器可以準(zhǔn)確地捕捉來自環(huán)境的視覺信息，但它們也會產(chǎn)生大量冗余數(shù)據(jù)。這些光學(xué)信息通常被轉(zhuǎn)換成數(shù)字電子信號，并傳輸?shù)接?jì)算單元進(jìn)行圖像處理。
這將導(dǎo)致傳感器和計(jì)算單元之間傳輸大量數(shù)據(jù)，從而導(dǎo)致較大的功耗和延遲。隨著幀率和像素的增加，帶寬的限制使得系統(tǒng)無法將所有數(shù)據(jù)快速傳輸?shù)街醒胩幚砥骰蛟朴?jì)算中心，以支持實(shí)時(shí)處理和決策——，這對于那些對延遲敏感的應(yīng)用，如自主車、機(jī)器人、工業(yè)制造等尤為重要。
更好的解決方案是將一些計(jì)算任務(wù)遷移到計(jì)算機(jī)系統(tǒng)外圍邊界的傳感器設(shè)備，以減少不必要的數(shù)據(jù)傳輸。此外，由于傳感器通常輸出連續(xù)的模擬信號(不斷變化)，模擬處理比數(shù)字處理更適合，因?yàn)槟?shù)轉(zhuǎn)換會消耗更多的時(shí)間和功率。
為了模擬大腦對信息的高效處理，生物啟發(fā)的神經(jīng)形態(tài)工程采用一種具有高度互聯(lián)元件(突觸連接神經(jīng)元)的計(jì)算架構(gòu)來實(shí)現(xiàn)并行計(jì)算(圖1a)。這些人工神經(jīng)網(wǎng)絡(luò)可以通過迭代——從周圍環(huán)境中學(xué)習(xí)。例如，他們可以通過觀察已知類的目標(biāo)樣本來學(xué)習(xí)識別事物(監(jiān)督學(xué)習(xí))，或者在沒有額外信息的情況下識別輸入數(shù)據(jù)中的目標(biāo)結(jié)構(gòu)(無監(jiān)督學(xué)習(xí))。在學(xué)習(xí)過程中，算法不斷進(jìn)行預(yù)測，加強(qiáng)或削弱網(wǎng)絡(luò)中的每一個(gè)突觸，直到系統(tǒng)達(dá)到最優(yōu)設(shè)置。
內(nèi)置計(jì)算的視覺傳感器可以實(shí)現(xiàn)智能高效的預(yù)處理。
a、在傳統(tǒng)的人工智能(AI)視覺傳感器中，光學(xué)傳感器采集信號后將模擬信號轉(zhuǎn)換為數(shù)字信號(模數(shù)轉(zhuǎn)換器ADC)，放大后的信號送入外部的人工神經(jīng)網(wǎng)絡(luò)(ANN，層間互聯(lián)的計(jì)算單元，圖中一個(gè)圓)，其連接權(quán)值可以根據(jù)模型輸出不斷調(diào)整，這樣網(wǎng)絡(luò)就可以針對圖像分類等任務(wù)進(jìn)行訓(xùn)練。ANN的輸入層接收編碼簡單物理信息的信號(圖中的點(diǎn)和線)；后續(xù)層優(yōu)化為中間層特征(圖中簡單形狀)，最終優(yōu)化結(jié)果(圖中三維形狀)在輸出層形成。整個(gè)過程耗時(shí)耗力。
b，Mennel等人【3】報(bào)道了芯片內(nèi)部互聯(lián)的傳感器(圖中的塊)不僅可以采集信號，還可以以ANN的形式識別簡單的特征，從而減少傳感器與外部電路之間冗余數(shù)據(jù)的傳輸。維也納理工大學(xué)的Mennel等人將人工神經(jīng)網(wǎng)絡(luò)直接嵌入到圖像傳感器中，他們使用只有幾個(gè)原子層的二硒化鎢光敏單元在芯片上構(gòu)建光電二極管網(wǎng)絡(luò)。這種半導(dǎo)體對光的響應(yīng)強(qiáng)度可以通過調(diào)節(jié)電壓來控制，因此每個(gè)二極管的靈敏度可以獨(dú)立調(diào)節(jié)。事實(shí)上，這種效應(yīng)將光電傳感器網(wǎng)絡(luò)轉(zhuǎn)化為神經(jīng)網(wǎng)絡(luò)(圖1b)，使其可以執(zhí)行簡單的計(jì)算任務(wù)。改變光電二極管對光的響應(yīng)相當(dāng)于改變網(wǎng)絡(luò)的連接強(qiáng)度(突觸權(quán)重)，使傳感器可以同時(shí)實(shí)現(xiàn)光信號傳感和神經(jīng)形態(tài)學(xué)計(jì)算。
這些二極管被構(gòu)造成9個(gè)像素的正方形矩陣，每個(gè)像素有三個(gè)二極管。當(dāng)圖像投射到芯片上時(shí)，二極管產(chǎn)生的不同電流一起被讀出。硬件陣列將提供模擬形式的計(jì)算：每個(gè)光電二極管產(chǎn)生的電流輸出與入射光強(qiáng)度成正比，入射光強(qiáng)度基于描述電路中電流基本規(guī)律的基爾霍夫定律在行或列方向求和。
這個(gè)陣列然后被訓(xùn)練用于特定的任務(wù)。陣列產(chǎn)生的電流信號和正確響應(yīng)給定任務(wù)的電流信號之間的差異將被片外分析，然后用于調(diào)整下一個(gè)訓(xùn)練周期的突觸權(quán)重。雖然訓(xùn)練階段會消耗大量時(shí)間和計(jì)算資源，但訓(xùn)練完成后芯片會對目標(biāo)任務(wù)做出快速響應(yīng)。
基于不同的神經(jīng)網(wǎng)絡(luò)算法，構(gòu)造了兩種神經(jīng)形態(tài)函數(shù)。一種是分類：33像素陣列可以將輸入圖像分類為三個(gè)簡單的字母，在納秒時(shí)間內(nèi)識別出輸入信號對應(yīng)的字母。這個(gè)簡單的任務(wù)只是概念的證明，通過增加整列的規(guī)?？梢詳U(kuò)展到更復(fù)雜的任務(wù)。
第二個(gè)功能實(shí)現(xiàn)自動編碼器：內(nèi)置計(jì)算的傳感器陣列，通過學(xué)習(xí)輸入圖像的主要特征，即使在有噪聲信號的情況下，也能生成其簡化的表達(dá)式形式。編碼后的表達(dá)式只包含最本質(zhì)的信息，但可以解碼重構(gòu)為接近原始輸入的圖像。
然而，在實(shí)際應(yīng)用之前，還有許多工作要做。自動駕駛系統(tǒng)和機(jī)器人的神經(jīng)形態(tài)視覺系統(tǒng)需要在三維場景中捕捉大視場的動態(tài)圖像和視頻。目前，圖像捕捉技術(shù)通常將真實(shí)的3D世界轉(zhuǎn)換成2D信息，因此失去了運(yùn)動信息和深度。此外，當(dāng)前圖像傳感器陣列的平面結(jié)構(gòu)也限制了寬視場相機(jī)的發(fā)展[5]。
對于作者的系統(tǒng)來說，在低照度下成像是非常困難的，因此有必要重新設(shè)計(jì)以提高光強(qiáng)吸收并檢測光強(qiáng)的動態(tài)范圍。另外，報(bào)告中的設(shè)計(jì)需要高電壓，消耗大量能量，而生物神經(jīng)網(wǎng)絡(luò)消耗的能量是亞散焦(1015-1013焦耳)[6]。將傳感器的響應(yīng)范圍擴(kuò)展到紫外和紅外波段，從而捕捉到可見光波段以外的豐富信息具有重要意義[7]。此外，實(shí)驗(yàn)中使用的薄半導(dǎo)體難以大規(guī)模均勻生產(chǎn)和加工。因此，它們可以與硅電子器件集成，并應(yīng)用于讀取和反饋控制等外圍電路。這個(gè)傳感器的速度和能耗不是由圖像捕獲過程決定的，而是受到傳感器和外圍電路之間數(shù)據(jù)傳輸?shù)南拗啤ｋm然內(nèi)置計(jì)算的傳感器單元在模擬信號域采集和計(jì)算數(shù)據(jù)，降低了模數(shù)轉(zhuǎn)換的消耗，但外圍電路仍然受到固有延遲的限制。因此，傳感器和外圍電路的協(xié)同開發(fā)將進(jìn)一步降低整個(gè)系統(tǒng)的延遲水平。
Mennel等人開發(fā)的內(nèi)置計(jì)算傳感器系統(tǒng)將激發(fā)更多的人工智能硬件研究。少數(shù)公司已經(jīng)開始開發(fā)基于硅電子器件的AI視覺系統(tǒng)[8]，但芯片固有的數(shù)字架構(gòu)導(dǎo)致了不可避免的延遲和功耗問題。
在更大的尺度上，策略不限于視覺系統(tǒng)。它可以擴(kuò)展到聽覺、觸覺、熱和嗅覺等物理輸入感知系統(tǒng)[9 -11]。這種智能系統(tǒng)的發(fā)展和5G的到來，將使實(shí)時(shí)邊緣計(jì)算(低延遲)成為可能。