服務(wù)熱線
13430557816
近日,香港理工大學(xué)柴揚和華中科技大學(xué)何毓輝教授造出一款動態(tài)視覺傳感器,實現(xiàn)了高級別的動態(tài)視覺處理。
本次研究結(jié)合了動態(tài)視覺傳感器和傳感器內(nèi)計算,通過充分利用兩者的優(yōu)點,他們還設(shè)計出一款動態(tài)傳感器內(nèi)計算架構(gòu)。該架構(gòu)可以大幅提高運算效率,實現(xiàn)低延時、低功耗的運動識別。
這種直接在傳感器內(nèi)進行實時處理和決策的方式,有望用于邊緣計算,以及用于那些對延遲高度敏感的場景比如無人駕駛汽車、機器人技術(shù)等領(lǐng)域,并能有效節(jié)省通信帶寬,此外還能增強數(shù)據(jù)的安全性和隱私性。
那么,相比現(xiàn)有的圖像傳感器、或互補金屬氧化物半導(dǎo)體(CMOS,Complementary Metal Oxide Semiconductor),動態(tài)視覺傳感器在捕捉動態(tài)圖像時,在工作原理上有著哪些不同?
據(jù)了解,傳統(tǒng)相機所基于的標準圖像傳感器具有固定的幀率,不管像素點的光強是否發(fā)生變化,都會在每一幀記錄下所有像素的光強,因此會包含大量冗余的視覺數(shù)據(jù)。
另一方面,較長的曝光時間限制了事件捕獲的延遲,導(dǎo)致所捕捉到的高速運動物體圖像存在模糊和過曝等問題。
相比之下,受生物視網(wǎng)膜啟發(fā)的動態(tài)視覺傳感器(DVS,Dynamic Vision Sensor),可以只針對場景中的相對變化區(qū)域作出反應(yīng)。
對于動態(tài)視覺傳感器來說,只有在像素點的位置發(fā)生光強變化的時候,才會產(chǎn)生脈沖信號從而生成稀疏數(shù)據(jù),這樣一來就能大大減少數(shù)據(jù)的冗余量。
動態(tài)視覺傳感器還具備超高的時間分辨率,能夠確保動作信息被完整記錄下來。因此,它也能被用于檢測場景中的變化,輸出稀疏且重要的信息。
而對于傳感器內(nèi)的脈沖信號來說,它是否也能被反饋給傳感器神經(jīng)元,從而做出相應(yīng)的調(diào)整?
對于這一問題,答案是肯定的。為了執(zhí)行復(fù)雜的計算任務(wù)比如動作識別,像素單元需要被擴展到陣列級別,并通過單元之間合適的物理互連,構(gòu)建成脈沖神經(jīng)網(wǎng)絡(luò)(SNN,Spiking Neural Network)。
而每個子像素陣列,在連接之后可以輸出神經(jīng)元。在動態(tài)場景中,當像素點的光照強度發(fā)生變化時,子像素單元也會產(chǎn)生正負電流脈沖,來對 LIF(leaky integrate and fire)神經(jīng)元中的電容進行充放電。
一旦電容的積分電壓也就是神經(jīng)元的膜電位,達到神經(jīng)元的閾值時就會輸出脈沖。
來源:傳感器專家網(wǎng)