返回首頁 hi, 歡迎來到機器人在線 請登錄/ 免費注冊 訂閱郵件
有疑問,咨詢在線客服

服務于機器視覺的傳感和成像研究方向

時間:2019-11-07 來源:機器人在線 閱讀:482

機器視覺與多頻譜的圖像融合



這個世界的頻譜很寬很寬,頻段從10的-14次方到10的-4次方,而人可見的波段實際上只用了400到800納米。世界上任何物體在發射波也在反射波,波段非常豐富,人類卻只能看到的是很少的波段。傳感器也是做了很小的一個波段,有沒有辦法識別一只狗,除了可見的東西,還有沒有不可見的東西?比如在紅外光線下,在近波紅外光線下,在遠波紅外光線下是否可以看到我們看不到的東西。


人在在黑夜沒有任何可見光的情況下,視覺是失靈的,但是機器是可以看到的,因為機器可以感知其他波段,如機器可以感知長波紅外(平時說的熱成像),只要物體還在散發熱量,如看的是狗,這只狗還是活著的,就會對外散發熱量,長波紅外就可以感知到這只狗,這就是機器視覺有超過人類視覺的潛力所在,因為機器感知的頻段比人類要寬的多。


是否可以做一個全頻譜的傳感器?就像在本文的其他系列文章中提到的,和rggb陣列一樣,做全頻譜的覆蓋。現在還不行,傳感器是基于光電效應工作,不存在一種金屬材料可以對所有頻段的波產生光電效應,只能針對某一個波段傳感器采用某種金屬底片進行光電效應,業內采用比較多的如上圖示例中rgb是visible波段的波,也坑是短波紅外的波,也可能是長波紅外。


機器和長中短紅外波融合的好處和問題,如:


l 近波紅外(near infrared【nir】)


nir已經應用在自動駕駛中人臉識別或則駕駛員監控,nir很好的特性是在傳統的cmos傳感器不需要做大的更迭,傳統cmos下的硅底就是金屬底片本身就對nir產生光電效用,只要改掉上面的CFA(color filter array),它的缺點是依賴物體反光,清晰度差。


l Short wave infrared(swir)短波紅外


解決提高近波紅外清晰度和光電效應比較弱的問題,可以用短波紅外(swir)。但是swir的缺點,一是金屬底片很難制備,成本也高,低光效果很好,二是法律問題,因為大量的short wave infrared是軍事應用。例如導彈,高頻率夜視工具等都是用的swir。在民用領域,如無人駕駛還不能使用短波紅外。


l middle infrared(mwir)中波紅外


中波紅外受到法律限制少,因為中波紅外有明確的工業用途,對針對工業漏氣檢測,如天然氣泄露等某種有害氣體泄漏。中波紅外還可以隔著金屬檢測是否存在化工液體。中波紅外在工業領域應用很多,但是在無人駕駛中應用不多,因為無人駕駛車只會檢測前方是否存在金屬障礙物,而不是檢測金屬障礙物后面是否有有毒液體或者氣體。


l Long wave infrared(lwir)長波紅外


他就是熱成像,lwir不需要外來的光照,只要物體本身發熱就可以成像。它的缺點,一是受到法律法規限制,不管是美國中國都有出口限制,都有技術壁壘,暫時民用有困難,長波紅外在美國的限制是只要大于9赫茲,長波紅外的成像工具都不能出口,二是噪音很大,要想把lwir做好,成本極高,難度極大。


有著么多難點,那如何做呢?當前已經有人在做,安森美在做rgbir傳感器,它把里面的一個bayer patent,把一個r的patent,一個g的patent,變成I patent,它就可以白天用rgb,晚上用ir,就做到了全工況都可以使用。


服務于機器視覺的傳感和成像研究方向


l 打破傳感器感性指標


現在的傳感器的線性指標很重要,如圖:



但是我們未必需要傳感器發出的電壓和光照強度成正比。如果你希望將feature map kernel化,只要針對感興趣的那部分,discrimination高就好了,我們能不能設置一種傳感器不需要顯性,而是有kernel特征化,它的線可以是彎彎曲曲,因為它對識別效果非常好。


l 基于端到端的機器學習方法


完全跳過isp,不基于人的視覺標準,就是輸入一個14bit的原圖,通過網絡就可以輸入識別結果,完全跳過isp。


l 多傳感器,多頻譜融合


全頻段感知


l 制定給予視覺的圖像質量標準


現在已經有了人的視覺質量標準,是否制定一套針對機器的視覺質量標準。我們找了很久,現在看暫時沒有。在歐洲有一些零散的標準,但還不是完全服務機器視覺方向的。如果有一套服務于機器的識別,分類,那我們會省去傳統傳感器,isp廠商的很多工作。甚至說沒有isp廠商的工作,就剩下傳感器的工作。

好的文章,需要您的鼓勵

8

  • 最新文章
  • 精品案例
  • 現貨產品
延伸閱讀 熱門要聞

王中王半头单双中特