首頁 > ROS開發 > 探索無人車自動駕駛:視覺識別技術
2020
10-21

探索無人車自動駕駛:視覺識別技術

有一天,我會放開雙手,任由汽車帶我遨游山河。
有一天,我會放松身心,透過車窗看這美麗景色。


通過對SLAM自主建圖和多傳感器融合技術的學習,相信你一定對自動駕駛技術的未來發展更加充滿信心,今天,我們繼續探究自動駕駛的涉及技術之一——視覺識別技術(利用雙目攝像頭和RGB攝像頭可以識別車道線、道路標識標線、障礙物等)

]GQ5NFML@YUQ7{IQOW36JRL.png

雙目 · 攝像頭


首先,我們先要了解的是,自動駕駛中用到的雙目攝像頭到底是何物。


雙目攝像頭是利用仿生學原理,通過標定后的雙攝像頭得到同步曝光圖像,然后計算獲取的2維圖像像素點的第三維深度信息。為了對不同的環境場合進行監控提出了一種新的基于雙目計算機視覺的自適應識別算法

該算法首先利用像素點的深度信息對場景進行識別判斷,然后采用統計的方法為場景建模,并通過時間濾波克服光照漸變,以及通過深度算法特性克服光照突變。與單攝像頭相比,利用該算法實現的視頻監控原理系統,可應用于更多場合,并利用深度信息設置報警級別,來降低誤檢率。

知道了什么叫做雙目攝像頭,那么我們就要進一步了解雙目攝像頭都能干什么?

1. 做距離相關的應用:人眼能夠感知物體的遠近,是由于兩只眼睛對同一個物體呈現的圖像存在差異,也稱“視差”。物體距離越遠,視差越小;反之,視差越大。視差的大小對應著物體與眼睛之間距離的遠近。

2. 雙攝像頭可以做光學變焦:若兩個攝像頭的FOV 不一樣,一個大FOV ,一個小FOV ,再通過算法實現兩個光學鏡頭之間的效果,就可以輕松做到光學變焦。


雙目攝像頭原理
知道了雙目攝像頭是什么,有什么用,那么它的原理自然也就能夠明白了,實際上雙目攝像頭的原理并不難理解。

雙目攝像頭就是模擬人眼的應用簡單的說,測距離的話,就是通過算法算出,被拍攝物體與左/右攝像頭的角度θ1和θ2,再加上固定的y 值(即兩個攝像頭的中心距),就非常容易算出z 值(即物體到攝像頭的距離)。

但是,任何事物都不是輕易就能夠完成的,雙目攝像頭自然也是,它也有自身的難點

雙目系統的一個難點在于計算量非常大,對計算單元的性能要求非常高,這使得雙目系統的產品化、小型化的難度較大。所以在芯片或FPGA 上解決雙目的計算問題難度比較大。

其次,雙目攝像頭對ISP 的性能比較高。雙攝像頭的算法,不得不提到ISP ,ISP 主要作用是對前端圖像傳感器輸出的信號做后期處理,主要功能有線性糾正、噪聲去除、壞點去除、內插、白平衡、自動曝光控制等,依賴于ISP 才能在不同的光學條件下都能較好的還原現場細節,ISP 技術在很大程度上決定了攝像機成像質量。


機器視覺 · 系統


了解了雙目攝像機的一些知識以后,我們向更深的領域探索,接下來,就讓我們一起來看看,自動駕駛涉及的技術之一——機器視覺系統


機器視覺系統簡介
視覺系統就是用機器代替人眼來做測量和判斷。

視覺系統是指通過機器視覺產品(即圖像攝取裝置,分 CMOS 和CCD 兩種)將被攝取目標轉換成圖像信號,傳送給專用的圖像處理系統,根據像素分布和亮度、顏色等信息,轉變成數字化信號。

圖像系統對這些信號進行各種運算來抽取目標的特征,進而根據判別的結果來控制現場的設備動作。是用于生產、裝配或包裝的有價值的機制。它在檢測缺陷和防止缺陷產品被配送到消費者的功能方面具有不可估量的價值。

機器視覺系統的特點是提高生產的柔性和自動化程度

在一些不適合于人工作業的危險工作環境或人工視覺難以滿足要求的場合,常用機器視覺來替代人工視覺。

同時在大批量工業生產過程中,用人工視覺檢查產品質量效率低且精度不高,用機器視覺檢測方法可以大大提高生產效率和生產的自動化程度。而且機器視覺易于實現信息集成,是實現計算機集成制造的基礎技術。可以在最快的生產線上對產品進行測量、引導、檢測、和識別,并能保質保量的完成生產任務。

基本構造

一個典型的工業機器視覺系統包括:光源、鏡頭(定焦鏡頭、變倍鏡頭、遠心鏡頭、顯微鏡頭)、 相機(包括CCD相機和COMS相機)、圖像處理單元(或圖像捕獲卡)、圖像處理軟件、監視器、通訊 / 輸入輸出單元等。

系統可再分為:
一、采集和分析分開的系統。
主端電腦(Host Computer)、影像擷取卡(Frame Grabber)與影像處理器、影像攝影機、定焦鏡頭鏡頭、顯微鏡頭、照明設備、Halogen光源LED光源、高周波螢光燈源、閃光燈源、其他特殊光源、影像顯示器、LCD、機構及控制系統、PLC、PC-Base控制器、精密桌臺、伺服運動機臺。

二、采集和分析一體的系統
智能相機(圖像采集和分析一體)
其他配套外圍設備:光源、顯示、PLC控制系統等等。


圖像 · 采集


圖像采集卡只是完整的機器視覺系統的一個部件,但是它扮演一個非常重要的角色。圖像采集卡直接決定了攝像頭的接口:黑白、彩色、模擬、數字等等。

比較典型的是PCI或AGP兼容的捕獲卡,可以將圖像迅速地傳送到計算機存儲器進行處理。有些采集卡有內置的多路開關。例如,可以連接8個不同的攝像機,然后告訴采集卡采用那一個相機抓拍到的信息。有些采集卡有內置的數字輸入以觸發采集卡進行捕捉,當采集卡抓拍圖像時數字輸出口就觸發閘門。


視覺處理器


視覺處理器集采集卡與處理器于一體。以往計算機速度較慢時,采用視覺處理器加快視覺處理任務。由于采集卡可以快速傳輸圖像到存儲器,而且計算機也快多了,所以視覺處理器用的較少了。

機器 · 選型


在機器視覺系統中,獲得一張高質量的可處理的圖像是至關重要。系統之所以成功,首先要保證圖像質量好,特征明顯。一個機器視覺項目之所以失敗,大部分情況是由于圖像質量不好,特征不明顯引起的。要保證好的圖像,必須要選擇一個合適的光源。


光源選型基本要素:
對比度:對比度對機器視覺來說非常重要。機器視覺應用的照明的最重要的任務就是使需要被觀察的特征與需要被忽略的圖像特征之間產生最大的對比度,從而易于特征的區分。對比度定義為在特征與其周圍的區域之間有足夠的灰度量區別。好的照明應該能夠保證需要檢測的特征突出于其他背景。

亮度:當選擇兩種光源的時候,最佳的選擇是選擇更亮的那個。當光源不夠亮時,可能有三種不好的情況會出現。第一,相機的信噪比不夠;由于光源的亮度不夠,圖像的對比度必然不夠,在圖像上出現噪聲的可能性也隨即增大。其次,光源的亮度不夠,必然要加大光圈,從而減小了景深。另外,當光源的亮度不夠的時候,自然光等隨機光對系統的影響會最大。

魯棒性:另一個測試好光源的方法是看光源是否對部件的位置敏感度最小。當光源放置在攝像頭視野的不同區域或不同角度時,結果圖像應該不會隨之變化。方向性很強的光源,增大了對高亮區域的鏡面反射發生的可能性,這不利于后面的特征提取。

好的光源需要能夠使你需要尋找的特征非常明顯,除了是攝像頭能夠拍攝到部件外,好的光源應該能夠產生最大的對比度、亮度足夠且對部件的位置變化不敏感。光源選擇好了,剩下來的工作就容易多了。具體的光源選取方法還在于試驗的實踐經驗。

應用 · 類別

圖像識別處理時應采取相應的算法,提取雜質的特征,進行模式識別,實現智能分析。


Color檢測
一般而言,從彩色CCD相機中獲取的圖像都是RGB圖像。也就是說每一個像素都由紅(R)綠(G)藍(B)三個成分組成,來表示RGB色彩空間中的一個點。問題在于這些色差不同于人眼的感覺。即使很小的噪聲也會改變顏色空間中的位置。所以無論我們人眼感覺有多么的近似,在顏色空間中也不盡相同。基于上述原因,我們需要將RGB像素轉換成為另一種顏色空間CIELAB。目的就是使我們人眼的感覺盡可能的與顏色空間中的色差相近。

Blob檢測
根據上面得到的處理圖像,根據需求,在純色背景下檢測雜質色斑,并且要計算出色斑的面積,以確定是否在檢測范圍之內。因此圖像處理軟件要具有分離目標,檢測目標,并且計算出其面積的功能。

Blob分析(Blob Analysis)是對圖像中相同像素的連通域進行分析,該連通域稱為Blob。經二值化(Binary Thresholding)處理后的圖像中色斑可認為是blob。Blob分析工具可以從背景中分離出目標,并可計算出目標的數量、位置、形狀、方向和大小,還可以提供相關斑點間的拓撲結構。在處理過程中不是采用單個的像素逐一分析,而是對圖形的行進行操作。圖像的每一行都用游程長度編碼(RLE)來表示相鄰的目標范圍。這種算法與基于象素的算法相比,大大提高處理速度。

機器視覺系統 · 工作原理


機器視覺檢測系統采用CCD照相機將被檢測的目標轉換成圖像信號,傳送給專用的圖像處理系統,根據像素分布和亮度、顏色等信息,轉變成數字化信號,圖像處理系統對這些信號進行各種運算來抽取目標的特征,如面積、數量、位置、長度,再根據預設的允許度和其他條件輸出結果,包括尺寸、角度、個數、合格 / 不合格、有 / 無等,實現自動識別功能。

機器視覺系統 · 優點

1、非接觸測量,對于觀測者與被觀測者都不會產生任何損傷,從而提高系統的可靠性。


2、具有較寬的光譜響應范圍,例如使用人眼看不見的紅外測量,擴展了人眼的視覺范圍。


3、長時間穩定工作,人類難以長時間對同一對象進行觀察,而機器視覺則可以長時間地作測量、分析和識別任務。


機器視覺系統在應用領域越來越廣泛,在醫療、交通、工業、安全、金融等方面都有機器視覺系統的出現,可以說,機器視覺系統出現在了我們生活的方方面面 。


通過今天的學習,是不是又學到了新的關于自動駕駛的知識了?相信你對自動駕駛方面的理解會越來越深刻的。

2S%_41K)0@PX8MIA78{[FHC.png


本文》有 0 條評論

留下一個回復