自動(dòng)駕駛的視覺感知包括哪些內(nèi)容？

麥來亂

       自動(dòng)駕駛的視覺感知包括哪些內(nèi)容？ 本文針對(duì)自動(dòng)駕駛行業(yè)的視覺感知做簡(jiǎn)要介紹，從傳感器端的對(duì)比，到數(shù)據(jù)的采集標(biāo)注，進(jìn)而對(duì)感知算法進(jìn)行分析，給出各個(gè)模塊的難點(diǎn)和解決方案，最后介紹感知模塊的主流框架設(shè)計(jì)。 傳感器 相機(jī)標(biāo)定 數(shù)據(jù)標(biāo)注 功能劃分 模塊架構(gòu) 視覺感知系統(tǒng)主要以攝像頭作為傳感器輸入，經(jīng)過一系列的計(jì)算和處理，對(duì)自車周圍的環(huán)境信息做精確感知。目的在于為融合模塊提供準(zhǔn)確豐富的信息，包括被檢測(cè)物體的類別、距離信息、速度信息、朝向信息，同時(shí)也能夠給出抽象層面的語義信息。所以道路交通的感知功能主要包括以下三個(gè)方面： 道路目標(biāo)檢測(cè)（車輛、行人和非機(jī)動(dòng)車） 交通標(biāo)識(shí)檢測(cè)（交通標(biāo)志和紅綠燈） 可行駛區(qū)域（道路區(qū)域和車道線） 這三類任務(wù)如果通過一個(gè)深度神經(jīng)網(wǎng)絡(luò)的前向傳播完成，不僅可以提高系統(tǒng)的檢測(cè)速度，減少計(jì)算參數(shù)，而且可以通過增加主干網(wǎng)絡(luò)的層數(shù)的方式提高檢測(cè)和分割精度。如下圖所示：可以將視覺感知任務(wù)分解成目標(biāo)檢測(cè)、圖像分割、目標(biāo)測(cè)量、圖像分類等。

傳感器 前視線性相機(jī)：視角較小，一般采用52°左右的相機(jī)模組安裝于車輛前擋風(fēng)玻璃中間，主要用來感知車輛前方較遠(yuǎn)的場(chǎng)景，感知距離一般為120米以內(nèi)。

周視廣角相機(jī)：視場(chǎng)角相對(duì)較大，一般采用6顆100°左右的相機(jī)模組安裝在車輛周圍一圈，主要用來感知360°的周身環(huán)境（安裝方案與特斯拉大同小異）。廣角相機(jī)存在一定的畸變現(xiàn)象，如下圖所示：

環(huán)視魚眼相機(jī)：環(huán)視魚眼相機(jī)視角較大，可以達(dá)到180°以上，對(duì)近距離的感知較好，通常用于APA，AVP等泊車場(chǎng)景，安裝于車輛左右后視鏡下方以及前后車牌下方等4個(gè)位置做圖像的拼接、車位檢測(cè)、可視化等功能。

相機(jī)標(biāo)定 相機(jī)標(biāo)定的好壞直接影響目標(biāo)測(cè)距的精度，主要包括內(nèi)參標(biāo)定和外參標(biāo)定。 內(nèi)參標(biāo)定用于做圖像的畸變校正，外參標(biāo)定用于統(tǒng)一多個(gè)傳感器的坐標(biāo)系，將各自的坐標(biāo)原點(diǎn)移動(dòng)到車輛后軸中心處。 最耳熟能詳?shù)臉?biāo)定方法就是張正友的棋盤格方法，在實(shí)驗(yàn)室里一般會(huì)做一個(gè)棋盤格板子標(biāo)定相機(jī)，如下圖：

出廠標(biāo)定 但是自動(dòng)駕駛做前裝量產(chǎn)，由于批量生產(chǎn)的緣故，無法一輛輛使用標(biāo)定板做標(biāo)定，而是構(gòu)建一個(gè)場(chǎng)地用于車輛出廠時(shí)標(biāo)定，如下圖所示：

2. 在線標(biāo)定 另外考慮到車輛運(yùn)行一段時(shí)間或者在顛簸的過程中攝像頭位置的偏移，感知系統(tǒng)中也有在線標(biāo)定的模型，常利用消失點(diǎn)或車道線等檢測(cè)得到的信息實(shí)時(shí)更新俯仰角的變化。 數(shù)據(jù)標(biāo)注 自然道路場(chǎng)景存在各種各樣的突發(fā)狀況，所以需要采集大量的實(shí)車數(shù)據(jù)用來訓(xùn)練。高質(zhì)量的數(shù)據(jù)標(biāo)注成了一件至關(guān)重要的工作，其中感知系統(tǒng)需要檢測(cè)的全部信息均需要進(jìn)行標(biāo)注。標(biāo)注形式包括目標(biāo)級(jí)標(biāo)注和像素級(jí)標(biāo)注： 目標(biāo)級(jí)標(biāo)注如下圖：

像素級(jí)標(biāo)注如下圖：

由于感知系統(tǒng)中的檢測(cè)和分割任務(wù)常采用深度學(xué)習(xí)的方式實(shí)現(xiàn)，而深度學(xué)習(xí)是一項(xiàng)數(shù)據(jù)驅(qū)動(dòng)的技術(shù)，所以需要大量的數(shù)據(jù)和標(biāo)注信息進(jìn)行迭代。為了提高標(biāo)注的效率，可以采用半自動(dòng)的標(biāo)注方式，通過在標(biāo)注工具中嵌入一個(gè)神經(jīng)網(wǎng)絡(luò)用于提供一份初始標(biāo)注，然后人工修正，并且在一段時(shí)間后加載新增數(shù)據(jù)和標(biāo)簽進(jìn)行迭代循環(huán)。 功能劃分 視覺感知可以分為多個(gè)功能模塊，如道路目標(biāo)檢測(cè)、目標(biāo)測(cè)量、可行駛區(qū)域、車道線檢測(cè)、交通標(biāo)識(shí)檢測(cè)等。 1. 道路目標(biāo)檢測(cè) 對(duì)車輛（轎車、卡車、電動(dòng)車、自行車）、行人等動(dòng)態(tài)物體的識(shí)別，輸出被檢測(cè)物的類別和3D信息并對(duì)幀間信息做匹配，確保檢測(cè)框輸出的穩(wěn)定和預(yù)測(cè)物體的運(yùn)行軌跡。神經(jīng)網(wǎng)絡(luò)直接做3D回歸準(zhǔn)確度不高，通常會(huì)對(duì)車輛拆分成車頭，車身，車尾，輪胎多個(gè)部位的檢測(cè)拼成3D框。

目標(biāo)檢測(cè)難點(diǎn)： 小目標(biāo)檢測(cè)問題 多目標(biāo)重疊問題 部分被遮擋問題 外觀相似的問題 目標(biāo)多樣性問題 對(duì)于視覺目標(biāo)檢測(cè)，在惡劣天氣環(huán)境下，感知性能會(huì)有一定的下降；在夜晚燈光昏暗時(shí)，容易出現(xiàn)漏檢的問題。如果結(jié)合激光雷達(dá)的結(jié)果進(jìn)行融合，對(duì)于目標(biāo)的召回率會(huì)大幅提高。 具體解決方案： 目標(biāo)檢測(cè)任務(wù)現(xiàn)在大多采用深度學(xué)習(xí)的方法來做位置的回歸和類別的區(qū)分。在設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的時(shí)候，可以考慮以下Tricks： 降低下采樣率并結(jié)合空洞卷積，減少小物體特征的損失； 采用FPN結(jié)構(gòu)進(jìn)行深層特征和淺層特征的融合來增強(qiáng)目標(biāo)的特征信息； 加入Mosiac，MixUp等混疊形式的數(shù)據(jù)增強(qiáng)方法，提供模型對(duì)重疊和遮擋場(chǎng)景的魯棒性； 多種算法或傳感器的聯(lián)合校驗(yàn)，降低在特定場(chǎng)景下的誤檢或漏檢率； 但是深度學(xué)習(xí)作為一種概率形式的算法，即使提取特征能力強(qiáng)大，也不能覆蓋掉所有的動(dòng)態(tài)物體特征。在工程開發(fā)中可以依據(jù)現(xiàn)實(shí)場(chǎng)景增加一些幾何約束條件（如尺寸信息，空間位置信息，運(yùn)動(dòng)連貫性等）。 增加幾何約束的好處是提高檢測(cè)率，降低誤檢率，如轎車不可能誤檢為卡車?？梢杂?xùn)練一個(gè)3D檢測(cè)模型再配合后端多目標(biāo)追蹤優(yōu)化以及基于單目視覺幾何的測(cè)距方法完成功能模塊。 目標(biāo)測(cè)量: 目標(biāo)測(cè)量包括測(cè)量目標(biāo)的橫縱向距離，橫縱向速度等信息。根據(jù)目標(biāo)檢測(cè)跟蹤的輸出借助地面等先驗(yàn)知識(shí)從2D的平面圖像計(jì)算車輛等動(dòng)態(tài)障礙物的距離信息、速度信息等或者通過NN網(wǎng)絡(luò)直接回歸出現(xiàn)世界坐標(biāo)系中的物體位置。如下圖所示：

單目測(cè)量難點(diǎn)： 如何從缺乏深度信息的單目系統(tǒng)中計(jì)算出前方的物體距離。那么我們需要弄清楚以下幾個(gè)問題： 功能需求的測(cè)距范圍 場(chǎng)景提供的先驗(yàn)知識(shí) 需要做到的橫縱向精度 如果大量依賴模式識(shí)別技術(shù)來彌補(bǔ)深度的不足。那么模式識(shí)別是否足夠健壯能滿足串行生產(chǎn)產(chǎn)品的嚴(yán)格檢測(cè)精度要求? 單目測(cè)量方案： 其一，就是通過光學(xué)幾何模型（即小孔成像模型）建立測(cè)試對(duì)象世界坐標(biāo)與圖像像素坐標(biāo)間的幾何關(guān)系，結(jié)合攝像頭內(nèi)、外參的標(biāo)定結(jié)果，便可以得到與前方車輛或障礙物間的距離； 其二，就是在通過采集的圖像樣本，直接回歸得到圖像像素坐標(biāo)與車距間的函數(shù)關(guān)系，這種方法缺少必要的理論支撐，是純粹的數(shù)據(jù)擬合方法，因此受限于擬合參數(shù)的提取精度，魯棒性相對(duì)較差。 可行駛區(qū)域 對(duì)車輛行駛的可行駛區(qū)域進(jìn)行劃分主要是對(duì)車輛、路沿、無障礙物的區(qū)域進(jìn)行劃分，最后輸出自車可以通行的安全區(qū)域。 可行駛區(qū)域難點(diǎn)： 分割的區(qū)域邊緣不夠精細(xì)； 數(shù)據(jù)的類別存在大量不平衡問題； 如何從分割圖中獲取可行駛區(qū)域；

可行駛區(qū)域方案： 可行駛區(qū)域的檢測(cè)本質(zhì)上是一種語義分割的問題，大多采用深度學(xué)習(xí)進(jìn)行實(shí)現(xiàn)。近些年分割網(wǎng)絡(luò)在空洞卷積，池化金字塔，路徑聚合，環(huán)境編碼等方法的助力下效果越來越好，但是在靜態(tài)或動(dòng)態(tài)障礙物的邊界處還是存在一些毛刺。在工程上可以配合路沿、車道線、目標(biāo)框的結(jié)果來修正語義的邊緣信息并從矢量包絡(luò)或柵格圖中定義可行駛區(qū)域；數(shù)據(jù)的不平衡問題往往出在訓(xùn)練階段，通?？蓮膿p失函數(shù)的設(shè)計(jì)以及數(shù)據(jù)的上下采樣來緩解此類現(xiàn)象。 車道線檢測(cè) 車道線檢測(cè)包括對(duì)實(shí)線、虛線、單黃線、雙黃線檢測(cè)、匯入線等各種類型的檢測(cè)。功能要求上也逐漸從像素級(jí)的分割到抽象空間的判斷，如下圖所示：

車道線檢測(cè)難點(diǎn)： 車道線的細(xì)長(zhǎng)形態(tài)結(jié)構(gòu)，需要強(qiáng)大的高低層次特征融合，來同時(shí)獲取全局的空間結(jié)構(gòu)關(guān)系，和細(xì)節(jié)處的定位精度。 車道線的形態(tài)有很多不確定性，比如被遮擋，磨損，以及道路變化時(shí)本身的不連續(xù)性。需要算法針對(duì)這些情況有較強(qiáng)的推測(cè)能力。 車輛的偏離或換道過程會(huì)產(chǎn)生自車所在車道的切換，車道線也會(huì)發(fā)生左/右線的切換。一些提前給車道線賦值固定序號(hào)的方法，在換道過程中會(huì)產(chǎn)生歧義的情況。 車道線檢測(cè)方案： 其一，基于傳統(tǒng)的圖像處理方法，通過邊緣檢測(cè)濾波等方式分割出車道線區(qū)域，然后結(jié)合霍夫變換、隨機(jī)采樣一致性等算法進(jìn)行車道線檢測(cè)。這類算法需要人工手動(dòng)去調(diào)濾波算子，根據(jù)算法所針對(duì)的街道場(chǎng)景特點(diǎn)手動(dòng)調(diào)節(jié)參數(shù)。 其二，基于深度學(xué)習(xí)的方法，通過二值語義分割產(chǎn)生掩碼圖部分，再對(duì)掩碼圖的線進(jìn)行三次方程擬合。 5. 交通標(biāo)識(shí)檢測(cè) 交通標(biāo)識(shí)檢測(cè)包括對(duì)交通紅綠燈、交通標(biāo)志牌等靜態(tài)目標(biāo)的檢測(cè)識(shí)別。如下圖所示：

交通標(biāo)識(shí)檢測(cè)難點(diǎn)： 小目標(biāo)問題，往往交通標(biāo)識(shí)目標(biāo)較??； 多樣性問題，不同地區(qū)紅綠燈形態(tài)各異； 場(chǎng)景復(fù)雜問題，路口處的信號(hào)燈安裝位置，加上臨時(shí)信號(hào)燈，算法應(yīng)該選擇哪個(gè)作為通行標(biāo)準(zhǔn)； 交通標(biāo)識(shí)檢測(cè)方案： 雖然對(duì)于小目標(biāo)檢測(cè)、目標(biāo)多樣性問題，也可以采用類似道路目標(biāo)檢測(cè)中的修改神經(jīng)網(wǎng)絡(luò)，堆疊各種Tricks增強(qiáng)特征提取和泛化能力，再用大量數(shù)據(jù)迭代來覆蓋各種形狀的信號(hào)燈。但是直接的手段仍然是基于V2X的普及，通過發(fā)送的車端的準(zhǔn)確信號(hào)，不僅解決了傳感器對(duì)交通標(biāo)識(shí)感知的檢測(cè)誤差問題，同時(shí)也可以避免路口信號(hào)燈的選擇問題。 自動(dòng)駕駛的發(fā)展，很大程度上不會(huì)是單車的智能，而是依托于智慧城市的建立，在車路協(xié)同的過程中各司其職做環(huán)境的感知。 模塊架構(gòu) 目前開源的感知框架Apollo和Autoware，不少研究人員或者中小公司的感知系統(tǒng)開發(fā)會(huì)借鑒其中的思想，所以在這里介紹一下Apollo感知系統(tǒng)的模塊組成。 相機(jī)輸入-->圖像的預(yù)處理-->神經(jīng)網(wǎng)絡(luò)-->多個(gè)分支（紅綠燈識(shí)別、車道線識(shí)別、2D物體識(shí)別轉(zhuǎn)3D）-->后處理-->輸出結(jié)果（輸出物體類型、距離、速度代表被檢測(cè)物的朝向） 即輸入攝像頭的數(shù)據(jù)，以每幀信息為基礎(chǔ)進(jìn)行檢測(cè)、分類、分割等計(jì)算，最后利用多幀信息進(jìn)行多目標(biāo)跟蹤，輸出相關(guān)結(jié)果。整個(gè)感知流程圖如下：

上述核心環(huán)節(jié)仍是神經(jīng)網(wǎng)絡(luò)算法，它的精度、速度、硬件資源利用率都是需要衡量考慮的指標(biāo)，哪一個(gè)環(huán)節(jié)做好都不容易，物體檢測(cè)最容易誤檢或漏檢、車道線檢測(cè)擬合方法較難、紅綠燈這類小物體檢測(cè)難度大，通行空間的邊界點(diǎn)要求高。

瑞瑞只要五塊冰

這個(gè)方案值得學(xué)習(xí)

只此青綠

謝謝分享，受教了

皖楽儀器設(shè)備

專業(yè)解讀，很有幫助

黑悟空

感謝分享，收獲不小

開通設(shè)備

感謝樓主的技術(shù)分享

開學(xué)了

感謝分享寶貴技術(shù)

黑悟空

受教了，收獲很大

學(xué)歷不要亂查

謝謝樓主，感謝分享