導讀：對于研究下一代智能汽車的系統設計、軟件開發而言，需要解決包含架構設計、功能開發、車輛控制等方面的諸多問題，而以上問題的根源都在于環境感知的能力研究。除開感知本身的硬件性能外，其軟件中的算法模型、訓練神經網絡、感知數據處理容量等都是需要重點解決的問題。
當前，感知能力的開發主要包含如下過程：相機輸入-->圖像的預處理-->神經網絡-->構建分支處理結構-->后處理-->輸出結果。其中構建分支結構包括紅綠燈識別、車道線識別、2D物體識別轉3D等；最終輸出的結果包括輸出物體類型、距離、速度代表被檢測物的朝向等；
當前，所有感知問題的關鍵仍然是神經網絡算法，對于域控制器處理過程能力來說，其需要重點考慮計算精度、實時性、算力利用率等，這是確保物體不被漏檢或誤檢的前提。其中由于感知硬件設備中輸入的超大分辨率圖像問題，涉及單目或多目攝像頭對感知輸入的處理問題都是需要重點關注的。
此類感知任務的難點或者優化方向核心主要在于如下幾個方向：
1. 如何處理高分辨的輸入
2. 如何提高密集小目標檢測
3. 如何解決類多目標重疊問題
4. 如何利用少量的訓練數據解決目標多樣性問題
5. 如何利用單目攝像頭進行目標位置的精確估計
一、感知中的相機數據標定
單目測距是通過光學幾何模型（即小孔成像模型）建立測試對象世界坐標與圖像像素坐標間的幾何關系，結合攝像頭內、外參的標定結果，便可以得到與前方車輛或障礙物間的距離。無論是單目攝像頭還是雙目攝像頭，在進行數據檢測前都要進行相機內外參數標定，標定的過程是為了通過如下公式計算世界坐標到圖像坐標的轉化。
相機內參標定用于做圖像的畸變校正，外參標定用于將多個攝像頭進行坐標系歸一化，將各自的坐標原點移動到車輛后軸中心處。fx、fy表示相機焦距，x、y表示目標的圖像坐標系位置。從上述公式不難看出，相機參數的標定結果嚴重影響對世界坐標系圖像位置的檢測。
在實際相機搭載到車輛過程中，會有兩種標定方式，其一是產線標定，其二是實時標定。產線標定是利用標定板中的格點信息進行攝像頭的位置標定。一般情況，可采用張正友經典棋盤格模型進行角點位置標定，也可以采用圓點板圖進行在線標定。另外考慮到車輛運行一段時間或者在顛簸的過程中攝像頭位置的偏移，攝像頭也會同時設定在線實時標定模型，通過實際駕駛過程中，利用車道線消失點或車道線等檢測結果信息實時更新俯仰角的變化，從而優化標定參數。
二、超大分辨率圖像目標的有效檢測
為了實現對大尺寸圖像目標檢測，我們常用的方法是設置遍歷窗口，對該超大分辨率的圖像使用該平滑窗口進行遍歷后裁剪成多個子圖，然后分別對每一個子圖進行目標提取，最后將所有子圖的目標提取結果進行拼接后進行平滑濾波。
以當前算力的芯片架構設計的域控制器對超大分辨率圖像的處理邏輯是采用一定的手段進行圖像resize。或者是基于一定的準則（如NXN的子圖網絡）進行圖像下采樣，降低圖像分辨率。然而這兩種方式都有可能造成目標漏檢。
1、這里需要解決三個比較重要的問題
1) 如何設置遍歷窗口大小
一般采用固定尺寸大小的遍歷子圖窗口中，可能無法剛好將總圖遍歷后形成整數個子圖，這時在很多的窗口邊緣就會通過圖像泛化或膨脹來擴充。我們在數據集上訓練網絡的時候，通常需要把數據集變換到同一尺寸，但是通常的resize函數會破環圖像的縱橫比aspect ratio，而aspect ratio對于檢測的效果非常重要， 為了更好的保留圖像特征，需要對最邊緣的子圖采用letterbox的方式縮放到和遍歷子窗口相同的大小。letterbox就是在保持縱橫比的前提下對圖像做resize，先resize然后按需要在周圍pad上0像素。
2) 假設切割目標位于大圖邊緣，將如何確保其不被截斷
需要說明的是，如果一個目標剛好處于窗口邊緣，本身目標所占像素就少又被截斷，這時候也就容易在滑窗檢測過程中被切分成開，最終會造成其更加難以檢測。因此在滑窗裁剪的時候必須有一定的重疊區域，原因是如果一個目標剛好處于窗口邊緣被切分成2塊，其重復部分會導致多個檢測框圖像都會重復出現同一個目標的問題，解決的辦法就是通過將所有子圖的檢測結果合并起來采用非極大值抑制方式進行過濾。
在目標檢測過程中，可利用自動駕駛檢測圖像都具有旋轉不變性的特征，通過數據增廣的方式旋轉圖片生成更多形狀的物體從而緩解問題。
同時，為了盡可能多的保留原始圖像信息，一般需要將原始圖像進行擴大兩倍采樣，即升采樣，從而生成一組采樣圖。而為了保證后續圖像處理過程的針對性、實時性，則需要在高斯模糊后進行降采樣，即很多時候為了提升運算效率，往往采用大倍數的下采樣率進行下采樣（如32倍下采樣率）在降采樣過程中需要注意的是，避免過度降采樣，因為過度采樣可能導致大分辨率下的小目標被直接過濾掉，好的方法是減少采樣倍數，同時增加采樣網絡層數，這樣可以有效增加特征提取能力。
此外，在圖像中的目標檢測任務中，都可能存在前后背景的不平衡的情況，而不同類別之間數據量可能存在較大不同，首先可以采取數據上采樣和下采樣的方式來均衡不同數據量大小；其次是采用數據增廣的手段來增加前景目標在一張圖像中的占比；最后是通過設計代價函數調整不同目標的檢測權重從而控制其檢測優化等級。
3) 如何確保小目標物體不會漏檢
大分辨率圖像中，小目標物體檢測一直是個難點。一般處理方式是采用圖像金字塔進行多尺度訓練，一般的，特征金字塔包含了從淺層到深層的不同信息，其中淺層涉及更多的細節特征，深層網絡涉及更多的語義特征信息。通過對原始大圖進行一定程度的下采樣后生成多個不同低分辨率的圖像金字塔，再對每層金字塔的淺層至深層采用不同分辨率的子圖分類器滑動可以有效的檢測到目標。
三、單目視覺深度信息估計的優化方案
當前輔助駕駛或自動駕駛系統通常采用單目視覺來實現目標深度估計。單目測距方式主要是通過幀間圖像匹配來實現目標識別，然后通過目標在圖像中的大小來估計目標距離。單目測距需要將多個3D場景投影到2D場景中，而從單幅圖像中提取幾何位置坐標不僅需要考慮局部線索，還需要考慮整個視頻幀的全局上下文。這一過程中需要使用到卷積神經網絡思想，其核心在于感受野內的局部連接、卷積狀態下的權值共享、池化層空間或時間上的下采樣。卷積神經網絡在信息檢測中最大的優勢在于具有強大的特征提取能力使其對局部細節的檢測能力較強，相反的其對全局目標信息的檢測能力也就相對較弱。
單目視覺估計僅僅是通過光學幾何模型（即小孔成像模型）建立測試對象世界坐標與圖像像素坐標間的幾何關系，結合攝像頭內、外參的標定結果，計算得到與前方車輛或障礙物間的距離。單目視覺估計的優勢是成本較低，系統結構簡單，且對計算量的需求不高。缺點是識別過程中需要與龐大的數據樣本進行匹配，不僅測距延時性大，準確率也不高。這點上相對于雙目攝像頭直接利用視差圖進行測距的原理存在很大的不足。
而為了彌補這種全局檢測能力缺陷，2017年提出采用了Transformer的檢測機制，其核心思想是注意力機制，其自帶的長距檢測特性確保了由淺到深層的檢測范圍，更好的提升全局建模能力。因此將CNN及Transformer的圖像檢測追蹤方式進行結合，可以更好的提升車載目標跟蹤能力。基本的框圖架構如下圖：
如上圖，首先對輸入的三維圖像信息進行編碼與解碼，解碼后的特征代表高分辨率和局部像素級特征。解碼后的圖像使用全局注意力來計算每個輸入圖像的單元寬度向量。該向量輸出包括兩部分：其一是定義如何為深度圖像劃分深度區間；其二是包含了對像素級深度計算有用的信息。
對于來自Transformer的輸出通過作一組二維卷積核，并與解碼特征圖進行卷積以獲得范圍注意圖 R。其次，通過對輸入的一定大小（h，w）的單元向量進行卷積（卷積核pxp，卷積步長為s）計算，卷積輸出結果為h/p×w/p×s的張量。最后歸一化后可生成單位寬度向量用于對圖像進行間距寬度b計算。
最終深度圖信息=全局信息R+局部信息b。
如上單目深度學習特征提取方法具有較好的特征提取能力，即使采用了最好的特征提取算子，也不能cover住所有的場景動態物體特征，如轎車容易誤檢為卡車。在工程開發中，可以依據現實場景增加一些幾何約束條件提高檢測率，降低誤檢率，（如尺寸信息，空間位置信息，運動連貫性信息等），這樣可以訓練一個3D檢測模型再配合后端多目標追蹤優化以及基于單目視覺幾何的測距方法完成功能檢測模塊。
四、道路場景信息檢測的精確性問題
1、可行駛區域檢測分析改進方案
典型的視覺檢測問題可歸結為幾個大類，前述章節提到了小目標檢測問題，對于下一代自動駕駛系統來說必須要解決的問題還包括可行駛區域檢測，這種檢測方式包括對車輛、路沿、無障礙物的區域進行劃分，最后輸出自車可以通行的安全區域。
可行駛區域探測（光線充足VS夜晚）
可行駛區域的檢測實際上是一種深度學習中的語義分割的問題。深度學習中常用到的空洞卷積、池化金字塔、路徑聚合、環境編碼等都可以在其中得到很好地應用。但是可行駛區域的檢測仍然存在較多的問題：
其一，也是最重要的就是在檢測的靜態邊界或動態障礙物邊界仍舊存在一些不確定性，這種不確定性導致無法對車輛的行駛狀態進行有效的軌跡規劃和狀態決策。為了解決這類問題，可以通過配合路沿、車道線、目標框的結果來修正語義的邊緣信息，并從矢量包絡或柵格圖中定義可行駛區域。
其二，就是可行駛區域的檢測容易出現數據不平衡，且這種不平衡問題往往出在訓練階段，這一過程需要定義合理的損失函數和數據上采樣率來進行優化。
其三，可行駛區域探測可能由于光照、粉塵、大雪大霧等因素，需要充分結合視覺與雷達進行障礙物探測，以確保其檢測穩定性。
2、車道線檢測問題改進方案
在自動駕駛視覺感知中，車道線作為橫向對中控制基礎，其檢測過程是一個最基本的需求項。已有眾多的車道線檢測算法被人們所開發出來，而最重要的檢測難點包括：
其一，車道線具有細長的形態特征，這種形態要求追蹤具備連續性，甚至包含一定的圖像拼接技術。相應的檢測手段需要參照不同的層次劃分機制來獲取全局空間結構關系，對于細節處的定位精度也可采用角點檢測的方式進行。
其二，車道線的形態容易受到外界干擾（比如被遮擋，磨損，以及道路變化時本身的不連續性），存在較多不確定性。解決辦法是采用較強推測能力的算法針對邊緣情況進行推測。
其三，在啟動駕駛輔助功能（如自動換道、車道保持期間）期間，自車會在車輪壓線過程中發生車道線左/右切換的情況。解決辦法除了設定濾波延遲外，也可以通過提前給車道線賦值固定序號的方法進行優化。
3、交通標志、錐桶識別問題
自動駕駛系統中，諸如交通標志、錐桶一類的小目標識別是一類重要且亟待解決的問題。通常，處理這類問題還是采用的基礎神經網絡進行特征提取和泛化來cover，但是需要大量的先驗數據庫作為支撐。而交通標識檢測具有一下難點：首先，由于交通標志、錐桶一類都是小目標，其檢測過程需要進行更多的特征提取，甚至在神經網絡中產生更多的金字塔層；其二，不同的交通標志（如有圓形紅綠燈、箭頭形紅綠燈、倒計時紅綠燈；雪糕筒、三角錐桶、梯形錐桶等）具有不同的形態，其多樣性問題就是一個不得不解決的問題；其三，場景具有較高的復雜度，比如路口處信號燈的安裝位置，安裝方向；施工區域的錐桶起止點，終止點等。
五、總結
智能駕駛中的視覺感知問題一直是業界重點關注的問題，他不僅影響著對于后續軌跡規劃、決策控制的影響，也是整個輔助駕駛系統能否為更進一步往自動駕駛上升級的關鍵。我們已經能夠關注到相關場景識別檢測能力對整個視覺感知的需求，后續我們需要更加關注如何解決視覺感知中的場景局限性問題。本文從視覺感知任務、能力、局限性及改善方案幾個角度出發充分說明了各個不同的解決方案路徑，在工程應用中具備較好的實現價值。
來源：焉知智能汽車，作者Jessie
