導讀：隨著人工智能、邊緣計算、無線通信和車載傳感器等關鍵技術的進步和突破，自動駕駛系統迎來了新一輪的發展。交通應用的安全攸關場景給自動駕駛系統提出了更高的質量保障要求。感知系統是自動駕駛的核心，圍繞感知能力的測試驗證工作是保障自動駕駛軟件系統安全可靠的有效且必要途徑。本文簡要分析了國內外自動駕駛感知系統測試的研究現狀，并對圖像、激光雷達、以及感知融合測試方法和技術發展進行了討論。
前言
隨著人工智能及其軟硬件技術的進步，近年來自動駕駛獲得了快速發展。自動駕駛系統已經被應用于民用汽車輔助駕駛器、自動物流機器人、無人機等領域。感知組件是自動駕駛系統的核心，它使得車輛能夠分析并理解內外交通環境信息。然而，與其他軟件系統一樣，自動駕駛感知系統困擾于軟件缺陷。并且，自動駕駛系統運行于安全攸關場景，其軟件缺陷可能導致災難性后果。近年來，已經發生多起自動駕駛系統缺陷導致的人員傷亡事故。自動駕駛系統測試技術受到學術界和工業界的廣泛重視。企業與研究機構提出了一系列包括虛擬仿真測試、實景道路測試和虛實結合測試等在內的技術和環境。然而，由于自動駕駛系統輸入數據類型的特殊性和運行環境的多樣性，這類測試技術的實施過程需要消耗過多資源，并需要承擔較大風險。本文簡要分析當前自動駕駛感知系統測試方法的研究和應用現狀。
1、自動駕駛感知系統測試
自動駕駛感知系統的質量保障越來越重要。感知系統需要幫助車輛自動分析和理解路況信息，其構成非常復雜，需要充分檢驗待測系統在眾多交通場景下的可靠性和安全性。當前自動駕駛感知測試主要分為三大類。無論何種測試方法，都表現出了一個區別于傳統測試的重要特征，即對于測試數據的強依賴性。
第一類測試主要基于軟件工程理論和形式化方法等，以感知系統實現的模型結構機理為切入點的測試。這種測試方法建立在對于自動駕駛感知運行機理和系統特征的高度理解上。這種偏向感知系統邏輯測試的目的是在系統開 發早期發現感知模塊設計缺陷，以保障早期系統迭代中模 型算法的有效性。研究人員基于自動駕駛算法模型特征，提出了一系列測試數據生成、測試驗證指標、測試評估方法和技術。
第二類測試虛擬仿真方法，借助計算機抽象實際交通 系統來完成測試任務，包括在預設虛擬環境下的系統測試或者面向感知組件的獨立測試。虛擬仿真測試的效果依賴 虛擬環境真實度、測試數據質量和具體測試執行技術，需 要充分考慮仿真環境構建方法、數據質量評估和測試驗證 技術的有效性。自動駕駛環境感知和場景分析模型依賴大規模的有效交通場景數據進行訓練和測試驗證。國內外研 究者針對交通場景及其數據構造生成技術進行了大量的研究。利用數據變異、仿真引擎生成和游戲模型渲染等方法 構建虛擬測試場景數據，從而獲得高質量的測試數據，并將不同的生成測試數據用于自動駕駛模型和數據擴增和增 強。測試場景和數據生成是關鍵技術。測試用例必須足夠 豐富，以覆蓋測試樣本的狀態空間。需要在極端交通情況 下生成測試樣本，測試系統在這些邊界用例下決策輸出模 型的安全性。虛擬測試往往結合現有的測試理論和技術，構建用于評估和驗證測試效果的有效方法。
第三類是對搭載自動駕駛感知系統的真實車輛進行路測，包括預設的封閉場景測試和實際路況測試等。這類測試優點在于真實環境下的測試可以充分保障結果的有 效性。然而，這類方法存在測試場景難以滿足多樣化需求，相關交通場景數據樣本獲取困難，真實道路采集數據 人工標注成本高昂、標注質量參差不齊，測試里程要求過 大，數據采集周期過長等困難。危險場景人工駕駛存在安全風險，在現實世界中測試人員很難解決這些問題。同時，交通場景數據還受到數據來源單一、數據多樣性不足等問 題，不足以滿足軟件工程中自動駕駛研究人員的測試驗證 要求。盡管如此，道路測試作為傳統汽車測試不可缺少的 一環，在自動駕駛感知測試中極為重要。
從測試類型上看，感知系統測試針對車輛開發生命周期，存在不同的測試內容。自動駕駛測試可分為模型在環(MiL)測試、軟件在環（SiL）測試，硬件在環 (HiL)測試、整車在環 (ViL) 測試等。本文重點介紹自動駕駛感知系統測試 SiL 和 HiL 相關部分。HiL 包含感知硬件設備，如攝像頭、激光雷達、人機交互感知模塊。而 SiL 通過軟件仿真來替換真實硬件產生的數據。兩者的測試目的都是在于驗證自動駕駛系統的功能、性能、魯棒性和可靠性等。針對特定的測試對象，不同類型的測試在每個感知系統開發階段，結合不同的測試技術，完成對應的驗證要求。當前自動駕駛感知信息主要來源于對幾類主要數據的分析獲得，包括基于圖像（攝像頭）、點云（激光雷達）、以及融合感知系統。本文主要分析這三類數據的感知測試。
2、自動駕駛圖像系統測試
多類型攝像頭采集的圖像是自動駕駛感知最為重要的輸入數據類型之一。圖像數據能夠提供車輛運行前視、環視、后視和側視環境信息，幫助自動駕駛系統實現道路測距、目標識別與跟蹤、自動變道分析等功能。圖像數據具有多種格式，例如 RGB 圖像、語義圖像、景深圖像等。這些圖像格式存儲具有各自的特點，例如RGB圖像色彩信息更加豐富，景深圖片則包含更多的場景深度信息，語義圖像基于像素分類獲得，對于目標檢測和跟蹤任務更加有利。
基于圖像的自動駕駛感知系統測試依賴大規模的有效交通場景圖像進行訓練和測試驗證。然而真實道路采集數據人工標注成本高昂，數據采集周期過長，危險場景人工駕駛法律法規不完善，且標注質量參差不齊。同時，交通場景數據還受到數據來源單一、數據多樣性不足等因素影響，不足以滿足自動駕駛研究的測試驗證要求。
國內外研究者針對交通場景數據的構造生成技術進行了大量的研究，利用數據變異、對抗生成網絡、仿真引擎生成和游戲模型渲染等方法構建虛擬測試場景數據，從而獲得高質量的測試數據，將不同的生成測試數據用于自動駕駛模型和數據增強。使用圖像硬編碼變換的方法生成測試圖像是一種有效方法。可以利用多種數學變換和圖像處理技術變異原始圖像，測試自動駕駛系統在不同環境條件下潛在的錯誤行為。
Zhang等人使用了基于對抗生成網絡的方法進行圖像風格變換，以模擬指定環境條件的車輛駕駛場景。一 些研究在虛擬環境中執行自動駕駛測試，利用從物理仿真 模型中的 3D模型構建交通場景，并渲染為 2D的圖像作 為感知系統的輸入。測試圖像還可以利用合成方式生成，在低維圖像的子空間中采樣可修改內容并進行圖像合成，和對圖像直接變異相比，合成場景更加豐富，且圖像擾動操作更加自由。Fremont等人使用自動駕駛領域特定 編程語言 Scenic預先設計測試場景，使用游戲引擎接口 生成具體交通場景圖像，在目標檢測模型上使用渲染生成的圖像進行訓練和驗證。
Pei等人使用差分測試的思想尋找自動駕駛轉向模型的不一致輸出，還提出使用神經元覆蓋率，即神經網絡中神經元超過預設給定激活閾值的比例，來衡量測試樣本的有效性。在神經覆蓋基礎上，研究者還提出了很多新的測試覆蓋概念，例如神經元邊界覆蓋、強神經元覆蓋、層級神經元覆蓋等。除此之外，使用啟發式搜索技術尋找目標測試用例，也是有效的方法，核心難點在于設計引導搜索的測試評估指標。自動駕駛圖像系統測試普遍存在特殊駕駛場景有標數據匱乏等問題。本團隊提出了一種自適應性的深度神經網絡測試用例選擇方法ATS，以軟件測試領域中自適應隨機測試的思想為啟發，解決自動駕駛感知系統中深度神經網絡測試數據標記的人力資源成本高這一難題。
3、自動駕駛激光雷達系統測試
激光雷達作為自動駕駛系統至關重要的傳感器，夠測定傳感器發射器與目標物體之間的傳播距離，分析目標物體表面的反射能量大小、反射波譜的幅度、頻率和相位等信息。其采集的點云數據精確描繪了駕駛場景中各類物體的三維尺度與反射強度信息，能夠彌補攝像頭在數據形式和精度上不足。激光雷達在自動駕駛目標檢測與定位建圖等任務扮演著重要角色，僅靠單一視覺無法替代。
作為典型的復雜智能軟件系統，自動駕駛將激光雷達捕獲的周圍環境信息作為輸入，并通過感知模塊中的人工智能模型做出判斷，經系統規劃控制后，完成各類駕駛任務。雖然人工智能模型的高復雜性賦予了自動駕駛系統的感知能力，但現有的傳統測試技術依賴于點云數據手動收集和標注，成本高昂效率低下。另一方面，點云數據具有無序、缺少明顯的顏色信息、容易受到天氣因素干擾、且信號容易衰減，使得點云數據的多樣性在測試過程中尤為重要。
針對基于激光雷達的自動駕駛系統測試還處于初步階段。實際路測和仿真測試都存在代價昂貴、測試效率低下、測試充分性無法保證等問題。針對自動駕駛系統面臨的測試場景多變、軟件系統龐大復雜、測試成本巨大等問題，能夠結合領域知識提出測試數據生成技術對自動駕駛系統保障有著重要意義。
在雷達點云數據生成方面，Sallab等人 通過構建循環一致性生成對抗網絡對雷達點云數據進行建模，并對模擬數據進行特征分析生成新的點云數據。Yue等人提出了一個針對自動駕駛場景的點云數據生成框架，該框架通過精確地對游戲場景中的點云數據進行基于標注物體的變異，從而獲得新的數據，他們用該方法獲得的變異數據重新訓練自動駕駛系統的點云數據處理模塊，得到了較好的精確度提升。
本團隊設計并實現了一個激光雷達自動化測試工具 LiRTest, 主要用于自動駕駛汽車目標檢測系統的自動化測試，并且能夠進一步重新訓練以提升系統魯棒性。LiRTest 首先由領域專家設計了物理和幾何模型，然后根據模型構造變換算子。開發人員從現實世界的數據中選擇點云種子，利用點云處理單元對其進行識別和處理，并實現基于變換算子的變異算法，來生成評估自動駕駛 3D目標檢測模型的魯棒性的測試數據。最終 LiRTest 得到測試報告，并對算子設計給出反饋，從而迭代提升質量。
自動駕駛系統是一種典型的信息 - 物理融合系統，其 運行狀態不僅由用戶輸入信息及軟件系統內部狀態決定，同時也受到物理環境的影響。雖然目前有少量研究關注多種環境因素影響的點云數據生成問題，但由于點云數據的 自身特點，其生成數據的真實性很難與路測數據等同因此，如何在不明顯增加額外資源消耗的情況下，自動化地生成能夠描述多種真實環境因素的點云數據，是需要解決的一個關鍵問題。
在自動駕駛軟件常見軟件架構中，人工智能模型對于駕駛決策及系統行為具有極其重要的影響，其影響到的功能包括：物體識別，路徑規劃，行為預測等。點云數據處理最常使用的人工智能模型是目標檢測模型，采用深度神經網絡實現。雖然該技術可以在特定任務上獲得較高的精確度，但是由于其結果缺乏可解釋性，用戶與開發人員無法對其行為進行分析確認，給測試技術的研發以及測試充分性的評估帶來了極大的困難。這些，都是未來激光雷達模型測試人員需要面對的挑戰。
4、自動駕駛融合感知系統測試
自動駕駛系統通常配備多種傳感器以感知環境信息，并搭載多種軟件和算法以完成各類自動駕駛任務。不同傳感器具備不同的物理特性，其應用場景也存在差異。融合感知技術可以彌補單一傳感器環境適應性差的特點，通過多傳感器互相配合協作保證自動駕駛系統在各種環境條件下正常運行。
由于信息記錄方式的不同，不同類型傳感器之間存在較強互補性。攝像頭安裝成本低，采集的圖像數據分辨率高，具備豐富的顏色和紋理等視覺信息。然而，攝像頭對環境敏感，在夜晚、強光等光線變化時可能會不可靠。而激光雷達則不易受到光線變化的影響，在白天和黑夜中提供精確的三維感知能力。然而，激光雷達造價昂貴，采集的點云數據缺乏顏色信息，很難識別沒有明顯形狀的目標。如何利用各模態數據的優點，挖掘更深層次的語義信息成了融合感知技術中的重要問題。
研究者們提出了多種數據融合的方法。基于深度學習的激光雷達和攝像頭的融合感知技術由于其高準確性已成為了主要研究方向。Feng等人將融合方法可簡要概括為三種 : 前期，中期和后期融合。前期融合僅對原始數據或預處理后的數據進行融合；中期融合對每個分支提取的數據特征進行交叉融合；后期融合僅融合每個分支最后的輸出結果。盡管基于深度學習的融合感知技術在現有的基準數據集中展示了巨大的潛力，但此類智能模型在環境復雜的真實場景中仍可能會表現出不正確和意外的極端行為，從而導致致命的損失。為確保自動駕駛系統的安全性，需要對這類融合感知模型進行完備的測試。
目前，融合感知測試技術仍處于初步階段，測試輸入域龐大，數據收集成本高是主要難題，自動化的測試數據生成技術因而得到了廣泛關注。Wang等人 提出一種跨模態數據增強算法，根據幾何一致性規則將虛擬對象插入到圖像和點云中生成測試數據集。Zhang 等人提出一種多模態數據增強方法，利用多模態轉換流保持點云和圖像像素之間的正確映射，并在此基礎上進一步提出了多模態剪切和粘貼增強方法。
考慮到真實場景中的復雜環境對傳感器的影響，本團隊設計了一種針對于多模態融合感知系統的數據擴增技術。該方法由領域專家為各模態數據制定一套具有現實語義的變異規則，自動化的生成測試數據，以模擬真實場景中對傳感器干擾的多種因素，在有限的資源內幫助軟件開發人員測試和評估融合感知系統。該方法使用的變異算子包含三大類別：信號噪聲算子，信號對齊算子和信號丟失算子，分別模擬真實場景中存在的 不同類型干擾。噪聲算子即指 在傳感器數據采集過程中，受環境因素影響而使得采集數據存在噪聲。例如，對于圖像數據，采用光斑、模糊等算子以模擬攝像頭遇強光，抖動時的狀況。對齊算子模擬了多模態數據模態未對齊的情況，具體包含時間未對齊和空間未對齊。對于前者，通過隨機將一路信號延后以模擬出現傳輸阻塞或延遲的情況。對于后者，通過對各傳感器的標定參數進行微小調整，以模擬在車輛在行進過程中由于車輛抖動等問題而導致傳感器發生位置輕微變化。信號丟失算子則模擬傳感器失靈。具體而言，隨機將一路信號丟棄后，觀察融合算法能否及時做出反應或正常工作。
總之，多傳感器融合感知技術是自動駕駛發展的必然趨勢，完備的測試是保證系統在復雜的真實環境中正常工作的必備條件，如何在有限資源內充分的測試仍是一個亟待解決的問題。
總結
自動駕駛感知測試正與自動駕駛軟件開發流程緊密結合，各類在環測試將逐漸成為自動駕駛質量保障的必要組成部分。在工業應用中，實際路測仍然重要。但是存在成本過高、效率不足、安全隱患大等問題，遠遠不能滿足自動駕駛智能感知系統的測試驗證需求。形式化方法、仿真虛擬測試多個分支研究領域快速發展提供了完善測試的有效途徑，研究者們探索適用于智能驅動的模型測試指標與技術，為虛擬仿真測試方法提供支撐。本團隊致力于研究自動駕駛感知測試數據生成、評估和優化方式，重點面向基于圖像、點云數據和感知融合測試三個方面開展深入研究，以保障高質量的自動駕駛感知系統。
來源：智能汽車設計 ，作者郭安
