自動(dòng)駕駛研發(fā)面臨"長尾效應(yīng)"的挑戰(zhàn)：海量邊緣場景需要近乎無限的測試?yán)锍獭?strong style="font-weight: bold !important;">仿真測試雖已成為行業(yè)共識(shí)，但其真實(shí)度仍存根本性質(zhì)疑——當(dāng)多數(shù)平臺(tái)仍停留在視覺逼真層面時(shí)，感知算法的低階數(shù)據(jù)處理和魯棒性測試已觸及驗(yàn)證天花板。

其實(shí)，真正的物理級(jí)仿真必須從數(shù)據(jù)源頭出發(fā)：從光子穿透鏡頭到電信號(hào)轉(zhuǎn)換，從激光能量分布到多回波散射，每一個(gè)物理環(huán)節(jié)都會(huì)直接影響算法在現(xiàn)實(shí)世界中的表現(xiàn)。

基于此，本文將深入解析攝像頭與激光雷達(dá)的物理建模機(jī)制，并解讀2025新興標(biāo)準(zhǔn)ASAM OpenMATERIAL 3D，從而探討如何為高可信度仿真提供關(guān)鍵基礎(chǔ)的問題！

01 鏡頭模型的光學(xué)物理建模

傳統(tǒng)的攝像頭仿真，其終點(diǎn)往往是一張“干凈"的RGB圖像。這對(duì)于高級(jí)規(guī)劃控制算法或許足夠，但對(duì)于依賴圖像原始信息的感知算法開發(fā)者而言，這無異于在精裝修的樣板間里測試建筑結(jié)構(gòu)。他們真正需要的，是模擬從光子穿過復(fù)雜鏡頭組，到CMOS傳感器輸出原始電信號(hào)的全過程。

1、畸變?cè)砼c參數(shù)化建模

現(xiàn)代車載廣角／魚眼鏡頭的非線性失真很難靠針孔模型捕捉。這種畸變始于鏡片的設(shè)計(jì)：曲率、鏡間距離、材料折射率、涂層結(jié)構(gòu)等都會(huì)造成光線偏折與映射失真。

高保真建模路徑：

（1）畸變函數(shù)：（如 fisheye、Mei、F?Theta、EUCM 等）源自具體鏡頭標(biāo)定，能描述像素偏移；

（2）多項(xiàng)式系數(shù)模型：捕捉畸變隨徑向變化的非線性，用于語言和超廣角鏡頭；

（3）LUT（查找表）方式：直接復(fù)刻真實(shí)標(biāo)定點(diǎn)映射，將任意復(fù)雜畸變精準(zhǔn)還原。

技術(shù)意義：光學(xué)還原誤差的減少將會(huì)直接提升后續(xù)曝光、噪聲疊加的物理建模可信度，還能從光學(xué)角度模擬不同的鏡頭效應(yīng)。

02 CMOS傳感器光電仿真

1、光電轉(zhuǎn)換與噪聲建模

相機(jī) RAW 輸出用戶關(guān)注的是兩個(gè)關(guān)鍵過程：

（1）Quantum Efficiency（QE）：光子轉(zhuǎn)化為電子的效率；

（2）Conversion Gain：每個(gè)電子轉(zhuǎn)換成輸出電壓的增益。

從輻射曝光到電壓的轉(zhuǎn)換公式可表示為：

photon_energy=(h?c) / λ

其中：

（1）h：普朗克常數(shù)；

（2）c：光速m/s；

（3）λ：RGB各通道的波長，以m為單位。

radiant_exposure_to_voltage=（pixel_size2）/ photon_energy x quantum_efficiency x conversion_gain

其中：

（1）radiant_exposure_to_voltage：表示將輻照度（光能量密度）轉(zhuǎn)換為電壓信號(hào)的轉(zhuǎn)換因子，單位通常是伏特每單位輻照度；
（2）pixel_size：像素的邊長，單位通常是米（m）。這里用平方表示像素面積，即 pixel_size2pixel_size2，表示單個(gè)像素接收光子的有效面積；

（3）photon_energy：單個(gè)光子的能量，單位是焦耳（J）。由公式 h?cλλh?c 計(jì)算，其中 hh 是普朗克常數(shù)，cc 是光速，λλ 是光的波長；

（4）quantum_efficiency：量子效率，表示入射光子被探測器轉(zhuǎn)換為電子的效率，通常是一個(gè)小于1的無量綱數(shù)。

（5）conversion_gain：轉(zhuǎn)換增益，表示電子信號(hào)轉(zhuǎn)換為電壓信號(hào)的增益，單位通常是伏特/電子（V/electron）；

同時(shí)考慮：

（1）Shot Noise（光子噪聲）：自然量子過程下的統(tǒng)計(jì)波動(dòng)；

（2）Read Noise（讀出噪聲）：來自電路本身的不確定性；

（3）ADC 量化誤差：由電壓擺幅與位數(shù)決定。

8bit CFA Bayer（預(yù)處理）

2、非線性響應(yīng)與增益控制

模擬域增益與數(shù)字域增益、PWL 非線性函數(shù)可讓模型真實(shí)復(fù)現(xiàn) CMOS 增益壓縮、飽和與拉伸特性。

價(jià)值亮點(diǎn)：算法開發(fā)者不再用“擬真濾鏡"，而是直接在復(fù)刻硬件真實(shí)響應(yīng)的“數(shù)據(jù)源"上驗(yàn)證性能，真實(shí)評(píng)估弱光、過曝下的魯棒性。

03 LiDAR 建模：高斯射線與物理衰減

1、光束結(jié)構(gòu)與多回波

真實(shí) LiDAR 發(fā)出的激光是包含能量分布的高斯光束，而非理想“無寬度射線"。通過參數(shù)化：

（1）Beam divergence 控制光束發(fā)散角；

（2）Beam sampling density 決定光斑內(nèi)采樣次數(shù)；

（3）高斯能量分布可模擬光斑中心與邊緣的能量差異；

（4）Secondary Returns 模擬光束穿透薄物體或發(fā)生多次反射后的回波情形。

在發(fā)射角范圍內(nèi)進(jìn)行指定數(shù)量的采樣

核心優(yōu)勢：這種建模方式，使得仿真器能夠更精確地模擬物體邊緣的探測效果、小目標(biāo)的漏檢概率，以及由單次發(fā)射脈沖擊中不同距離物體而產(chǎn)生的多重回波。這對(duì)于依賴點(diǎn)云密度和回波信息的聚類、分割算法的驗(yàn)證，具有不可替代的價(jià)值。

2、大氣與天氣中的物理衰減

激光在雨霧雪中傳播時(shí)會(huì)經(jīng)歷：

（1）大氣消光（Extinction）：受可見度、Mie 散射、水滴大小和雷雨強(qiáng)度控制；

（2）多模態(tài)散射：粒徑分布影響波長選擇，對(duì) 905nm 或 1550nm 波段影響不同；

（3）點(diǎn)云強(qiáng)度、范圍測量誤差：由上述物理機(jī)制驅(qū)動(dòng)，而非隨機(jī)丟棄。

核心優(yōu)勢：可輸出“雨天 50mm/h 下探測 80m、反射率 10% 行人的概率為 X%"這類量化結(jié)論，是生成魯棒性驗(yàn)證報(bào)告的關(guān)鍵。

（左）雨天 30mm/h 積水覆蓋率90%,（中）雨天 15mm/h 積水覆蓋率45%,（右）雨天 4mm/h 積水覆蓋率25%

04 ASAM OpenMATERIAL 3D新標(biāo)準(zhǔn)

1、精準(zhǔn)材料屬性的行業(yè)統(tǒng)一標(biāo)準(zhǔn)

ASAM 于 2025 年 3 月發(fā)布的 OpenMATERIAL 3D，專注定義環(huán)境中物體的真實(shí)物理屬性：折射率、粗糙度、BRDF 查找表、材質(zhì)密度等。

其優(yōu)勢包括：

（1）跨平臺(tái)協(xié)同建模：格式通用，支持 ASAM OpenDRIVE、OpenSCENARIO、OSI 等；

（2）適用于感知仿真：雷達(dá)、攝像頭、LiDAR 均可引用同一材質(zhì)庫；

（3）動(dòng)態(tài)結(jié)構(gòu)兼容：支持如車輪等運(yùn)動(dòng)部件的層次結(jié)構(gòu)定義。

融合意義：物理建模所依賴的不只是參數(shù)，更是材料本身——OpenMATERIAL 3D 從源頭打通了場景物理真實(shí)與傳感建模之間的壁壘。

aiSim Archer：對(duì)全新OpenMATERIAL 標(biāo)準(zhǔn) (ASAM OpenMATERIAL®3D)進(jìn)行了實(shí)現(xiàn)。

05 物理建模與標(biāo)準(zhǔn)的行業(yè)協(xié)同

從鏡頭畸變模型、CMOS 噪聲鏈到 LiDAR 多回波和天氣衰減，物理級(jí)建模讓仿真的“數(shù)據(jù)表現(xiàn)"不再是肉眼看起來真，而是“行為上真實(shí)"。而標(biāo)準(zhǔn)化的材料規(guī)格，如 ASAM OpenMATERIAL 3D，更是將它推向行業(yè)共識(shí)。

這一切，最終目標(biāo)都是構(gòu)建一個(gè)“可信仿真"的閉環(huán)：真實(shí)物理參數(shù)驅(qū)動(dòng)的模型 → 標(biāo)準(zhǔn)化定義的材料屬性 → 支持跨平臺(tái)共享與驗(yàn)證 → 支撐自動(dòng)駕駛場景真實(shí)測試與算法驗(yàn)證。

而將這些關(guān)鍵模塊實(shí)現(xiàn)并集成于仿真平臺(tái)中（即 aiSim 所專注的），才是落地這一周期驗(yàn)證環(huán)路的技術(shù)核心。

具體的 Raw 圖參數(shù)調(diào)教示例、LiDAR 參數(shù)配置樣板或圖示優(yōu)化建議可獲取。