隨著內(nèi)燃機被電動車取代，機械系統(tǒng)傳感器將被眾多的電子傳感器取代，以實現(xiàn)高效的操作和不同程度的自動駕駛。其中一些新的傳感器將單獨運行，但許多重要的傳感器需要與其他傳感器融合，以使其價值最大化。

目前還不清楚的是，這種傳感器的融合將在什么位置發(fā)生，或者究竟如何對數(shù)據(jù)進行組合、分類和優(yōu)先處理。

Flex Logix的IP銷售和營銷副總裁Andy Jaros說：“很明顯，現(xiàn)在汽車有太多的傳感器數(shù)據(jù)，卻沒有足夠的處理能力，傳感器的融合將會發(fā)生。但如何發(fā)生，仍在不斷發(fā)展，并取決于每款車型系統(tǒng)設(shè)計者的決定?！?p> 

攝像頭、雷達和激光雷達等傳感器的數(shù)據(jù)流可以以多種方式組合，以提供新的或更可靠的信息。這種處理發(fā)生的位置有助于告知網(wǎng)絡(luò)架構(gòu)，但它也影響AI將如何對數(shù)據(jù)進行處理。

Xilinx汽車部高級主管Willard Tu說：“預(yù)計原始數(shù)據(jù)將與攝像頭或其他傳感器融合，然后進入感知引擎，從而可能產(chǎn)生更好的結(jié)果。”

關(guān)于如何實現(xiàn)，沒有普遍的共識，卻有很多意見。Synopsys的高級產(chǎn)品營銷經(jīng)理John Swanson說：“老實說，我認為現(xiàn)在這都有點宗教色彩了?！?p>

傳感器融合的基礎(chǔ)

自從10年前左右電子傳感器大規(guī)模出現(xiàn)以來，傳感器融合一直很流行。人們的想法是，通過融合幾個不完美的傳感器，可以得到一個更好的結(jié)果。一種看法是，一個傳感器可以彌補另一個傳感器的弱點。例如，來自加速計、陀螺儀和磁力計的數(shù)據(jù)結(jié)合起來，可以提供更好的位置和導(dǎo)航信息。

Rambus的安全技術(shù)產(chǎn)品經(jīng)理Thierry Kouthon說：“傳感器融合的目的是讓汽車擁有像人類一樣感知，因為人有視覺、聽覺和嗅覺等感知能力。車輛沒有這些，所以我們必須用具有同樣精度的東西來代替它?！?p> 

目前大部分重點是視覺相關(guān)的傳感器：攝像頭、雷達和激光雷達。它們遠不是車輛中唯一的傳感器，但性能相關(guān)的傳感器（檢測車輛狀態(tài)的傳感器）更有可能獨立運作。

這些監(jiān)測器可能會進入電子裝置本身，盡管它們與內(nèi)燃機所需的監(jiān)測器完全不同。proteanTecs的汽車總經(jīng)理Gal Carmel指出：“在內(nèi)燃機中，至少有15個外部監(jiān)控器來監(jiān)控發(fā)動機本身，但在電動車中，是電池管理系統(tǒng)。因此，你看到的趨勢基本上是把所有這些監(jiān)測器放在電子裝置內(nèi)。”

視覺傳感器要復(fù)雜得多，它們必須處理各種情況（不同的光線、天氣、各種感興趣的物體），意味著每個傳感器都有其優(yōu)缺點。我們的想法是，通過將它們放在一起使用，就可以覆蓋所有的情況。

圖1：使用傳感器融合的場景理解和導(dǎo)航（來源：西門子）

原則上，傳感器融合可以有幾種不同的方式。一種是，所有傳感器的所有輸出在不同的情況下以不同的方式進行組合。另一種，系統(tǒng)主要依靠一個傳感器，如攝像頭，除非在某種情況下攝像頭數(shù)據(jù)的質(zhì)量不佳（如光線不足）。然后，其他傳感器選項作為冗余，在必要時介入。

Carmel說：“如果你看一下所有這些傳感器，是的，它們提供某種重疊或冗余，但它們也提供不同的能力。”

其他數(shù)據(jù)也可能被融合進來，比如GPS和地圖數(shù)據(jù)。車輛的位置可能是由GPS與視野中識別的地標和車道標記融合確定的，但它可以與地圖數(shù)據(jù)進行交叉檢驗，確保計算出來的位置是合理的。

Rambus的Kouthon說：“這也可以一直延伸到V2X，意味著像信號燈和鐵路交叉口這樣的基礎(chǔ)設(shè)施、其他車輛等也可以與你溝通?！?p> 

因此，有許多方法可以做融合，而融合的質(zhì)量可以成為一個差異化的因素。

是否需要所有的傳感器？當(dāng)然，每個傳感器都代表著成本，較少的傳感器就意味著成本更低。雖然目前有三個主要的視覺傳感器，但對于這三個傳感器是否都能存續(xù)，人們意見不一。從三個傳感器減少到兩個傳感器的能力具體取決于傳感器融合和AI的質(zhì)量。

Infineon產(chǎn)品營銷總監(jiān)Vikram Patel說：“當(dāng)有足夠的數(shù)據(jù)且AI也足夠智能時，這些傳感器中的一個就會被淘汰。如果這些車廠可以只采用雷達和攝像頭，我想他們會的?！?p> 

當(dāng)然，激光雷達公司的看法是不同的。Patel說：“那些人認為，可以只用激光雷達，也許還有雷達，或者更便宜的雷達，而不用攝像頭?！?p> 

傳感器融合的最高級別目標是利用盡可能好的數(shù)據(jù)來做決定。這對于那些需要做出關(guān)鍵決策的ADAS或L4/L5自動駕駛系統(tǒng)至關(guān)重要。決策的質(zhì)量是關(guān)鍵，這具體意味著取決于在車輛中的位置。

在局部層面，例如，在車輛的一角，這可能意味著決定要看到哪些物體。對于一個側(cè)向攝像頭，可能意味著識別潛在的行人或標志。在車輛前方，攝像頭可能需要看得更遠，并計算出接近的速度。

在全局層面，這必須滿足ADAS和自動駕駛的需要。這時，來自車輛周圍的輸入融合起來，以創(chuàng)建一個完整的車輛環(huán)境圖。Carmel說：“所有的測量、行人、物體檢測、對地標的理解、車道標記最終得出一個簡單的碰撞時間。”

三種處理方式

做好這一點需要三種不同的計算，可能很容易混淆。首先是視覺數(shù)據(jù)的簡單處理。那是基本的圖像處理工作，如顏色轉(zhuǎn)換、去噪和數(shù)據(jù)規(guī)范化，所有這些都是為了提高下游計算的數(shù)據(jù)質(zhì)量。

Infineon的Patel說：“我接觸的每個客戶都談到了如何將原始ADC或FFT數(shù)據(jù)轉(zhuǎn)換為更智能或更清潔的數(shù)據(jù)。噪聲已經(jīng)被過濾掉了，只有峰值被擊中，然后你把它移到你使用的任何管道中。”

接下來的兩個問題可能在某些程度上是交織在一起的。融合結(jié)合了來自不同來源的數(shù)據(jù)，而機器學(xué)習(xí)（ML）使圖像有意義。嚴格來說，傳感器融合不是ML，而ML也不是傳感器融合。但數(shù)據(jù)可以在提交給ML引擎之前融合，或者ML可以在融合前用于單個數(shù)據(jù)流，然后ML的結(jié)果可以被融合在一起。

融合架構(gòu)還必須能夠處理車輛外產(chǎn)生的數(shù)據(jù)。Siemens EDA的自動駕駛和ADAS高級主管David Fritz說：“智能城市基礎(chǔ)設(shè)施有一個（與汽車傳感器融合）類似的問題。一邊是檢測物體并對其進行分類。我如何將這些信息以一種易于使用的方式輸入車輛？如果他們發(fā)送原始數(shù)據(jù)，他們所占用的5G帶寬將是驚人的。想想紐約市的1萬個交叉路口，所有的數(shù)據(jù)流都是同時傳輸。這將會淹沒整個系統(tǒng)。根本行不通。”

他繼續(xù)說：“假設(shè)他們想出了一些壓縮的方法來做到這一點，那么車輛本身將不得不增加計算能力來解壓數(shù)據(jù)?！?p> 

讓外部源傳輸車輛可以本機工作的對象元數(shù)據(jù)，將簡化這種數(shù)據(jù)融合。

圖2：左邊是傳感器數(shù)據(jù)直接送到中央處理器的情況，要么完全是原始數(shù)據(jù)，要么經(jīng)過一些小的數(shù)據(jù)清洗。它可能通過單一的連接到zonal控制器，或直接到中央處理器。在右邊，傳感器數(shù)據(jù)在zone內(nèi)進行本地分類，元數(shù)據(jù)被發(fā)送到中央處理器。（來源：Bryon Moyer）

如果這成為解決的方式，那么所有這些對象共享將需要一些元數(shù)據(jù)的標準化。Fritz說：“我們沒有注意到整個行業(yè)有任何標準化的動向，盡管這是不可避免的。它極有可能由一個既定的標準來推動，即誰先走一步，誰就擁有最多的市場份額?！?p> 

然而，這并不是一個需要解決的大問題。他補充說：“實際上你必須要有標準化的元數(shù)據(jù)的數(shù)量是有限的。而其中每一項的數(shù)據(jù)量都很小?！?p>

在哪里融合？

那么，考慮到所有這些計算工作，它將在車輛的什么地方發(fā)生？這是推動汽車架構(gòu)設(shè)計的考慮因素之一。所謂的zonal架構(gòu)似乎已成為首選方法，盡管并非所有公司都同意。

Cadence汽車解決方案總監(jiān)Robert Schweiger說：“下一代架構(gòu)是zonal架構(gòu)，在汽車的每角，都會有一個zonal控制器，負責(zé)處理安裝在該物理區(qū)域某處的傳感器。”

這個想法是，在汽車的有限部分，比如說左前方，有相當(dāng)多的工作由控制器完成。然后，結(jié)果可以被傳遞到中央處理器，在那里，局部的部分可以被組裝成一個全局視圖。

Patel說：“我們看到zonal架構(gòu)的出現(xiàn)僅僅是因為太復(fù)雜。在zonal方案中，管理和移動數(shù)據(jù)更容易?！?p> 

圍繞這個問題的討論往往集中在原始數(shù)據(jù)與處理過的數(shù)據(jù)上，但這并不是那么簡單的。Patel提醒說：“原始數(shù)據(jù)這個詞會導(dǎo)致很多混亂，因為不同人對原始數(shù)據(jù)的定義是不同的。它不純粹是你今天看到的完全處理過的對象數(shù)據(jù)。但你會看到部分處理完成后，結(jié)果被送入以太網(wǎng)管道?！?p> 

其他人也同意。Tu指出：“今天，大多數(shù)的傳感器融合是面向?qū)ο蟮?，而不是原始的。面向?qū)ο蟮姆椒▽π阅芤筝^低。原始融合需要更復(fù)雜的處理，而且技術(shù)很新穎?！?p> 

Zonal方法通過模塊化和可擴展的方式分配工作，簡化了系統(tǒng)。例如，一輛低端車可能有兩個zone，而高端車可能有六個或更多。將zonal控制器作為一個公共元素，將使控制器的數(shù)量更有可能增加，而成本也需要得到控制。

Synopsys的Swanson說：“這可能是中間地帶出現(xiàn)的地方。所以在zonal架構(gòu)中，你做了一些抽象化的工作，把它交給中央處理單元。”

少數(shù)OEM，特別是新造車勢力，可能會選擇一種所有事情都集中完成的架構(gòu)。但至少到目前為止，這些車廠都只是專注于高端市場。

Patel說：“如果我是Tesla，我主要生產(chǎn)高端汽車，我并不真正關(guān)心如何為低成本汽車做調(diào)整。通用和大眾他們會關(guān)心?！?p> 

他不是唯一看到這種分裂的人。Kouthon說：“像BMW、Daimler和Ford這樣的傳統(tǒng)車廠代表著一種趨勢。還有一種新的趨勢，比如Aptiv、Tesla、Waymo，他們的看法有很大的不同?！?p> 

例如，Tesla使用一個強大的中央處理單元。Kouthon說：“該芯片接收所有的攝像頭、超聲波和雷達信號，并對它們進行集中處理。他們的理由是，我們將在中央處理單元和傳感器之間的布線層面提供冗余，減少故障的幾率。”

這種布線冗余反映了他們在車內(nèi)數(shù)據(jù)傳輸和向電子裝置供電方面做了專門的努力。通過使用環(huán)形架構(gòu)，這種冗余可以不增加網(wǎng)絡(luò)中的布線。

當(dāng)然，可靠性對汽車來說是個大問題。Swanson指出：“如果你只使用一個中央處理器，你就會把大量的可靠性放在一臺計算機上。”

他接著說：“也可以說，并非所有的決定都需要集中作出。可能有很多決定可以在本地做。你不需要超級計算機來控制擋風(fēng)玻璃雨刷器的頻率?！?p>

Zone里面該包含哪些東西？

考慮到zonal的方式，我們現(xiàn)在可以解決在哪里做什么的問題了，盡管在供應(yīng)鏈中可能會有一些不同利益帶來的拉扯問題。

例如，攝像頭廠商可能希望自己進行物體分類，然后提供對象元數(shù)據(jù)來實現(xiàn)差異化。至少，他們可以在ML前和融合前進行大量的圖像處理。

Zonal控制器可以實現(xiàn)傳感器本身沒有執(zhí)行的任何本地處理?？赡苁切盘柷逑矗赡苁潜镜豈L，也可能是本地傳感器融合。這一決定的一個重要驅(qū)動因素是用于移動數(shù)據(jù)的帶寬。在zone內(nèi)進行的任何處理都會自然地壓縮原始數(shù)據(jù)。Zone可以發(fā)送對象元數(shù)據(jù)，而不是將原始攝像頭數(shù)據(jù)送到中央處理器。

Zonal控制器可以對其視野內(nèi)的對象進行初步分類。Cadence的Schweiger說：“Zonal控制器將對來自這些傳感器的數(shù)據(jù)進行預(yù)處理，并向中央計算單元發(fā)送更高級別的對象數(shù)據(jù)。你可以在zonal控制器中進行預(yù)融合（即早期融合），然后在中央計算機中進行所有四個zonla控制器的最終融合。預(yù)融合也可以減少數(shù)據(jù)量?！?p> 

這與決定哪些網(wǎng)絡(luò)將被用來傳輸所有這些數(shù)據(jù)密切相關(guān)。Simens與一家OEM做了一些工作，模擬了不同的設(shè)置。

Fritz說：“我們做了三個模型。在第一個模型中，我們通過汽車以太網(wǎng)將原始傳感器數(shù)據(jù)傳送到中央處理器。中央處理器完成所有的傳感器融合、物體檢測、分類和決策。第二個方法是邊緣做一些傳感器的計算，這可以將網(wǎng)絡(luò)帶寬減少約40%。”

在這個模型中，Simens將三維點云從邊緣發(fā)送到中央處理器。Fritz說：“第三個選擇是在靠近傳感器的邊緣做所有事。然后我們所要做的就是傳遞物體的元數(shù)據(jù)，位置、分類、運動方向，諸如此類。我們看到，第一種情況需要10Gbps以上的速度來傳輸所有的原始傳感器數(shù)據(jù)，這遠遠超過了目前以太網(wǎng)最大的1Gbps的速度。只有后兩種情況是可行的。我們傾向于物體融合，而不是任何種類的三維點云?！?p> 

這表明有相當(dāng)多的工作可以在zone做。但具體多少呢？Zonal控制器的一個重要考慮因素是成本，這可能會限制以可接受的價格包含重型ML硬件數(shù)量。這將是分配工作的重要因素。

Schweiger提醒說：“從經(jīng)濟角度來看，你不能把最大的AI性能放到zonal控制器中，因為芯片面積會太大。所以這意味著你需要有混合使用。”

也就是說，處理方式的劃分可能仍然是專有的，因為OEM試圖在zonal和中央找到傳感器融合和ML的最佳組合。Schweiger指出：“他們?nèi)绾卧谲囕v中分配某些任務(wù)可能是OEM的秘密武器?！?p> 

或者簡單地說，沒有一個方式適合所有情況。Cadence的設(shè)計IP營銷總監(jiān)Tom Wong補充說：“這完全取決于車廠和他們的理念。他們在中央擁有的計算資源以及他們愿意接受的能耗。”

一個暫時的問題？

盡管如此，仍存在著一種頑固的信念，即在沒有任何限制的情況下，將所有的原始數(shù)據(jù)拿到中央處理器上計算就能做出最好的決定。通過壓縮初始的原始數(shù)據(jù)，所有的預(yù)處理都犧牲一些信息以減少帶寬。這可能不是最理想的，但現(xiàn)在已經(jīng)足夠好了，特別是考慮到車輛暫時會受到帶寬的限制。

在這種觀點下，將zone用于傳感器融合和ML將是一個過渡性的東西，直到我們能夠更有效地將所有的數(shù)據(jù)帶到中央。Schweiger說：“現(xiàn)在，各公司仍在開發(fā)非常智能的傳感器模塊。但以后，這將發(fā)生變化，并將轉(zhuǎn)向中央計算單元?！?p> 

這將在什么時候發(fā)生人們還都只是在猜測，因為即使我們在設(shè)計更快的網(wǎng)絡(luò)，但同時也在增加更多的數(shù)據(jù)。這表明在未來很長一段時間內(nèi)，zone可能仍然會承載一些這種基礎(chǔ)計算。

然而，如果這種轉(zhuǎn)變真的發(fā)生，也并不一定意味著zonal架構(gòu)的終結(jié)。許多與傳感器融合或ML無關(guān)的任務(wù)仍然可以在本地執(zhí)行，而zonal架構(gòu)提供了一種高效和方便的方式。

Schweiger說：“也許有些東西不需要進行數(shù)據(jù)融合。你只需對一些東西進行預(yù)處理，比如雷達的波束形成。對于這種傳感器來說，這是一件獨立的事情，而且它并沒有驅(qū)動決策?！?p> 

因此，盡管OEM試圖在zone和中央之間提供傳感器融合和ML計算的最佳組合，但隨著時間的推移，它將遷移到中央。但這勢必會引起車廠和攝像頭廠商之間的拉扯，對于攝像頭公司來說，這將不利于他們在攝像頭中進行物體分類。

Schweiger指出：“一旦OEM解決了所有的問題，一切都將更具可擴展性，更容易維護。它可以有一個更干凈的軟件架構(gòu)，因為你不再需要刷新100個ECU了?！?p> 

Kouthon表示贊同。他說：“通過一個網(wǎng)絡(luò)，你把所有的東西都帶到中央處理器上，這樣做OTA就容易多了，因為你每次只需要更新幾樣?xùn)|西?！?p> 

目前，不同的OEM可能會在不同的地方劃定zone和中央之間的界限。靈活性是很重要的，無論是在軟件還是在可編程的硬件方面。Flex Logix的Jaros說：“我們已經(jīng)聽到了許多圍繞傳感器融合的爭論。我們認為答案是使用eFPGAs，讓系統(tǒng)設(shè)計者擁有一個支持兩種情況的芯片，即在傳感器附近或在中央處理單元中完成融合?！?p> 

但考慮到車輛的設(shè)計方式，這可能是一個緩慢的過程。Fritz說：“你將會在2026年左右看到市面上有這樣的解決方案。每個人都需要密切關(guān)注事態(tài)的發(fā)展，并準備在必要時做出調(diào)整?！?p>

[參考文章]

Competing Auto Sensor Fusion Approaches — Bryon Moyer