我們有幸邀請到了福瑞泰克首席架構(gòu)師李帥君、縱目科技感知算法總監(jiān)吳子章、安霸半導(dǎo)體研發(fā)副總裁孫魯毅以及鑒智機(jī)器人副總裁兼感知產(chǎn)品線負(fù)責(zé)人梁柱錦和焉知產(chǎn)研負(fù)責(zé)人陳康成（主持人）一起參與了圓桌討論。
在該環(huán)節(jié)，各位嘉賓暢所欲言，分別發(fā)表了自己看法與見解。以下內(nèi)容是焉知汽車在不改變嘉賓原意的基礎(chǔ)上，對核心內(nèi)容進(jìn)行提煉，以供業(yè)內(nèi)人士參考。
一.主持人：車企或Tier1在進(jìn)行周視攝像頭選型時(shí)，一般會(huì)重點(diǎn)關(guān)注哪些指標(biāo)？如果要支持城市NOA功能，是否配置角雷達(dá)，對周視攝像頭的選型是否會(huì)產(chǎn)生影響？若有，存在什么樣的影響？
李帥君：我們是Tier1的角色，關(guān)于周視攝像頭選型，我認(rèn)為主要參考三個(gè)方面：硬件光學(xué)、穩(wěn)定性以及算法。
從硬件光學(xué)來講，它是指整個(gè)攝像頭的解析力，光學(xué)的成像分辨率以及一系列光學(xué)顏色的測試，這些都是基礎(chǔ)性能。
然后，在此之上會(huì)要求硬件的穩(wěn)定性，攝像頭是否已經(jīng)通過在不同的溫度、震動(dòng)、機(jī)械性能、電子兼容性等條件下的測試項(xiàng)目。
最后，在算法上，攝像頭模組通常還是要接到后端的域控制器去做感知算法的處理。我們福瑞泰克也做域控，相當(dāng)于是由我們自己來處理。但我們在考核攝像頭供應(yīng)商時(shí)候，還是會(huì)看它是否具備ISP的處理能力。如果具備，那么我們在后端碰到一些ISP相關(guān)問題，去跟供應(yīng)商做相應(yīng)溝通的時(shí)候會(huì)更加順暢。
吳子章：剛才李總說的非常全面，我在李總的基礎(chǔ)上稍做一點(diǎn)補(bǔ)充。對于攝像機(jī)的選型，大家在產(chǎn)品需求的差異還是蠻大的。不同的場景（高速/城區(qū)/泊車）需求下的理解不同：不同的刷新率和分辨率。另外，我們還需要照顧到遠(yuǎn)場和近場的感知，到底希望能感知到什么樣的清晰度，大家會(huì)有一些區(qū)別。攝像頭選型的時(shí)候都會(huì)針對這些具體需求進(jìn)行考量。
孫魯毅：作為芯片廠商，因?yàn)槲覀儾恢苯舆M(jìn)行攝像頭選型，我們是支持我們客戶/Tier1來做選型。
我們主要考慮兩方面：首先，會(huì)考慮支持?jǐn)z像頭需要的性能。如果同時(shí)運(yùn)行多顆攝像頭，需要搭配什么樣的芯片？比如6V5R的行泊一體方案，它所搭配的攝像頭就不能特別多，否則，不僅成本過高，芯片的性能也支撐不了。
對于大算力的芯片而言，如果市場上需要，把周視/環(huán)視/前視/后視的攝像頭全部接入進(jìn)去，問題也不是很大。需要支持?jǐn)z像頭總的處理能力，包括攝像頭的接入能力，處理的時(shí)候不會(huì)丟幀（運(yùn)行比較復(fù)雜AI算法的時(shí)候，要保證它不會(huì)丟幀）等。
其次，要考慮圖像的質(zhì)量，因?yàn)?/span>現(xiàn)在比較明顯的趨勢是車上搭載的攝像頭越來越多，一般會(huì)用大算力或者是中等算力 SoC芯片上的ISP進(jìn)行圖像處理。相對來講，大算力平臺(tái)會(huì)有更多的資源去做ISP處理。我們也做過一些對比：同樣的CMOS Sensor，如果是用模組端的ISP（還是業(yè)界比較有名的ISP）處理，它跟用安霸的SoC芯片上的 ISP做處理得出的結(jié)果對比 —— 白天的效果沒有太大的差別，但是在夜晚或者是雨天，差別還是挺大的。利用安霸方案的ISP處理，效果會(huì)更好。對于Tier1的意義在于可以用相對便宜的CMOS圖像傳感器達(dá)到更貴的CMOS圖像傳感器類似的效果，這主要是從成本的角度考量。
梁柱錦：前面三位講得很完善，我補(bǔ)充兩點(diǎn)，我們做選型可能會(huì)從兩個(gè)角度：
第一個(gè)是從硬件適配的層面。當(dāng)我們要去做攝像頭選型，更具體點(diǎn)就是面向量產(chǎn)的方案選型上 ——選擇哪款攝像頭，需要看它能不能適配當(dāng)前選擇的域控制器，以及我們適配這款攝像頭需要花的時(shí)間和代價(jià)是多大，這是前提。如果在這個(gè)層面上代價(jià)比較大，那我們可能會(huì)選擇其它更合適的。總體來說它能不能滿足我們?nèi)プ隽慨a(chǎn)的時(shí)間點(diǎn)，以及去適配它需要花的時(shí)間以及代價(jià)是多少，這是非常重要的衡量指標(biāo)。
第二就是從功能層面，剛才吳總也講到了。我們到底要去做泊車功能，還是做城區(qū)，亦或者是去做高速。我們對于所要識(shí)別的物體，以及想要去做的一些任務(wù)，其實(shí)對攝像頭是有要求的。比如，在城區(qū)場景，它需要對更小的目標(biāo)做監(jiān)測和識(shí)別，這個(gè)時(shí)候可能對FOV有要求 —— FOV越大，看進(jìn)去的目標(biāo)會(huì)越多，同時(shí)像素越高，就越能識(shí)別出更小的物體。當(dāng)然了，這和域控的選擇也是有很強(qiáng)的相關(guān)性。
總之，關(guān)注的核心就兩個(gè)點(diǎn)：從硬件角度能不能滿足，以及從功能角度能不能滿足。
二.主持人：對于側(cè)前和側(cè)后方向的環(huán)境感知，通常有以下三類比較主流且經(jīng)濟(jì)使用的智駕傳感器配置方案：1）配置有環(huán)視攝像頭，但無周視攝像頭和角雷達(dá)，會(huì)用環(huán)視攝像頭去實(shí)現(xiàn)一些行車輔助功能；2）配置有周視攝像頭，但無環(huán)視攝像頭和角雷達(dá)，會(huì)使用周視攝像頭去實(shí)現(xiàn)一些泊車輔助功能；3）配置角雷達(dá)，但無環(huán)視和周視攝像頭。如何看待這三種不同類型的方案？（不同方案的優(yōu)劣勢和重點(diǎn)針對的應(yīng)用場景是什么？）
梁柱錦：我談兩個(gè)層面，對于這三類不同類型的傳感器。我們首先要知道他們的優(yōu)劣勢在哪里。其次，就是剛才講到的場景問題，是要做行車，還是做泊車。
我們分析一下三類不同類型的異構(gòu)傳感器：1）角雷達(dá)的優(yōu)點(diǎn)在于它的測距測速很穩(wěn)很準(zhǔn)，不受天氣環(huán)境影響，可全天候工作，但對于對橫向目標(biāo)敏感度低，如對橫穿車輛檢測效果不佳；還有一些鬼影、靜距離盲區(qū)等問題。2）環(huán)視攝像頭的優(yōu)點(diǎn)在于FOV特別大，看到的范圍很廣；3）周視的FOV偏小，但是看得比較遠(yuǎn)。
針對這些特性，我覺得在泊車場景，不需要看太遠(yuǎn)，但要盡可能看得進(jìn)所有的目標(biāo)，還要識(shí)別到空間車位及線車位。在這種情況下，如果只用角雷達(dá)，是沒辦法識(shí)別車位，因?yàn)樗鼪]有語義感知的功能。但用周視攝像頭，處于安裝位置及視角的原因，又看不到近距離的目標(biāo)及車位。
對于行車場景，又要分高速和城區(qū)。高速場景需要看得遠(yuǎn)。環(huán)視攝像頭的缺點(diǎn)就是看不遠(yuǎn) —— 探測距離只有30~50m。周視可以覆蓋更大的范圍，比方說，做高速領(lǐng)航，需要做變道，不同的變道速度對于側(cè)后方的感知距離也不一樣。舉個(gè)例子，側(cè)后方需要看到大于80米左右的距離，才能安全的變道，這也是為什么最早的駕駛員觸發(fā)變道功能要求自車車速在60kph以上的原因之一，自車變道速度越低，對于側(cè)后方的識(shí)別距離要求越高。如果用環(huán)視攝像頭，就達(dá)不到這個(gè)需求。用角雷達(dá)的問題在于它的噪聲會(huì)很多，對于側(cè)后方的車輛的橫向位置識(shí)別性能不佳，所以就導(dǎo)致了變道的成功率很低。
所以我總結(jié)一下：需要根據(jù)傳感器不同特性，以及在不同的應(yīng)用場景下，系統(tǒng)到底想要具備的功能是什么，然后根據(jù)需求去選擇不一樣的傳感器搭配。
孫魯毅：剛才梁總講的很全面，我稍微補(bǔ)充一點(diǎn)。隨著不同傳感器的技術(shù)發(fā)展，我覺得一個(gè)很明顯的趨勢 —— 視覺的優(yōu)勢以及發(fā)展的潛力比雷達(dá)要大。雷達(dá)也不是說就不行，只是說視覺的進(jìn)展會(huì)更快。在我看來，隨著視覺傳感器技術(shù)的提升，角雷達(dá)被拿掉是有可能的。甚至沒有周視攝像頭的情況下，如果前視和后視攝像頭FOV足夠大，便可以覆蓋很大的角度，支持變道等功能。
做得比較好的環(huán)視魚眼攝像頭，其實(shí)可以看到30米。30米對于橫向車道的判斷也沒有什么太大問題。在未來，這三種傳感器最有可能被拿掉的是角雷達(dá)，但前后雷達(dá)的意義比較大則仍會(huì)保留，尤其是前雷達(dá)。
如果把周視跟環(huán)視比，我不是特別看好周視。周視當(dāng)然有用，但環(huán)視攝像頭天生的大FOV是周視攝像頭無法取代的，特別在泊車場景下完全無法被取代。很多時(shí)候看得不夠遠(yuǎn)，不是問題；而看不看得清楚才是問題。比如，光線比較差，或者夜晚開車，我們?nèi)搜垡部床坏?00米。所以，看不遠(yuǎn)不是問題，首要解決是在大視角下可辨識(shí)度的問題。
如果一定要選的話，我覺得這三個(gè)傳感器首先被淘汰的是角雷達(dá)。隨著技術(shù)的發(fā)展，周視的地位可能就要受到影響，尤其現(xiàn)在大家做行泊一體，總是在討論能不能干掉周視。
吳子章：我覺得孫總說得非常好，說出了很多我們從業(yè)者的一些經(jīng)驗(yàn)和痛點(diǎn)。其實(shí)很多同行一直希望用一種傳感器去取代另一種傳感器，并且有很多同行已經(jīng)做過了試驗(yàn)和驗(yàn)證。有一段時(shí)間，有些廠商就已經(jīng)拿4路的周視專門去做泊車的功能，但做了一段時(shí)間就不了了之了。
當(dāng)然也有一些廠商用環(huán)視去做行車場景上的嘗試。環(huán)視也有剛才梁總說的一些問題，它的近場感知還可以，但是遠(yuǎn)場感知肯定是很難提上來，至少目前還存在成像質(zhì)量或其它局限性問題，所以兩者在一段時(shí)間內(nèi)可能還是會(huì)共存的。兩者在冗余性上面，在當(dāng)前階段，算法上的冗余會(huì)比異構(gòu)傳感器上的冗余更有意義一些。
在角雷達(dá)的發(fā)展過程中，近一兩年的發(fā)展確實(shí)沒有那么快了，可能它的價(jià)格或者說市場競爭已經(jīng)趨于穩(wěn)定。在我們看來，激光雷達(dá)的降價(jià)對角雷達(dá)的存在具有一定的挑戰(zhàn)性。隨著補(bǔ)盲激光雷達(dá)的引入，它可能會(huì)扮演一條“鯰魚”的角色 —— 如果它的作用發(fā)揮越來越大，其它傳感器可能就會(huì)受到一定的影響。
李帥君：我補(bǔ)充一點(diǎn)，分別談一下這三類傳感器目前的現(xiàn)狀以及發(fā)展中存在的一些不足，最后再講一下我個(gè)人對整個(gè)趨勢的判斷。
先說周視攝像頭（特斯拉是最典型的例子），能夠看得比較遠(yuǎn)，但是看不到足夠近的目標(biāo)。原因很簡單，就是FOV不夠大。對于大部分的智駕應(yīng)用來講，我們其實(shí)更需要用周視攝像頭看更近一些的東西，這是它現(xiàn)在的缺陷，需要去彌補(bǔ)的地方。
其次，對于魚眼攝像頭，基本快成了標(biāo)準(zhǔn)配置，這是一個(gè)很好的基礎(chǔ)。有一個(gè)容易被大家忽視的地方 —— 環(huán)視和周視設(shè)計(jì)目標(biāo)不一樣。大部分的魚眼攝像頭是為了泊車而設(shè)計(jì)，它現(xiàn)在是完全正的向下去安裝，視場角是為看車道線服務(wù)的，然而現(xiàn)在有一大半看到的是車的本體，這是沒有意義的。從我們環(huán)境感知的目標(biāo)來看，它應(yīng)該抬起來一點(diǎn)去看側(cè)面更遠(yuǎn)的地方。怎樣才能把FOV用得更好一點(diǎn)，可能需要上限能做到靜態(tài)環(huán)境探測15米左右，運(yùn)動(dòng)目標(biāo)物體探測能做到20~30米。
最后，角雷達(dá)的問題，它的處理比較簡單，非常有用的地方在于對于移動(dòng)物體感知比較敏感。不足之處在于，如果近處有很多交通參與者，不太容易把他們互相分辨，因?yàn)闀?huì)存在很多噪音。車載毫米波雷達(dá)最開始應(yīng)用于歐洲，原本的設(shè)計(jì)就是為了應(yīng)對高速場景。它會(huì)對遠(yuǎn)距離監(jiān)測范圍內(nèi)、有移動(dòng)速度的物體，容易用相對很小的代價(jià)就可以把它區(qū)別出來，這是它的優(yōu)勢。
對于整體的發(fā)展趨勢，雷達(dá)和視覺技術(shù)都會(huì)往前發(fā)展，去增強(qiáng)它的感知能力。我非常認(rèn)同下午豫興電子付總演講中的一個(gè)觀點(diǎn) —— 能用基礎(chǔ)的簡單的方法去解決的，就不要去拼高大上的算法。
那么，環(huán)視和周視攝像頭的FOV或者探測距離不夠，要去發(fā)展，其實(shí)我覺得要更多的要在鏡頭的設(shè)計(jì)上去做文章，讓它更充分的去利用視場角去Cover，確保進(jìn)來的像素都是有效的，是真正感興趣（工作）的范圍，我覺得這是重點(diǎn)。
角雷達(dá)用簡單方法能夠?qū)Ω咚俚哪繕?biāo)產(chǎn)生作用，它就一定有它在感知層面上的意義。當(dāng)然，我在一定程度上同意在終局的時(shí)候，周視以及環(huán)視攝像頭可以不用激光雷達(dá)和毫米波雷達(dá)就可以把所有的場景都覆蓋。但這是一個(gè)終局的形態(tài)，可能需要5~10年的時(shí)間。
在我們談BEV算法的時(shí)候往往忽略掉 —— 它還需要3D真值來訓(xùn)練。怎么獲得3D真值？車上如果沒有激光雷達(dá)，但是有角雷達(dá)的時(shí)候，它也能給采回來的數(shù)據(jù)提供很重要的Reference。所以它對提供量產(chǎn)影子模式的真值有一個(gè)非常重要的作用，在我們到達(dá)終局之前，我認(rèn)為角雷達(dá)一定會(huì)存在的。
三.主持人：以往的一些高端品牌車型中，周視攝像頭大多都采用與前視攝像頭同分辨率的8MP，但是現(xiàn)在很多車型中，周視攝像頭大多開始降為使用2MP。您如何看待這種現(xiàn)象？（是因?yàn)檫@些車型本身的算力、帶寬不足以支持過多的高分辨率攝像頭，還是說對于實(shí)現(xiàn)高速/城區(qū)NOA等高階智能駕駛功能，2MP的周視攝像頭完全夠用，亦或者是出于成本和性能方面的綜合考量？）
李帥君：首先我覺得域控中的SoC芯片肯定不是瓶頸，有很大的算力。我覺得更多的還是在應(yīng)用場景上。周視可能先上，大家最后發(fā)現(xiàn)真正極端的case，或者說最應(yīng)該去解決的是路口斜前方的場景—— 不超過100米的Case。那么，剩下的便是設(shè)計(jì)多大FOV和多大分辨率的事情。從這個(gè)角度出發(fā)，再去考慮降低分辨率的事情。但理論上講，還有一種情況是把 FOV設(shè)計(jì)得很大，并且用很高分辨率，但成本上不劃算。
吳子章：從我們的經(jīng)驗(yàn)來看，這里存在性價(jià)比的問題。系統(tǒng)資源是有限的，4個(gè)周視全上8MP攝像頭，勢必要吃掉更多的CPU、顯存以及AI算力。雖然現(xiàn)在有比較強(qiáng)的芯片供應(yīng)商能提供大算力芯片，但大算力芯片還有很多的工作要做 。一個(gè)系統(tǒng)如果承擔(dān)了過多的前端任務(wù)，后面能夠留下來給其它功能所使用的資源必然是有限的。所以，從系統(tǒng)資源平衡的角度來看，4個(gè)8MP周視攝像頭接進(jìn)來，比之前的2MP或3MP攝像頭能夠帶來多大的增益或者提升，是我們從量產(chǎn)角度需要去考量的一點(diǎn)。
如果8MP周視攝像頭能夠在遠(yuǎn)距離或者說在某些情況下，的確帶來了一定的指標(biāo)提升，但它的提升也給整個(gè)成本帶來了很大的增加，可能就要重新考量這件事情了。
我們看到的很多同行對8MP攝像頭使用策略有所不同，比如，有的在算力有限的情況下，會(huì)從中間選一個(gè)ROI區(qū)域，然后扣出來。其實(shí)就是典型的8MP攝像頭的解決辦法，只解決了一個(gè)看遠(yuǎn)的問題，因?yàn)閾噶艘粔K，遠(yuǎn)處的 ROI可能就是有限的，同時(shí)也平衡了算力資源有限的問題。
另外一點(diǎn)，8MP攝像頭本身 ROI也存在一定的距離范圍，F(xiàn)OV和距離相互制肘，所以這個(gè)過程當(dāng)中，它能夠帶來的提升也有限。所以在近一兩年，8MP攝像頭的裝載率也會(huì)存在著一定的挑戰(zhàn)。同樣，這跟整個(gè)車企都要降本的環(huán)境背景也有一定關(guān)聯(lián)。
但8MP周視攝像頭的確也是會(huì)比之前低分辨率周視攝像頭起到更強(qiáng)的效果。比如，在過路口或者說車的側(cè)方有一些Corner case需要去幫助解決的情況下。
過一兩年，隨著整個(gè)市場環(huán)境有所緩解，再加上整個(gè)攝像頭在成像質(zhì)量上，或者說在安裝角度上面得到一定程度地提升或改進(jìn)，并且給我們的整個(gè)系統(tǒng)帶來比較好的增益的情況下，8MP周視攝像頭也可能會(huì)被重新考量用起來。
孫魯毅：前面兩位講得都很好。我主要想從以下兩個(gè)方面來談一談。首先是數(shù)字圖像的領(lǐng)域，另外一個(gè)是從算法和算力的領(lǐng)域。
從數(shù)字圖像的領(lǐng)域來講，我覺得大家有時(shí)候經(jīng)常過分的關(guān)注于多少像素，而不太關(guān)注于多少個(gè)好像素（高質(zhì)量成像）。
看同時(shí)代的傳感器 —— 我們單獨(dú)去測SNR（信噪比），是2MP攝像頭好，還是8MP攝像頭好？測下來結(jié)果基本是2MP攝像頭好。為啥？因?yàn)橥瑫r(shí)代的技術(shù)，簡單來講就是Pixel越大越好?；镜囊貨Q定了8MP攝像頭在白天光線很好的時(shí)候，它的SNR比較好。但在夜晚或者光線比較差（下雨或霧天）的時(shí)候，它的表現(xiàn)常常不如2MP攝像頭。去測好像素個(gè)數(shù)，如果挑那種特別low light（低光照）場景，8MP攝像頭的好像素個(gè)數(shù)甚至都沒有2MP攝像頭的多。
車載攝像頭的應(yīng)用解決的是可見度的問題，不僅僅要應(yīng)對白天光線好的場景，還要應(yīng)對夜晚以及惡劣天氣下場景。即使是有一個(gè)很好的ISP也不能改變CMOS 圖像傳感器產(chǎn)生的數(shù)據(jù)本來就不行的問題。
好像素與壞像素，還有一個(gè)區(qū)別就是動(dòng)態(tài)范圍。同時(shí)代的技術(shù)里面，動(dòng)態(tài)范圍跟 Pixel大小有很大的關(guān)系?，F(xiàn)在隨便一個(gè)手機(jī)好幾千萬像素，一個(gè)稍微老一點(diǎn)的單反，可能就1000多萬像素。拿10年前的單反跟現(xiàn)在最新的手機(jī)比，白天光線良好的時(shí)候近距離拍照，手機(jī)完勝10年前的單反，再挑一個(gè)惡劣的環(huán)境（光線較暗），會(huì)完敗于10多年前的單反。
數(shù)字圖像系統(tǒng)要考慮到多少像素是有用的，技術(shù)又是怎么樣發(fā)展的。這些主要受光學(xué)相關(guān)因素的影響，比如鏡頭的加工工藝、鍍膜以及安裝精度等。
另外，從算法和算力的領(lǐng)域看。周視為什么之前用8MP攝像頭，我覺得最主要的原因還是為了廣告宣傳效應(yīng)。技術(shù)層面也有意義，但意義不是特別大。高像素?cái)z像頭在技術(shù)上最大的意義是場景重建，如果采集這些數(shù)據(jù)去做場景重現(xiàn)，自己去建地圖非常有意義。如果前視、周視都是8MP攝像頭，可以跑8MP攝像頭的BEV算法，但是BEV+Transformer的網(wǎng)絡(luò)不會(huì)跑得很快。在現(xiàn)在的技術(shù)現(xiàn)狀下，很難跑到實(shí)時(shí)。
我可以這樣講，周視全部用8MP攝像頭，如果是跑真正實(shí)時(shí)的自動(dòng)駕駛的網(wǎng)絡(luò)，4個(gè)Orin-X都不一定能搞定?；緯?huì)采用縮小、裁剪以及其它一大堆的技巧處理后的輕量版的網(wǎng)絡(luò)才能夠運(yùn)行。如果是開發(fā)一個(gè)性價(jià)比比較合適的方案， 個(gè)人認(rèn)為：前視有效距離要比較遠(yuǎn)，要做到200米左右的感知，8MP前視非常有必要。但對周視來講，通常不是那么必要上8MP，2MP的分辨率已經(jīng)完全夠用。
梁柱錦：我從另外一個(gè)視角談一下。為什么周視要用8MP攝像頭？因?yàn)橘F，貴代表什么，性能好。我覺得從賣方的角度來看，像以前賣手機(jī)的廠商，總會(huì)說用了某某最新的芯片。
實(shí)際上，我們的手機(jī)性能可能不一定需要那么好的芯片。我覺得對于8MP攝像頭也是一樣。周視用8MP攝像頭，企業(yè)就可以對外宣稱說他的自動(dòng)駕駛系統(tǒng)的感知性和安全性比用2MP攝像頭要更好，這樣的車可以賣的更貴。
這是從非技術(shù)角度，從技術(shù)角度講的話，前面幾位已經(jīng)講的非常全面了。
我這里稍微補(bǔ)充一下，現(xiàn)在就算是我們用2MP攝像頭，其實(shí)大部分的算法也并沒有把所有的這些數(shù)據(jù)全部利用好。大家實(shí)際做算法的時(shí)候，一般都會(huì)接入2MP周視攝像頭進(jìn)來，如果用BEV，在目前主流的一些宣稱在100 TOPS左右的芯片上去跑，也很難跑實(shí)時(shí)。更別說要去帶4個(gè)8MP周視攝像頭了。
總之，所以我覺得，對于高端車型，一方面是為了宣傳，也就是是所謂的廣告效應(yīng)。另一方面是為了未來的可擴(kuò)展性。我覺得未來整個(gè)算法的模型肯定要迭代。如果前期預(yù)留更好的一些傳感器的配置，后面其實(shí)大概率是能用起來的。當(dāng)然，如果我們只是想簡單的去做高速或城區(qū)NOA，其實(shí)周視用2MP也是完全夠用的。
四.主持人：未來，用4~5顆超級(jí)魚眼攝像頭替代傳統(tǒng)的4顆周視攝像頭+4顆環(huán)視攝像頭是否會(huì)成為主流？如果能夠?qū)崿F(xiàn)很好的替代，需要超級(jí)魚眼攝像頭具備什么樣的性能？另外，要實(shí)現(xiàn)這樣的方案，在算法和軟件層面上又會(huì)帶來怎樣的挑戰(zhàn)？
梁柱錦：最開始我也分析過了，主要看兩點(diǎn)：FOV和像素。FOV取決于攝像頭能看多大范圍，像素取決于它能監(jiān)控到多少物體。魚眼攝像頭的問題在于看不遠(yuǎn)，因?yàn)轸~眼環(huán)視攝像頭都是往下看，如果把它抬起來，肯定就會(huì)看得更遠(yuǎn)。同時(shí)，因?yàn)樗腇OV足夠大， 意味著同等像素情況下，魚眼攝像頭肯定比周視攝像頭看得要更近。魚眼攝像頭雖然說看不遠(yuǎn)， 但如果把像素提高了，它就能看得更遠(yuǎn)了。
超級(jí)高像素魚眼攝像頭的意義就在于去彌補(bǔ)傳統(tǒng)魚眼攝像頭看不遠(yuǎn)的問題。把像素變高，魚眼攝像頭最大的問題就是畸變問題。解決不好畸變，相當(dāng)于四周的東西都看不了，想要去覆蓋全車360°的是覆蓋不好的。
特別是對于一些在周邊/圖像邊緣的一些場景，對算法的要求相對比較高。怎么能夠把去畸變做得更好，甚至壓根不用做去畸變，只是通過網(wǎng)絡(luò)模型去處理（去畸變這種模型）。這會(huì)對算法提出更高的要求，我們鑒智就提出了雙球形去畸變的方案。
所以我非常認(rèn)同，當(dāng)魚眼攝像頭的像素提升了，它一定是能去替換掉現(xiàn)在的周視，當(dāng)然這個(gè)是在我們限制的ODD范圍內(nèi)，比方說我們要去滿足C-NCAP，過十字路口場景，普通的魚眼攝像頭可能就看30米的距離，但C-NCAP現(xiàn)在可能要求看80米的距離，怎么辦？像素就需要提升4倍或8倍。所以，我認(rèn)為超級(jí)魚眼攝像頭一定是有價(jià)值的，一定可以逐步地把周視替換掉，用更低/更少的傳感器，去達(dá)到我們現(xiàn)在想要的這種城區(qū)/高速領(lǐng)航的需求。
孫魯毅：梁總講的算法應(yīng)用，我還是比較贊同的。現(xiàn)在，我講一下魚眼鏡頭本身。其實(shí)魚眼鏡頭的模組它不是說你換一個(gè)CMOS 圖像傳感器，像素多了，感知效果就會(huì)好。因?yàn)殓R頭的光學(xué)部分也非常重要。
我看好未來普通魚眼鏡頭在行泊一體的應(yīng)用，但對于較高成本的超級(jí)魚眼持保留態(tài)度。
魚眼鏡頭是所有鏡頭中難度最大的，雖然我們不做鏡頭，但是我們接觸過很多鏡頭廠商，魚眼鏡頭市場上最常見的是接近于Equidistant形變的鏡頭， 這種鏡頭的邊緣壓縮比較明顯，邊緣壓縮會(huì)導(dǎo)致邊緣的角分辨率比較低，如果環(huán)視魚眼攝像頭兼顧用于周視，真正所感興趣的信息會(huì)在邊緣高度壓縮的地方，這是Equidistant鏡頭常見的一些問題。
從光學(xué)角度的設(shè)計(jì)，魚眼攝像頭對于單點(diǎn)高亮度的光源，在HDR的場景下很容易有紫邊，這是天生的光學(xué)設(shè)計(jì)，想解決這個(gè)問題是非常復(fù)雜的。解決魚眼攝像頭帶來的鬼影問題，光學(xué)成本會(huì)比較高。如果要解決上述問題，還要解決夜晚亮度過高的問題，要增加它的光圈，魚眼鏡頭+光圈會(huì)加重紫邊，情況會(huì)越來越壞。如果加了光圈以后，成像質(zhì)量又好，那么鏡頭體積就得加大，體積加大以后安裝又變得很困難，最后又導(dǎo)致成本迅速增加。
也有人會(huì)想能不能另辟蹊徑，我不做Equidistant鏡頭，去做那種邊緣擴(kuò)展比較開這種，比如 stereographic鏡頭。首先這種鏡頭的專利有沒有到期，會(huì)不會(huì)收專利費(fèi)暫且不談，單加工成本就比較高，并且尺寸也比較大。
魚眼攝像頭還有一個(gè)難點(diǎn)。前面已經(jīng)講到部分是算法的應(yīng)用，比如側(cè)面一輛車開過去的時(shí)候，環(huán)視魚眼攝像頭的成像 —— 有一個(gè)差不多45度角的轉(zhuǎn)向，它的這種特征跟常規(guī)的前/后視攝像頭所看到的都非常不一樣，所以要進(jìn)行一些形變矯正，并且形變矯正本身也很復(fù)雜，不是簡單的形變矯正。比如，當(dāng)某輛車距本車距離比較近以后，它就會(huì)凸出來，產(chǎn)生復(fù)雜的形變。
總之，魚眼攝像頭存在兩大問題：1）光學(xué)設(shè)計(jì)怎樣跟CMOS 圖像傳感器進(jìn)行緊密綁定，降低成本，現(xiàn)在整個(gè)行業(yè)還沒有很好的解決方案。2）如何很好地應(yīng)用魚眼攝像頭去做算法。目前，這個(gè)問題在整個(gè)行業(yè)也沒有特別好的答案。
吳子章：關(guān)于魚眼攝像頭的使用及使用過程中遇到的一些問題，確實(shí)是我們很多同行都在討論的點(diǎn)，這些也是我們之前一直在考慮的。縱目起初便在魚眼泊車上做了很多工作，也一直在思考是否能用魚眼攝像頭去發(fā)揮更大的效能，實(shí)現(xiàn)更多的功能。在此過程中，的確也遇到了很多類似于剛才孫總談到的一些問題。因?yàn)槲覀児居袑ｉT的傳感器部門，相關(guān)同事也很專業(yè)，所以經(jīng)常也會(huì)跟我們談到相關(guān)的問題。這些問題其實(shí)是當(dāng)前技術(shù)發(fā)展的瓶頸或者說局限性。
其實(shí)，從魚眼攝像頭使用者的角度來看，的確遇到了很多前面幾位提到的問題，比如魚眼攝像頭的安裝角度或安裝策略問題，魚眼攝像頭在左右兩側(cè)實(shí)際上是要向下看，它要比前后兩側(cè)魚眼的安裝位置更低，如果用800萬像素的攝像頭，安裝的角度同樣會(huì)向下去傾斜一些，那么，它是否能夠看得足夠遠(yuǎn)呢？這可能也是個(gè)問題。另外，越邊緣的地方，形變和畸變會(huì)越大一些，尤其在側(cè)方的遠(yuǎn)處，可能會(huì)正好趕上形變比較劇烈的一些區(qū)域。
如果說出現(xiàn)的這些問題，都通過算法去解決。但算法在量產(chǎn)的過程中也會(huì)應(yīng)用在不同的車型，比如，在小轎車量產(chǎn)的算法，如果換到大型的商務(wù)車上面，可能就需要進(jìn)行比較大的算法調(diào)整或者說算法的適配，無疑會(huì)給算法部門帶來比較大的壓力，所以，整個(gè)過程是需要解決系統(tǒng)優(yōu)化的問題，但系統(tǒng)優(yōu)化可能就需要我們行業(yè)內(nèi)的一些外部的驅(qū)動(dòng)力引入進(jìn)來?？傊?，傳感器的變革是一個(gè)艱辛又漫長的過程，所以我們還是拭目以待吧。
李帥君：從技術(shù)上看，我覺得環(huán)視和周視存在一定功能上的重疊。從技術(shù)和成本的角度出發(fā)，現(xiàn)在大家的確都是在想辦法去看能不能把它歸一化，或者說減少成本。
另外，周視有周視的問題，環(huán)視有環(huán)視的問題，兩個(gè)對比來看，我認(rèn)為環(huán)視要往上走的難度可能更大一點(diǎn)。
另外，瓶頸并不在Pixel（像素）上面，而在鏡頭上。最終的需求是需要一個(gè)側(cè)面的視覺系統(tǒng)來具備足夠大的FOV以及更遠(yuǎn)的探測距離。相對來講，我覺得如果采用同樣的原理，同樣性質(zhì)的鏡頭，把周視攝像頭的FOV做得大一些，安裝角度再外下探一些，周視攝像頭來兼顧環(huán)視應(yīng)用可能更容易實(shí)現(xiàn)一些。
五. 主持人：現(xiàn)在大家都在做高速/城區(qū)NOA，都在推輕高精地圖甚至是無高精地圖方案來實(shí)現(xiàn)高階智能駕駛方案。主流的廠商傾向于選擇異構(gòu)感知傳感器的冗余方案。對于側(cè)前和側(cè)后范圍的感知監(jiān)控，可選擇的傳感器有：3D（4D）角毫米波雷達(dá)、高清周視攝像頭（環(huán)視攝像頭）以及補(bǔ)盲激光雷達(dá)。通常情況下，會(huì)至少選擇其中的兩種傳感器；但是要實(shí)現(xiàn)規(guī)?；慨a(chǎn)，出于成本上的考量，必須有所取舍，那么冗余傳感器配置究竟該如何選擇？
李帥君：先回答冗余這個(gè)詞。我個(gè)人看法，冗余偏向于是一個(gè)偽命題，大家既然在做融合，可能在算法里面，都要把視覺的特征和雷達(dá)的特征放在一起，然后才形成這樣一個(gè)系統(tǒng)，這里面其實(shí)不存在冗余，每一種都是must，除非是做后融合，卡爾曼濾波這一套其實(shí)還是可以用冗余的理論去解釋。但是，所有的BEV算法和重感知輕地圖算法，大家走的都是重度的前融合。所以我覺得談冗余本來就沒有基礎(chǔ)，冗余的這種說法可能也不太準(zhǔn)確。
接下來講怎么去配置這三類傳感器，我的基本觀點(diǎn)是要有深度信息以及不同源的至少兩類傳感器，因?yàn)橐曈X是最豐富的一個(gè)信號(hào)源，應(yīng)該具備。接下來是訓(xùn)練網(wǎng)絡(luò)，不管什么樣的感知算法，都需要一個(gè)真值，但純視覺的系統(tǒng)往往比較難獲得真值信息。那么，就需要有一類傳感器來輔助認(rèn)知。
目前大家有不同的實(shí)現(xiàn)路徑：1）激光雷達(dá) —— 大部分人從學(xué)術(shù)界繼承過來的一種方式。2）雙目立體視覺 —— 鑒智以及其它少數(shù)企業(yè)在推行的一種方式。3）3D/4D角毫米波雷達(dá) —— 包括福瑞泰克等企業(yè)在內(nèi)在堅(jiān)持的一種方式。我覺得這些方式都可以去選擇，它的核心作用就是給視覺數(shù)據(jù)提供距離上的估計(jì)。它是用更簡單的一種方式，但一定是不同源的傳感器，這樣才能夠跟視覺傳感器組合起來去生成真值來訓(xùn)練。
吳子章：我覺得李總說的很有道理，其實(shí)我們想要確保傳感器層面的冗余，肯定至少需要兩類異構(gòu)傳感器。如果在成本沒有壓力的情況下，甚至我們可以選更多類型的傳感器配置方案。但其實(shí)會(huì)存在一些問題 —— 我們?nèi)绾问褂眠@些傳感器。
因?yàn)槲覀冃枰ㄟ^芯片上面有限的算力，把不同源的傳感器進(jìn)行強(qiáng)力的融合。尤其是前融合，對傳感器的輸入信號(hào)源有一定的要求，并且對網(wǎng)絡(luò)模型的要求也更高，并且需要經(jīng)過強(qiáng)化訓(xùn)練。目前，業(yè)界的技術(shù)水平在普遍應(yīng)用上還存在局限性。
選一款傳感器，最開始肯定是要看需求，是要覆蓋高速，是城區(qū)，還是要覆蓋泊車。如果三個(gè)場景都要覆蓋，要考慮的東西會(huì)很多，所有場景的需求都要考慮進(jìn)來。此時(shí)，我們不單單是用一般的冗余度去看問題，可能還需要從功能設(shè)計(jì)的角度去看。有些功能可能一定要這種傳感器，另外一些功能可能對另外一類傳感器是必不可少。那么，從功能需求端來看，這些傳感器就必須得搭配進(jìn)來。
很多時(shí)候我們都面臨的同樣現(xiàn)實(shí)的問題。如果想要在下一代的功能當(dāng)中去克服所遇到的困難，其實(shí)還是需要有一些同行勇敢的站出來 —— 傳感器的配置或者所使用策略就自己設(shè)計(jì)，不管其他人怎么做，保證自己的效果好就行，并且成為行業(yè)標(biāo)桿。
成為這樣的標(biāo)桿當(dāng)然很難，因?yàn)椴粌H需要自身有計(jì)算芯片的生產(chǎn)研發(fā)的能力，還要有相應(yīng)傳感器的研發(fā)能力。這是一般供應(yīng)商很難去復(fù)刻的一個(gè)模式。但對于我們或類似于我們量級(jí)的供應(yīng)商而言，可能還是要從我們自身的基本的功能層面，或者說冗余度層面、應(yīng)用場景層面去組合，并最終達(dá)到我們現(xiàn)最好的功能性和安全性。
孫魯毅：關(guān)于傳感器的異構(gòu)冗余，我個(gè)人看法是：首先，以現(xiàn)在的計(jì)算機(jī)視覺和芯片算力的發(fā)展水平，異構(gòu)在絕大部分情況下是無法繞開的。采用恰當(dāng)?shù)漠悩?gòu)傳感器配合，總的來說肯定是有作用的。我想說的并不是隨便挑兩種不同的傳感器去組合效果就一定好，比如視覺+毫米波雷達(dá)的組合。因?yàn)槔走_(dá)并不是只有一家供應(yīng)商，雷達(dá)也不是只有一種技術(shù)，視覺傳感器同樣如此。具體的情況要根據(jù)這輛車所定義的功能，以及打算應(yīng)用的場合，并且要有一些實(shí)際的數(shù)據(jù)做支撐。有些東西大家覺得是那樣，實(shí)際上測起來可能也不見得就是那樣，因?yàn)楦鞣N傳感器有它自己的短板，視覺一樣有短板，但是并不是說視覺有短板，搭配上毫米波雷達(dá)或激光雷達(dá)就一定能補(bǔ)上。
這三類傳感器，我認(rèn)為視覺傳感器肯定是拿不掉的。那我們先把視覺傳感器裝配上去，再看看還有什么問題，然后再有針對性去解決問題，比如說沒真值系統(tǒng)，是不是要加激光雷達(dá)？現(xiàn)在很多企業(yè)是怎么做的呢？他們是先把攝像頭裝上車，再裝激光雷達(dá)，先采集真值，采完了以后量產(chǎn)車上卻沒有激光雷達(dá)。
今天論壇演講還談到了熱成像攝像頭，在特定的情況下，比如說是在夜間或者大霧天氣，它也可以起到補(bǔ)足可見光攝像頭看不清目標(biāo)物體的問題。所以說，要解決什么問題，就采用對應(yīng)的傳感器。我們將來可能還會(huì)看到一些更有創(chuàng)意的傳感器的設(shè)計(jì)。
總體而言，我認(rèn)為所謂的異構(gòu)冗余傳感器是為了解決具體的問題而疊加上去的。異構(gòu)是不是能解決問題，要靠實(shí)際的測量和實(shí)際的測試，然后根據(jù)測量和測試結(jié)果再去挑選所對應(yīng)的傳感器。
基于這個(gè)想法來講，可能要去搭一套東西，具體是前融合還是后融合，也要看現(xiàn)有的算力平臺(tái)是否有足夠的算力資源支撐。另外，我們還要考慮開發(fā)整套系統(tǒng)的可移植性和可擴(kuò)展性。另外，除了傳感器異構(gòu)，我認(rèn)為還應(yīng)該考慮基于同樣視覺傳感器，采用不同方法的算法異構(gòu)。
梁柱錦：剛才孫總講得非常對，我們?nèi)ミx擇異構(gòu)傳感器的出發(fā)點(diǎn)是為了補(bǔ)全功能，或者是為了安全，一般就是這兩個(gè)目的。
補(bǔ)全功能就是根據(jù)我們對各種傳感器的分析 —— 視覺一定要有的，因?yàn)橐曈X富含語義信息，可以做非常多的事情，基于視覺我們要往下拆解，比方說，我們選擇了周視攝像頭，要去做泊車，就要選擇魚眼攝像頭作為另外一種異構(gòu)傳感器補(bǔ)充進(jìn)來。假設(shè)我們要去做高速NOA，測距測速需要更準(zhǔn)，可能會(huì)將毫米波雷達(dá)或者激光雷達(dá)補(bǔ)充進(jìn)來。
我們在做這個(gè)事情上的思路，比方說為什么我們鑒智要選擇雙目方案？就是因?yàn)榱Ⅲw雙目可以彌補(bǔ)單目測距測速不準(zhǔn)的問題。其實(shí)，單目也不是說不準(zhǔn)，特斯拉就是用單目，但是特斯拉用單目的前提是它有非常大量的數(shù)據(jù)，需要模型去訓(xùn)出來。但現(xiàn)實(shí)情況是大部分的車廠和供應(yīng)商沒有大量的數(shù)據(jù)，所以他們就很難通過單目攝像頭把測速和測距這個(gè)事情做得很準(zhǔn)。那么，有些企業(yè)可能會(huì)選擇依賴激光雷達(dá)去做這件事情，但依賴激光雷達(dá)成本又會(huì)增加很多。
轉(zhuǎn)自焉知汽車
