邊緣計(jì)算產(chǎn)業(yè)聯(lián)盟ECC 前天地平線基于邊緣計(jì)算的眾包高精度地圖解決方案是基于地平線自研芯片--征程的快速處理及計(jì)算能力，在已量產(chǎn)自動(dòng)駕駛計(jì)算平臺(tái)Matrix上，將強(qiáng)大的視覺(jué)感知和建圖能力結(jié)合在一起，從而在邊緣處利用SLAM技術(shù)實(shí)現(xiàn)高精度地圖的創(chuàng)建，并利用眾包技術(shù)實(shí)現(xiàn)地圖信息的實(shí)時(shí)更新。總的來(lái)說(shuō)NavNet就是利用深度學(xué)習(xí)和同步建圖及定位技術(shù)結(jié)合實(shí)現(xiàn)高精建圖定位系統(tǒng)。

1 背景介紹

　　隨著人工智能的興起，汽車行業(yè)也發(fā)生了翻天覆地的變化，互聯(lián)網(wǎng)巨頭和傳統(tǒng)汽車行業(yè)投入了大量的人力與物力來(lái)參與自動(dòng)駕駛相關(guān)技術(shù)研發(fā)與落地。高精度地圖作為自動(dòng)駕駛汽車必不可少的一個(gè)環(huán)節(jié)，它可以幫助自動(dòng)駕駛汽車預(yù)先感知道路的復(fù)雜信息，并提供實(shí)時(shí)高精度的自車定位，結(jié)合智能路徑規(guī)劃，讓汽車做出正確決策。但是高精度地圖的實(shí)時(shí)建圖、更新和定位卻是個(gè)巨大的工業(yè)障礙，傳統(tǒng)方式多以地面信息采集車前往全國(guó)各地采集信息，再去處理和補(bǔ)充地圖數(shù)據(jù)，做成圖后再為用戶端發(fā)送更新包，用戶在終端完成數(shù)據(jù)的更新才能實(shí)現(xiàn)一次地圖數(shù)據(jù)的更新。這樣的地圖更新過(guò)程繁瑣且亙長(zhǎng)，無(wú)法滿足自動(dòng)駕駛車輛對(duì)地圖更新和定位的要求，高精度地圖要求車輛位置偏差小于10厘米，且可以反應(yīng)實(shí)時(shí)路況信息，這對(duì)于地圖的更新提出了更高的要求。更重要的是，數(shù)據(jù)的傳輸時(shí)延問(wèn)題如何解決?高精地圖計(jì)算量巨大，難道每輛車要背一個(gè)電腦么?當(dāng)然不可以。而且隨著自動(dòng)駕駛級(jí)別的提高，自動(dòng)駕駛技術(shù)上對(duì)高精地圖的更新頻率和覆蓋范圍也提出了極高的要求，需要海量的地圖采集設(shè)備來(lái)支撐高精地圖的大規(guī)模快速更新，因此“眾包”的概念應(yīng)運(yùn)而生。

2 解決方案

　　NavNet視覺(jué)眾包地圖與定位解決方案把地圖更新所需的數(shù)據(jù)采集任務(wù)交給道路上的普通車輛而非專業(yè)采集車輛，賦能高精地圖眾包更新，將建圖與定位計(jì)算全部在邊緣完成，輸出局部三維語(yǔ)義地圖，既可與已有高精地圖匹配進(jìn)行定位，也可用于眾包地圖更新和高級(jí)駕駛輔助的高精度定位。

3 技術(shù)路線及方法

　　地平線憑借出色的感知算法加持，在自主研發(fā)的AI芯片(征程)上實(shí)現(xiàn)基于邊緣計(jì)算的自動(dòng)駕駛高精度地圖建圖與定位的解決方案--NavNet。NavNet視覺(jué)眾包地圖解決方案，僅需一顆前視攝像頭，運(yùn)用深度學(xué)習(xí)和SLAM技術(shù)實(shí)現(xiàn)了道路場(chǎng)景的語(yǔ)義三維重建，將建圖與定位的過(guò)程全部在車端實(shí)時(shí)進(jìn)行。車輛通過(guò)前視攝像頭捕捉即時(shí)交通信息，然后抽象出道路場(chǎng)景的特征(即實(shí)現(xiàn)場(chǎng)景語(yǔ)義三維重建)，并直接在車端完成地圖“繪制”與定位。

　　在這一過(guò)程中，NavNet主要完成以下工作流程：

　　(1)采集：通過(guò)攝像頭、IMU、GNSS、CAN等傳感器系統(tǒng)采集數(shù)據(jù)(路況)信息;

　　(2)分析：將深度學(xué)習(xí)與SLAM技術(shù)結(jié)合，加入圖像語(yǔ)義分割、語(yǔ)義地圖構(gòu)建等語(yǔ)義信息;

　　(3)建圖：通過(guò)視覺(jué)SLAM技術(shù)，建立3D高精地圖;

　　(4)融合：將建圖片段融合優(yōu)化，提升地圖完整和準(zhǔn)確性;

　　(5)定位：通過(guò)車體定位與建圖結(jié)果匹配，完成車輛高精度定位;

　　(6)生成：將建圖與定位的數(shù)據(jù)結(jié)果加密后傳送到云端數(shù)據(jù)庫(kù)，解碼后與全局地圖匹配融合。

圖1 NavNet架構(gòu)圖

　　(1)采集

　　在NavNet解決方案中，路況信息的采集通過(guò)幾項(xiàng)相關(guān)的傳感器來(lái)實(shí)現(xiàn)——攝像頭，GNSS(Global Navigation Satellite System，全球?qū)Ш叫l(wèi)星系統(tǒng))和IMU(Inertial measurementunit，慣性測(cè)量單元)。當(dāng)然除此之外，許多傳感器設(shè)備的運(yùn)行也離不開CAN總線的幫助。攝像頭，用于采集信息，用來(lái)實(shí)現(xiàn)感知處理和實(shí)時(shí)建圖定位;IMU+GNSS+CAN總線，用來(lái)實(shí)現(xiàn)車體自定位，主要用于確定車輛所處的大致位置。除了傳感器的加持，處理過(guò)程也離不開算法平臺(tái)的支持，在NavNet解決方案中算法模型所使用的模型平臺(tái)--Matrix，該平臺(tái)是基于地平線征程芯片的一款能夠直接運(yùn)行神經(jīng)網(wǎng)絡(luò)并實(shí)現(xiàn)圖像視頻的即時(shí)分割、檢測(cè)和識(shí)別等功能的感知計(jì)算智能硬件設(shè)備平臺(tái)，該平臺(tái)設(shè)備可以根據(jù)攝像頭搜集到的信息，將搜集到的視覺(jué)感知其數(shù)據(jù)進(jìn)行處理與解析，輸出解析之后的感知數(shù)據(jù)及結(jié)果。

　　NavNet眾包高精地圖解決方案利用Matrix感知計(jì)算平臺(tái)，得到攝像頭采集并處理之后的感知數(shù)據(jù)，用于之后車輛的分析與決策使用，而各項(xiàng)傳感器實(shí)現(xiàn)車體自定位，則是對(duì)于車輛位置的大致判斷，主要因?yàn)樽远ㄎ患夹g(shù)的誤差大，無(wú)法滿足高精地圖的要求，因此NavNet利用車體自定位技術(shù)+攝像頭感知局部定位技術(shù)來(lái)完成數(shù)據(jù)的分析和車輛的高精定位。

　　(2)分析

　　地平線征程系列芯片，性能優(yōu)且支持神經(jīng)網(wǎng)絡(luò)加速，在數(shù)據(jù)分析方面更多的是將深度學(xué)習(xí)與SLAM(simultaneous localization andmapping，即時(shí)定位與地圖構(gòu)建，讓機(jī)器人在未知環(huán)境與位置中邊移動(dòng)邊繪出地圖)技術(shù)相結(jié)合的方式。采用這樣的方法也是依仗深度學(xué)習(xí)在視覺(jué)數(shù)據(jù)分析與處理方面的優(yōu)勢(shì)，并結(jié)合機(jī)器人建圖的方法以實(shí)現(xiàn)高精地圖的實(shí)時(shí)創(chuàng)建，兩種方法相結(jié)合的分析方式主要分為三種：

　　分析方法一：用深度學(xué)習(xí)方法替換傳統(tǒng)SLAM中的一個(gè)或多個(gè)模塊(如特征點(diǎn)提取，位姿估計(jì)，重定位等方面);

　　分析方法二：在傳統(tǒng)SLAM中加入語(yǔ)義信息(如圖像語(yǔ)義分割，語(yǔ)義地圖構(gòu)建等方面);

　　分析方法三：端到端SLAM，即輸入為圖像信息，輸出則是動(dòng)作信息。準(zhǔn)確來(lái)說(shuō)這一分析方法更接近于深度強(qiáng)化學(xué)習(xí)算法，即給定所處環(huán)境(可以理解為圖像信息)和所要到達(dá)的目的地，以及完成任務(wù)后可以得到的獎(jiǎng)勵(lì)(reward)，智能體需要自主學(xué)習(xí)相關(guān)信息，最終輸出行為信息，并根據(jù)行為信息的反饋得到自己的獎(jiǎng)勵(lì)。

　　(3)建圖

　　在地圖創(chuàng)建方面，傳統(tǒng)的高精地圖創(chuàng)建主要依靠激光雷達(dá)等傳感器，得到其點(diǎn)云感知數(shù)據(jù)，最后形成矢量地圖。但是激光雷達(dá)價(jià)格昂貴，每輛車都配備非常好的激光雷達(dá)，其成本可想而知。當(dāng)然，建立高精度地圖并不是只有這一種方法。地平線NavNet采用的是通過(guò)單目攝像頭建立3D高精地圖，所采用的技術(shù)即為視覺(jué)SLAM(v-SLAM)技術(shù)，其技術(shù)框架主要包括VO(Visual Odometry，視覺(jué)里程計(jì))、后端以及回環(huán)檢測(cè)。

　　目前階段，地平線NavNet更多地采用分析方法二，或者說(shuō)通過(guò)語(yǔ)義SLAM的方式來(lái)實(shí)現(xiàn)高精度地圖的創(chuàng)建。不過(guò)，隨著時(shí)間的推移和產(chǎn)品迭代，地平線NavNet的技術(shù)也在日益成熟，其技術(shù)方式也在發(fā)生改進(jìn)。這里，實(shí)現(xiàn)建圖的技術(shù)方式又分為三種：

　　實(shí)現(xiàn)方式1：通過(guò)語(yǔ)義分割+點(diǎn)云重建+參數(shù)化來(lái)創(chuàng)建矢量地圖;

　　實(shí)現(xiàn)方式2：通過(guò)語(yǔ)義分割檢測(cè)+語(yǔ)義重建來(lái)創(chuàng)建矢量地圖，這是對(duì)方式1的整合與精簡(jiǎn)，將后端優(yōu)化、語(yǔ)義識(shí)別和參數(shù)化等方面和鏈路，融合成為一條優(yōu)化模塊——聯(lián)合優(yōu)化模塊，既簡(jiǎn)化了工作的流程，節(jié)約時(shí)間和運(yùn)算能耗，又可以實(shí)現(xiàn)同樣的功能。這是地平線NavNet目前采用的方式。

圖2 地平線算法結(jié)構(gòu)

　　實(shí)現(xiàn)方式3：完全利用深度學(xué)習(xí)來(lái)創(chuàng)建矢量地圖。這是NavNet最終的技術(shù)目標(biāo)，這種方法下的計(jì)算量將更小，直接成圖得到結(jié)果。實(shí)質(zhì)上，它與上述分析方法三的思路和初衷都不謀而合。

　　(4)融合

　　在NavNet方案中，地平線提供云端地圖融合優(yōu)化參考設(shè)計(jì)，其能夠自動(dòng)將大量車輛采集的地圖片段數(shù)據(jù)進(jìn)行關(guān)聯(lián)匹配，以矢量地圖要素的屬性參數(shù)為變量，根據(jù)屬性的相似度約束建立統(tǒng)一的目標(biāo)函數(shù)，優(yōu)化求解以獲得融合地圖結(jié)果。這一融合優(yōu)化過(guò)程既可以定時(shí)全量執(zhí)行，也可以根據(jù)地圖更新的結(jié)論，經(jīng)過(guò)事件觸發(fā)進(jìn)行高效融合之后，提供更新、更精準(zhǔn)的地圖信息，即可快速地發(fā)布到車端供車輛定位導(dǎo)航使用。

圖3 NavNet地圖更新模式

　　NavNet方案在邊緣側(cè)可以進(jìn)行地圖要素的更新識(shí)別，甚至是更新量的計(jì)算，在邊緣側(cè)進(jìn)行地圖更新的好處在于，可以自動(dòng)應(yīng)對(duì)部分場(chǎng)景及地圖的變化，完成符合交通規(guī)則和舒適性安全性要求的決策，即利用AI芯片的算力實(shí)現(xiàn)更好的邊緣智能。選擇在云端進(jìn)行數(shù)據(jù)融合則是因?yàn)樵贫说拇鎯?chǔ)量大，更適合進(jìn)行數(shù)據(jù)融合，與傳統(tǒng)地圖相比，高精地圖的圖層數(shù)量更多，圖層內(nèi)容更加精細(xì)，因此它的數(shù)據(jù)量也是驚人的多，因此，在云端進(jìn)行數(shù)據(jù)的存儲(chǔ)和融合是最優(yōu)的選擇。

　　(5)定位

　　NavNet定位是通過(guò)車體的自定位，得到自動(dòng)駕駛車輛的大致位置，再通過(guò)NavNet實(shí)時(shí)建圖產(chǎn)生的結(jié)果，在附近區(qū)域內(nèi)將局部地圖信息與全局高精度地圖做數(shù)據(jù)匹配，從而得到自動(dòng)駕駛車輛當(dāng)前的高精度位置信息及其周邊環(huán)境的語(yǔ)義信息，得到相似性最高的匹配結(jié)果即視為當(dāng)前車輛的位置信息。

　　NavNet解決方案中，車體自定位主要依賴于GPS+底盤輪速計(jì)+其他傳感器的方式實(shí)現(xiàn)：首先，利用GPS定位系統(tǒng)，可首先確定自動(dòng)駕駛車輛當(dāng)前處在哪條道路上(該偏差一般在5~10米);隨后，根據(jù)攝像頭建圖的語(yǔ)義信息，檢測(cè)的車道線(虛、實(shí)線)及道路邊緣(路沿或護(hù)欄)，并與高精地圖提供的車道線及道路邊緣做比對(duì)，進(jìn)一步修正無(wú)人車的橫向定位;最后，根據(jù)建圖的路面標(biāo)志、交通標(biāo)志牌、紅綠燈等環(huán)境語(yǔ)義信息，與高精地圖提供的要素做匹配，實(shí)現(xiàn)無(wú)人車縱向定位的修正，確定無(wú)人車當(dāng)前的位置信息及周邊環(huán)境，這一過(guò)程也稱為語(yǔ)義定位技術(shù)。

圖4 車體自定位技術(shù)

　　而NavNet同時(shí)采用語(yǔ)義定位技術(shù)，輔助車輛實(shí)現(xiàn)更加準(zhǔn)確，精度更高的定位。語(yǔ)義定位技術(shù)主要依靠攝像頭采集當(dāng)前路況信息，將接受到的圖像信息進(jìn)行數(shù)學(xué)轉(zhuǎn)換，形成3D結(jié)構(gòu)的道路信息模型，將道路模型生成圖像視角的點(diǎn)云信息模型，與此同時(shí)，采集的圖像信息也會(huì)生成直觀的道路信息模型，道路信息模型與點(diǎn)云信息模型做匹配，根據(jù)匹配結(jié)果確定是否當(dāng)前局部信息與全局信息相吻合，從而確定當(dāng)前的位置信息，實(shí)現(xiàn)無(wú)人車的高精度定位。語(yǔ)義定位與車體自定位相輔相成，根據(jù)車體自定位的范圍可以減少語(yǔ)義定位的范圍，節(jié)約算力，使得定位更高效，更準(zhǔn)確。

圖5 語(yǔ)義定位技術(shù)

　　(6)生成

　　NavNet中建圖與定位后的數(shù)據(jù)及結(jié)果會(huì)通過(guò)加密芯片的加密再輸出，最終將加密數(shù)據(jù)安全的傳送到云端數(shù)據(jù)庫(kù)中，圖商可以在云端進(jìn)行解碼;眾包產(chǎn)生的局部地圖信息的更新將會(huì)與圖商的全局地圖進(jìn)行匹配與融合，最終完成局部地圖與全局地圖的更新和再加工，實(shí)現(xiàn)自動(dòng)駕駛精確定位和導(dǎo)航的需求。

　　當(dāng)然，在數(shù)據(jù)的云端，數(shù)據(jù)的優(yōu)化融合、質(zhì)量驗(yàn)證等處理和管理都會(huì)做到安全保密和準(zhǔn)確無(wú)偏。作為國(guó)內(nèi)首款眾包高精度地圖建圖與更新的產(chǎn)品，NavNet最重視的就是地圖數(shù)據(jù)安全。NavNet利用邊緣計(jì)算技術(shù)，將局部地圖的創(chuàng)建放置在邊緣處完成，而最終建好的局部地圖與相應(yīng)的語(yǔ)義信息，都會(huì)經(jīng)過(guò)加密芯片的加密，之后傳輸?shù)皆贫朔��?wù)器當(dāng)中。

4 實(shí)現(xiàn)結(jié)果

　　利用深度學(xué)習(xí)與SLAM技術(shù)，NavNet最終實(shí)現(xiàn)高精度地圖的建立，用戶可以只利用一款產(chǎn)品即可實(shí)現(xiàn)自動(dòng)駕駛高精度地圖的創(chuàng)建與實(shí)時(shí)更新。最終，高精度地圖的呈現(xiàn)形式如圖6所示，比點(diǎn)云更簡(jiǎn)單的3D結(jié)構(gòu)模型，助力高精度地圖的創(chuàng)建與更新。

圖6 NavNet建圖結(jié)果

5 總結(jié)與展望

　　邊緣計(jì)算是真正能夠達(dá)到實(shí)時(shí)處理的技術(shù)方法，其最大的優(yōu)勢(shì)是可靠性高、安全及隱私性高、傳輸成本低、實(shí)時(shí)性好、高效協(xié)同這五個(gè)方面。NavNet就很好地發(fā)揮并利用了邊緣計(jì)算的這些優(yōu)點(diǎn)，做到了以下幾點(diǎn)：

　　安全：端上建圖，端上處理，端上加密，不受網(wǎng)絡(luò)攻擊等問(wèn)題的困擾;

　　高效：征程芯片數(shù)據(jù)處理能力強(qiáng)，數(shù)據(jù)的處理效率高;

　　快捷：邊緣計(jì)算為地圖賦能，實(shí)時(shí)性高，低時(shí)延，不受網(wǎng)絡(luò)傳輸?shù)睦�擾;

　　方便：車規(guī)級(jí)產(chǎn)品，易于攜帶存放，眾包方式更新產(chǎn)品及其性能。

　　地平線憑借世界領(lǐng)先的視覺(jué)環(huán)境感知算法，與專屬定制AI芯片相結(jié)合，通過(guò)軟硬件協(xié)同優(yōu)化設(shè)計(jì)，針對(duì)中國(guó)交通特色進(jìn)行場(chǎng)景化研發(fā)，最終能同時(shí)處理地上地下、復(fù)雜路況的場(chǎng)景，并進(jìn)行顆粒度、結(jié)構(gòu)化的語(yǔ)義感知，為汽車打造自動(dòng)駕駛大腦。

文章轉(zhuǎn)載，如有侵權(quán)聯(lián)系刪除，謝謝合作。