自進(jìn)入智能汽車時(shí)代以來(lái)，英偉達(dá)在全球汽車產(chǎn)業(yè)的地位就變得無(wú)可撼動(dòng)。

　　　　　　本周在法國(guó)巴黎舉辦的GTC Paris大會(huì)上， NVIDIA 發(fā)布全新的 AI 模型和開(kāi)發(fā)者工具，推動(dòng)汽車行業(yè)生態(tài)系統(tǒng)發(fā)展。同時(shí)，NVIDIA還發(fā)布了全棧式輔助駕駛軟件。

　　　　　　全球交通運(yùn)輸行業(yè)正借助 NVIDIA AI、輔助駕駛軟件和加速計(jì)算打造未來(lái) AI 定義的汽車。

　　　　　　輔助駕駛堆棧正在從許多不同的模型演變?yōu)榻y(tǒng)一的端到端架構(gòu)，端到端架構(gòu)可直接根據(jù)傳感器數(shù)據(jù)執(zhí)行駕駛操作。這種向使用大模型的過(guò)渡大大增加了對(duì)用于訓(xùn)練、測(cè)試和驗(yàn)證的高質(zhì)量、基于物理學(xué)傳感器數(shù)據(jù)的需求。

　　　　　　為加速下一代輔助駕駛架構(gòu)的開(kāi)發(fā)，NVIDIA 發(fā)布了 NVIDIA Cosmos Predict-2。這是一種全新的世界基礎(chǔ)模型，具有更強(qiáng)的未來(lái)世界狀態(tài)預(yù)測(cè)能力，可生成高質(zhì)量的合成數(shù)據(jù)，以及新的開(kāi)發(fā)者工具。

　　　　　　Cosmos Predict-2 是 NVIDIA Cosmos 平臺(tái)的一部分，該平臺(tái)為開(kāi)發(fā)者提供了應(yīng)對(duì)端到端輔助駕駛開(kāi)發(fā)中最復(fù)雜挑戰(zhàn)的技術(shù)。

　　　　　　Cosmos Predict-1 可通過(guò)文本、圖像和視頻提示預(yù)測(cè)并生成未來(lái)世界狀態(tài)。在 Cosmos Predict-1 的基礎(chǔ)上，Cosmos Predict-2 可更好地理解文本和視覺(jué)輸入的上下文，從而減少幻覺(jué)，使生成的視頻細(xì)節(jié)更豐富。

　　　　　　通過(guò)使用最新的優(yōu)化技術(shù)，Cosmos Predict-2 顯著加快了 NVIDIA DGX Cloud 上合成數(shù)據(jù)的生成速度。

　　　　　　通過(guò)在輔助駕駛數(shù)據(jù)集上對(duì) Cosmos 模型進(jìn)行后訓(xùn)練，開(kāi)發(fā)者可以生成與現(xiàn)有物理環(huán)境與車輛軌跡高度匹配的視頻，還能從單視角視頻（如行車記錄儀片段）生成多視角視頻。這種將廣泛可用的行車記錄儀數(shù)據(jù)轉(zhuǎn)化為多攝像頭數(shù)據(jù)的能力，為開(kāi)發(fā)者提供了全新的輔助駕駛訓(xùn)練數(shù)據(jù)庫(kù)。這些多視角視頻數(shù)據(jù)還可用于替換因傳感器損壞或遮擋而缺失的真實(shí)攝像頭數(shù)據(jù)。

　　　　　　除 Cosmos Predict-2 外，NVIDIA 還以 NVIDIA NIM 微服務(wù)預(yù)覽版的方式發(fā)布了Cosmos Transfer，以便開(kāi)發(fā)者在數(shù)據(jù)中心 GPU 上部署。

　　　　　　Cosmos Transfer NIM 微服務(wù)預(yù)覽版增強(qiáng)了數(shù)據(jù)集，并使用 NVIDIA Omniverse 平臺(tái)的結(jié)構(gòu)化輸入或地面實(shí)況仿真來(lái)生成逼真的視頻。另外，NuRec Fixer 模型有助于修復(fù)和填補(bǔ)重建輔助駕駛數(shù)據(jù)的空白。

　　　　　　全球領(lǐng)先的開(kāi)源輔助駕駛模擬平臺(tái) CARLA，現(xiàn)已將 Cosmos Transfer 和 NVIDIA NuRec 集成到其最新版本中，后者是一套用于神經(jīng)重建和渲染的 API 工具集。

　　　　　　開(kāi)發(fā)者可以使用 NVIDIA 物理 AI 數(shù)據(jù)集上提供的開(kāi)源數(shù)據(jù)試用該工作流。最新發(fā)布的數(shù)據(jù)集包括由 Cosmos 生成的 40,000 個(gè)片段，以及用于神經(jīng)渲染的樣本重建場(chǎng)景。借助最新版本的 CARLA，開(kāi)發(fā)者可以創(chuàng)建新的行駛軌跡、重新定位傳感器并完善模擬駕駛過(guò)程。

　　　　　　這種可擴(kuò)展的數(shù)據(jù)生成工作流為端到端輔助駕駛模型架構(gòu)的開(kāi)發(fā)提供了動(dòng)力，最近 NVIDIA Research 團(tuán)隊(duì)連續(xù)第二次獲得 CVPR 大會(huì)輔助駕駛國(guó)際挑戰(zhàn)賽“端到端輔助駕駛”賽道冠軍，就是最佳佐證。

　　　　　　該挑戰(zhàn)賽為研究人員提供了探索應(yīng)對(duì)突發(fā)情況方法的新機(jī)會(huì)，除使用真實(shí)世界人類駕駛數(shù)據(jù)之外，加速開(kāi)發(fā)更智能的汽車。

　　　　　　除了發(fā)布全新的 AI 模型和開(kāi)發(fā)者工具，NVIDIA 還宣布 NVIDIA DRIVE 全棧式輔助駕駛軟件平臺(tái)現(xiàn)已全面投產(chǎn)。該平臺(tái)與 NVIDIA 加速計(jì)算技術(shù)相結(jié)合，為汽車行業(yè)提供了 AI 驅(qū)動(dòng)的移動(dòng)出行堅(jiān)實(shí)基礎(chǔ)。

　　　　　　NVIDIA DRIVE 的模塊化靈活方法使客戶能夠根據(jù)其具體需求進(jìn)行擴(kuò)展，無(wú)論是采用整個(gè)堆棧還是子集。NVIDIA 強(qiáng)大且通過(guò)安全認(rèn)證的輔助駕駛軟件架構(gòu)支持實(shí)時(shí)傳感器融合，并可通過(guò)無(wú)線更新實(shí)現(xiàn)持續(xù)改進(jìn)。

　　　　　　隨著技術(shù)和法規(guī)的發(fā)展，NVIDIA DRIVE 的可擴(kuò)展性允許汽車制造商部署一系列高級(jí)輔助駕駛功能的子集，如可無(wú)縫過(guò)渡到更高級(jí)的 L2++ 級(jí)和 L3 級(jí)汽車的環(huán)視感知、自動(dòng)變道、泊車和主動(dòng)安全。

　　　　　　NVIDIA 的三個(gè)計(jì)算平臺(tái)方案增強(qiáng)了 NVIDIA 的全棧式端到端輔助駕駛軟件，該方案涵蓋整個(gè)智能汽車開(kāi)發(fā)工作流，旨在應(yīng)對(duì)與大規(guī)模安全部署輔助駕駛相關(guān)的挑戰(zhàn)。

　　　　　　這三個(gè)計(jì)算平臺(tái)方案包括：用于訓(xùn)練 AI 模型和開(kāi)發(fā)輔助駕駛軟件的 NVIDIA DGX 平臺(tái)和 GPU。運(yùn)行在 NVIDIA OVX 平臺(tái)上的 NVIDIA Omniverse 與 NVIDIA Cosmos 平臺(tái)，用于仿真和合成數(shù)據(jù)生成，能夠測(cè)試和驗(yàn)證輔助駕駛場(chǎng)景，并優(yōu)化智能工廠運(yùn)營(yíng)。NVIDIA DRIVE AGX 車規(guī)級(jí)車載計(jì)算平臺(tái)，用于處理實(shí)時(shí)傳感器數(shù)據(jù)，以實(shí)現(xiàn)安全、高度自動(dòng)化和輔助駕駛功能。

　　　　　　輔助駕駛軟件開(kāi)發(fā)歷來(lái)基于模塊化方法，包括用于感知、預(yù)測(cè)、規(guī)劃和控制等的獨(dú)立組件。這種方法固然有其優(yōu)點(diǎn)，但也會(huì)造成潛在的低效和錯(cuò)誤，從而可能對(duì)大規(guī)模開(kāi)發(fā)帶來(lái)阻礙。

　　　　　　NVIDIA DRIVE 輔助駕駛軟件整合了這些功能，利用在大量人類駕駛行為數(shù)據(jù)集上訓(xùn)練的深度學(xué)習(xí)模型和基礎(chǔ)模型來(lái)處理傳感器數(shù)據(jù)并直接控制車輛行為，從而無(wú)需依賴預(yù)設(shè)規(guī)則或傳統(tǒng)的模塊化流水線。因此，車輛能夠從大量的真實(shí)和合成駕駛行為數(shù)據(jù)中學(xué)習(xí)，以類似人的決策方式安全應(yīng)對(duì)復(fù)雜的環(huán)境和場(chǎng)景。

　　　　　　NVIDIA Omniverse 智能汽車仿真 Blueprint 可用于進(jìn)一步增強(qiáng)開(kāi)發(fā)流水線，從而實(shí)現(xiàn)物理級(jí)精確的傳感器仿真，用于輔助駕駛訓(xùn)練、測(cè)試和驗(yàn)證。通過(guò)將該 Blueprint 與 NVIDIA 的三個(gè)計(jì)算平臺(tái)方案相結(jié)合，開(kāi)發(fā)者可以將數(shù)千英里的人類駕駛里程轉(zhuǎn)化為數(shù)十億英里的虛擬駕駛里程，從而提高數(shù)據(jù)質(zhì)量并實(shí)現(xiàn)高效、可擴(kuò)展且持續(xù)改進(jìn)的智能汽車系統(tǒng)。

　　　　　　安全性是所有智能汽車最重要的組成部分。為增強(qiáng)輔助駕駛系統(tǒng)的運(yùn)行安全性，NVIDIA 今年早些時(shí)候推出了 NVIDIA Halos，這是一個(gè)綜合安全系統(tǒng)，它將 NVIDIA 全套汽車硬件、軟件安全堆棧與專注于汽車安全領(lǐng)域的前沿 AI 研究成果相結(jié)合，有助于確保智能汽車從云端到車端的安全開(kāi)發(fā)和部署。Halos 為仿真、訓(xùn)練和部署的輔助駕駛安全提供了護(hù)欄。

　　　　　　該安全框架的一個(gè)關(guān)鍵組成部分是用于輔助駕駛的經(jīng) ASIL-B/D 級(jí)標(biāo)準(zhǔn)安全認(rèn)證的 NVIDIA DriveOS 操作系統(tǒng)，可為車輛安全運(yùn)營(yíng)提供強(qiáng)大、可靠的基礎(chǔ)，并符合嚴(yán)格的汽車安全標(biāo)準(zhǔn)。

　　　　　　借助 Halos 和智能自適應(yīng)傳感器的支持，NVIDIA 的輔助駕駛堆棧提供了當(dāng)今加速安全智能出行所需的工具、計(jì)算能力與基礎(chǔ) AI 模型。

　　　　　　汽車行業(yè)領(lǐng)軍企業(yè)博世、Easyrain 與 Nuro 率先加入 NVIDIA Halos AI 系統(tǒng)檢測(cè)實(shí)驗(yàn)室，驗(yàn)證其產(chǎn)品與 NVIDIA 技術(shù)的安全集成，提升智能汽車的安全性。今年早些時(shí)候宣布加入實(shí)驗(yàn)室的成員還包括大陸集團(tuán)、Ficosa、OMNIVISION、onsemi 和 Sony Semiconductor Solutions。