“DriveGPT雪湖·海若將重塑汽車智能化技術(shù)路線,面向全行業(yè)開放。毫末有信心在中國第一個進入自動駕駛3.0時代。”在4月11日舉行的第八屆HAOMO AI DAY上,毫末智行CEO顧維灝在《DriveGPT雪湖·海若驅(qū)動自動駕駛3.0時代加速到來》的演講中,重磅發(fā)布自動駕駛生成式大模型DriveGPT,中文名“雪湖·海若”,并分享了圍繞大模型的應用能力,以及介紹了中國首個自動駕駛數(shù)據(jù)智能體系MANA和中國自動駕駛行業(yè)最大智算中心MANA OASIS雪湖·綠洲最新升級。同時,顧維灝還宣布雪湖·海若智能駕駛能力首發(fā)車型將落地在即將量產(chǎn)上市的新摩卡DHT-PHEV上。
(毫末智行CEO顧維灝)
重塑汽車智能化技術(shù)路線,毫末發(fā)布自動駕駛生成式大模型DriveGPT雪湖·海若
當下,AI大模型的落地應用再度引發(fā)廣泛關(guān)注,而不同行業(yè)領(lǐng)域的從業(yè)者,也在積極探索面向各自細分行業(yè)行之有效的AI大模型。在AI自動駕駛領(lǐng)域,毫末是大模型研發(fā)和應用的先行者。AI DAY現(xiàn)場,顧維灝重磅發(fā)布自動駕駛生成式大模型DriveGPT,中文名雪湖·海若。
(毫末自動駕駛生成式大模型毫末DriveGPT,中文名“雪湖·海若”)
“海若”出自《莊子·秋水》?！肚f子·秋水》中有兩個神話人物河伯和北海若。河伯請教北海若,何謂大小之分,北海若教導,不因天地而覺大,不因毫末而覺小。因此,毫末把DriveGPT中文名命名為“雪湖·海若”,寓意著智慧包容、海納百川,為行業(yè)發(fā)展貢獻力量。
毫末DriveGPT雪湖·海若通過引入駕駛數(shù)據(jù)建立RLHF(人類反饋強化學習)技術(shù),對自動駕駛認知決策模型進行持續(xù)優(yōu)化。DriveGPT雪湖·海若的目標是實現(xiàn)端到端自動駕駛,現(xiàn)階段主要用于解決自動駕駛的認知決策問題,后續(xù)持續(xù)會將毫末多個大模型的能力整合到DriveGPT雪湖·海若。目前,毫末DriveGPT雪湖·海若實現(xiàn)了模型架構(gòu)與參數(shù)規(guī)模的升級,參數(shù)規(guī)模達到1200億,預訓練階段引入4000萬公里量產(chǎn)車駕駛數(shù)據(jù),RLHF階段引入 5萬段人工精選的困難場景接管Clips。
DriveGPT雪湖·海若的底層模型采用GPT(Generative Pre-trained Transformer)生成式預訓練大模型,與ChatGPT使用自然語言進行輸入與輸出不同,DriveGPT雪湖·海若面向自動駕駛場景,輸入是感知融合后的文本序列,輸出是自動駕駛場景文本序列,即將自動駕駛場景Token化,形成“Drive Language”,最終完成自車的決策規(guī)控、障礙物預測以及決策邏輯鏈的輸出等任務(wù)。
(DriveGPT雪湖·海若的技術(shù)原理介紹)
顧維灝對DriveGPT雪湖·海若的實現(xiàn)過程進行了詳細的解釋。首先在預訓練階段通過引入量產(chǎn)駕駛數(shù)據(jù),訓練初始模型,再通過引入駕駛接管Clips數(shù)據(jù)完成反饋模型(Reward Model)的訓練,然后再通過強化學習的方式,使用反饋模型去不斷優(yōu)化迭代初始模型,形成對自動駕駛認知決策模型的持續(xù)優(yōu)化。同時,DriveGPT雪湖·海若還會根據(jù)輸入端的提示語以及毫末CSS自動駕駛場景庫的決策樣本去訓練模型,讓模型學習推理關(guān)系,從而將完整駕駛策略拆分為自動駕駛場景的動態(tài)識別過程,完成可理解、可解釋的推理邏輯鏈生成。
(DriveGPT雪湖·海若的實現(xiàn)過程)
顧維灝還在現(xiàn)場宣布雪湖·海若智能駕駛能力首發(fā)車型是即將量產(chǎn)上市的新摩卡DHT-PHEV。他表示,雪湖·海若可以逐步應用到城市NOH、捷徑推薦、智能陪練以及脫困場景中。有了雪湖·海若的加持,車輛行駛會更安全,動作更人性、更絲滑,并有合理的邏輯告訴駕駛者,車輛為何選擇這樣的決策動作。對于普通用戶來說,車輛越來越像老司機,用戶對智能產(chǎn)品的信任感會更強,理解到車輛的行為都是可預期、可理解的。
(毫末雪湖·海若智能駕駛能力首發(fā)車型:新摩卡DHT-PHEV)
目前,毫末DriveGPT雪湖·海若已正式對行業(yè)開放,開啟對限量首批客戶的合作,北京交通大學計算機與信息技術(shù)學院、高通、火山引擎、華為云、京東科技、四維圖新、魏牌新能源、英特爾等已經(jīng)加人。DriveGPT雪湖·海若對行業(yè)提供開放服務(wù),將促進自動駕駛的從業(yè)者和研究機構(gòu)快速構(gòu)建基礎(chǔ)能力,釋放創(chuàng)新。
(毫末自動駕駛生成式大模型雪湖·海若對行業(yè)開放)
當前,毫末在使用數(shù)據(jù)過程中,逐步建立起一套基于4D Clips駕駛場景識別方案,具備極高性價比。在行業(yè)上,給出正確的標注結(jié)果,一張圖片需要約5元;如果使用DriveGPT雪湖·海若的場景識別服務(wù),一張圖片的價格將下降到0.5元。單幀圖片整體標注成本僅相當于行業(yè)的1/10。接下來,毫末會將圖像幀及4D Clips自場景識別服務(wù)逐步向行業(yè)開放使用,這將大幅降低行業(yè)使用數(shù)據(jù)的成本,提高數(shù)據(jù)質(zhì)量,從而加速自動駕駛技術(shù)的快速發(fā)展。
(雪湖·海若場景識別能力對外開放,價格為行業(yè)當前水平的十分之一)
MANAOASIS升級三大能力,為DriveGPT雪湖·海若提供算力支持
云端算力對于大模型平穩(wěn)落地運行不可或缺。此前,毫末已經(jīng)構(gòu)建了中國自動駕駛行業(yè)最大的智算中心MANA OASIS(雪湖·綠洲)?；顒由?顧維灝介紹,在DriveGPT雪湖·海若的算力支持方面, MANA OASIS從算力優(yōu)化等層面升級了三大能力。
(MANA OASIS雪湖·綠洲)
首先,毫末與火山引擎全新搭建了“全套大模型訓練保障框架”,實現(xiàn)了異常任務(wù)分鐘級捕獲和恢復能力,可以保證千卡任務(wù)連續(xù)訓練數(shù)個月沒有任何非正常中斷,有效保證了大模型訓練穩(wěn)定性。
其次,將“增量式學習”推廣到大模型訓練,構(gòu)建 DriveGPT雪湖·海若大模型學習系統(tǒng)。毫末研發(fā)出以真實數(shù)據(jù)回傳為核心的增量學習技術(shù),并將其推廣到了大模型訓練,構(gòu)建了一個大模型持續(xù)學習系統(tǒng),自主研發(fā)任務(wù)級彈性伸縮調(diào)度器,分鐘級調(diào)度資源,集群計算資源利用率達到95%。
最后,優(yōu)化關(guān)鍵算子,以提升數(shù)據(jù)吞吐量,提升 DriveGPT雪湖·海若大模型訓練效率。MANA OASIS通過引入火山引擎提供的Lego算子庫實現(xiàn)算子融合,端到端吞吐提升84%,滿足大模型訓練的效率要求。
MANA視覺感知能力持續(xù)提升,MANA架構(gòu)全線升級開放賦能
毫末打造的中國首個自動駕駛數(shù)據(jù)智能體系MANA,在經(jīng)過一年多的應用迭代后,本次AI DAY也迎來了全面的升級。顧維灝介紹,首先,感知和認知相關(guān)大模型能力統(tǒng)一整合到DriveGPT雪湖·海若;其次,計算基礎(chǔ)服務(wù)針對大模型訓練在參數(shù)規(guī)模、穩(wěn)定性和效率方面做了專項優(yōu)化,并集成到OASIS當中;第三,增加了使用NeRF技術(shù)的數(shù)據(jù)合成服務(wù),降低Corner Case數(shù)據(jù)的獲取成本;最后,還針對多種芯片和多種車型的快速交付難題,優(yōu)化了異構(gòu)部署工具和車型適配工具。
(中國首個自動駕駛數(shù)據(jù)智能體系MANA全面升級,開放賦能)
此外,MANA的視覺感知能力持續(xù)提升,一方面可同時學習三維空間結(jié)構(gòu)和圖片紋理,并將純視覺測距精度超過了超聲波雷達,也使得BEV方案也擁有了更強的通用性和適配性;另一方面,可實現(xiàn)單趟和多趟純視覺NeRF三維重建,道路場景更逼真,肉眼幾乎看不出差異。通過NeRF進行場景重建后,可以編輯合成真實環(huán)境難以收集到的CornerCase。在原有的全局視角修改、添加光照/天氣效果的基礎(chǔ)上,新增合成虛擬動態(tài)物體的能力,可以在原有設(shè)定的運動軌跡上,合成各種Hard Case,模擬城市復雜交通環(huán)境,用更低成本測試提升城市NOH能力邊界,更好提升應對城市復雜交通環(huán)境。
(MANA視覺感知能力進展)
值得一提的是,面對目前行業(yè)里最難的視覺任務(wù)之一——單目視覺測量,繼特斯拉后,毫末也在中國率先開始驗證能否使用魚眼相機代替超聲波雷達進行測距,以滿足泊車要求。毫末把視覺BEV感知框架引入到了車端魚眼相機,做到了在15米范圍內(nèi)達到30cm的測量精度,2米內(nèi)精度高于10cm的視覺精度效果。泊車場景使用純視覺測距來取代超聲波雷達,將進一步降低整體智駕成本。
(毫末純視覺測距精度可以使用魚眼相機取代超聲波雷達)
在演講最后,顧維灝表達了毫末人的技術(shù)信仰,“毫末成立到現(xiàn)在接近三年半時間……毫末對技術(shù)的堅定投入始終未變。毫末人始終熱愛技術(shù),枕戈待旦,全力沖刺。再難,都不會放棄。所愛隔山海,山海皆可平。技術(shù)必將改變世界!”
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
