天準星智×NVIDIA:三場(chǎng)演講看懂通用機器人落地的“算力+模型”閉環(huán)
4月下旬,天準星智聯(lián)手NVIDIA主辦“機器人技術(shù)實(shí)戰三部曲”網(wǎng)絡(luò )研討會(huì ),三場(chǎng)演講分別圍繞高保真仿真平臺、合成數據閉環(huán)訓練及邊緣端大模型部署與優(yōu)化展開(kāi),吸引了大批開(kāi)發(fā)者與產(chǎn)業(yè)界關(guān)注。作為NVIDIA Elite Partner,天準星智在活動(dòng)中分享了基于Jetson Thor的高算力具身智能平臺及GR00T N模型的端側部署實(shí)踐。本文將對演講中的技術(shù)亮點(diǎn)做系統復盤(pán)。

當前通用機器人落地普遍面臨仿真效率不足、訓練數據匱乏、邊緣部署難度等問(wèn)題,本次研討會(huì )的三場(chǎng)演講精準直擊以上痛點(diǎn),形成“仿真—訓練—部署”的全鏈路技術(shù)輸出,為行業(yè)落地提供有效支撐。
在首場(chǎng)演講中,智元機器人分享了其與NVIDIA深度協(xié)作打造的Genie Sim 3.0平臺,實(shí)現三維重建、視覺(jué)生成與物理引擎的深度融合,平臺可通過(guò)自然語(yǔ)言指令快速生成海量訓練測試場(chǎng)景,打通實(shí)驗室算法到工業(yè)應用的關(guān)鍵鏈路,為后續技術(shù)落地奠定基礎。

在NVIDIA的演講中,NVIDIA聚焦合成數據閉環(huán)實(shí)戰,介紹了利用仿真環(huán)境與真實(shí)數據對GR00T N模型進(jìn)行后訓練的流程,深入挖掘合成數據在sim2real遷移(仿真到真實(shí)場(chǎng)景遷移)及VLA(視覺(jué)-語(yǔ)言-動(dòng)作)模型訓練中的核心價(jià)值,為模型優(yōu)化提供技術(shù)參考。

天準星智則分享了基于NVIDIA Jetson Thor的高算力具身智能平臺方案,構建起應用部署、數據采集與模型優(yōu)化的閉環(huán)系統,實(shí)現機器人自主感知決策與執行,為通用機器人規?;涞靥峁┛蓮椭品侗?,精準破解行業(yè)核心痛點(diǎn)。

“Physical AI”已成為機器人產(chǎn)業(yè)核心演進(jìn)方向。針對具身智能計算平臺面臨的緊湊空間與高性能計算的矛盾、多任務(wù)實(shí)時(shí)調度、規?;慨a(chǎn)可靠性等核心課題,天準星智基于NVIDIA Jetson Thor平臺,推出星辰系列具身大腦域控制器,構建起從模型部署到數據閉環(huán)的完整可量產(chǎn)路徑,與GR00T N模型協(xié)同,形成全棧機器人解決方案,精準突破行業(yè)規?;涞氐年P(guān)鍵瓶頸。
天準星智在研討會(huì )上重點(diǎn)演示了GR00T N基礎大模型在星辰N10上的部署與推理過(guò)程。GR00T N是NVIDIA推出的開(kāi)源視覺(jué)語(yǔ)言動(dòng)作(VLA)模型,能夠理解人類(lèi)語(yǔ)言指令并執行高自由度動(dòng)作,具備多模態(tài)輸入處理和動(dòng)作序列生成能力。當前GR00T N1.6版本在架構上實(shí)現多項關(guān)鍵優(yōu)化,進(jìn)一步提升模型性能:
1)VLM升級:采用NVIDIA內部Cosmos-Reason-2B VLM變體(Eagle-Block2A-2B-v2),支持原生寬高比編碼圖像,無(wú)需填充(Padding),避免視覺(jué)信息扭曲,同時(shí)在通用視覺(jué)語(yǔ)言任務(wù)與具身推理任務(wù)(如下一步動(dòng)作預測)上聯(lián)合訓練,感知能力顯著(zhù)提升;
2)DiT擴容:DiT層數從16層翻倍至32層,提升復雜動(dòng)作軌跡建模能力,可應對疊衣服、插拔GPU導軌等高精度任務(wù);
3)取消適配器:移除N1.5 中VLM 與DiT間的 4 層Transformer適配器,改為預訓練階段解凍VLM頂部 4 層參數協(xié)同訓練,弱化轉接模塊、降低跨模態(tài)特征損耗,強化視覺(jué) - 動(dòng)作原生聯(lián)動(dòng)。
4)動(dòng)作范式調整:引入狀態(tài)相對動(dòng)作塊預測,替代絕對關(guān)節角度或末端執行器位置,減少電機突兀震動(dòng),提升動(dòng)作平滑度,同時(shí)引入閉環(huán)反饋機制,每步動(dòng)作生成都基于當前機器人真實(shí)狀態(tài)修正,解決相對動(dòng)作的誤差累積問(wèn)題。
實(shí)測數據顯示,GR00T N1.6在新引入的訓練數據集上相比N1.5實(shí)現了顯著(zhù)性能提升。

演講還詳細介紹了在具體部署路徑上從環(huán)境配置、Docker鏡像構建到模型轉換和推理的全流程。通過(guò)天準星智N10產(chǎn)品,開(kāi)發(fā)者可以快速完成GR00T N的端側部署,大幅降低了基礎大模型在邊緣設備上的落地門(mén)檻。

針對訓練數據匱乏這一行業(yè)共性痛點(diǎn),天準星智構建了涵蓋模擬仿真與真實(shí)場(chǎng)景聯(lián)動(dòng)的數據采集系統,通過(guò)Isaac Sim搭建仿真環(huán)境,結合真實(shí)機械臂與遙操設備同步采集仿真數據與真實(shí)數據,經(jīng)數據清洗、增廣與泛化處理,實(shí)現真實(shí)數據與合成數據1:9的高效融合,顯著(zhù)提升數據利用效率,降低真實(shí)數據采集的成本與周期。
在模型優(yōu)化方面,天準星智形成了基于混合數據集的Fine-tuning方法論,采用“合成數據集訓練基礎模型+真機數據Fine-tuning”的漸進(jìn)式策略,大幅提升模型在精細化動(dòng)作上的準確性與精度。實(shí)測結果表明,真機數據與合成數據混合訓練的策略,在任務(wù)成功率上優(yōu)于單一數據來(lái)源方案。最終,天準星智通過(guò)離線(xiàn)評估與真機實(shí)測的持續迭代,構建起“從部署到采集、從優(yōu)化到再部署”的完整閉環(huán),讓機器人能夠持續學(xué)習以適應新任務(wù)、不斷提升性能。
天準星智是天準科技(688003)的控股子公司,聚焦智能駕駛與具身智能兩大核心領(lǐng)域,專(zhuān)注提供軟硬一體系統解決方案。作為NVIDIA Elite Partner,公司整合NVIDIA Isaac、Cosmos工具鏈及GR00T大模型,提供面向量產(chǎn)的具身智能算力平臺方案;從星智系列到星辰系列,已實(shí)現數千臺控制器批量交付,以扎實(shí)的技術(shù)積累和實(shí)踐,為具身智能產(chǎn)業(yè)發(fā)展貢獻重要力量。

完整演講視頻現已上線(xiàn)。歡迎點(diǎn)擊“閱讀原文”觀(guān)看回放,了解更多關(guān)于GR00T N部署、數據閉環(huán)優(yōu)化及星辰系列域控制器的技術(shù)細節。