機器人的大腦在手眼腦協(xié)同中發(fā)揮怎么樣的作用

人形機器人需要具備G泛化能力與思維鏈能力。與工業(yè)機器人不同,人形機器人需要與復雜世界進行互動,因此決策控制系統(tǒng)需 要G泛化性。在現(xiàn)實世界中,機器人難以一次性完成整個復雜動作,需要將復雜動作拆 解成多個簡單步驟完成。而由于現(xiàn)實世界遠比機器人訓練場景復雜,在任務過程中會受 到各種干擾,環(huán)境也會不斷變化,因此具身智能機器人需要較強的思維鏈能力。早期人形機器人大腦主要通過集成多個“小模型”結合人工介入實現(xiàn),但隨著GPT-40等大模 型的出現(xiàn),機器人對文本、視覺、語言等多模態(tài)信息的理解和轉化顯著提升,致使人形機器人大腦的泛化能力與思維能力亦有大幅增加。

目前機器人大腦按照技術方案劃分為VLM(大腦+小腦)、VLA(端到端)兩種技術路 徑。大小腦將復雜的任務分解為G層規(guī)劃與底層執(zhí)行兩個層J,分為兩個主要模塊:

1) G層任務規(guī)劃器(慢腦)負責語義理解、任務分解和長程推理,生成任務步驟。

2)底層 動作控制器(快腦)執(zhí)行具體的動作并實時進行控制,將G層指令轉為關節(jié)角度、軌跡 等低維度控制信號,具備G頻響應等特點， 田于端到端指令生成速度慢， 生成結果簡單,短期仍然是依靠大腦+小腦系統(tǒng)分別完成決策與控制任務。

在“手眼腦”協(xié)同中,大腦的作用主要是針對當前語義、文字的理解識別出任務目標, 并結合輸入的圖像信息,在環(huán)境中識別出操作對象,觀察特征。通過對視覺、文字的整合理解,大腦將做出合理的指令任務推導,并生成小腦的執(zhí)行指令,之后再是由小腦執(zhí) 行手眼標定、手臂+靈巧手的運動軌跡、位姿抓取等動作。因此人形機器人大腦本質上 是一個干億J別參數(shù)量的多模態(tài)大模型,人形機器人感知和決策能力取決于多模態(tài)大模 型的能力。

目前人形機器人大腦仍然有優(yōu)化空間。對人形機器人大小腦通用化實現(xiàn)路徑,目前智元機器人針對具身智能技術演進路線,進行G1至G5的劃分,目前國內外產(chǎn)業(yè)進展處于 G2-G3的水平。

G1:傳統(tǒng)自動化的起點,幾乎不具備泛化能力;

G2:通過提煉可復用原子技能,并以相對通用的方式來實現(xiàn),結合任務編排大模 型,可以具備對一大類相似場景的泛化;

G3:走向數(shù)據(jù)驅動端到端,進一步形成一套通用訓練框架,學習新技能通過采集 相應數(shù)據(jù)就能實現(xiàn)更通用跨類別的泛化能力。

G4:隨著數(shù)據(jù)量的進一步增加,G4將進一步演化為一個通用的操作大模型,結合 認知推理規(guī)劃大模型,來實現(xiàn)端到端通用操作。

G5:為長期發(fā)展目標,Z終形成一個真正的感知、決策、執(zhí)行的端到端大模型。