迎賓機器人的大腦需要具備的能力：實時交互 多模態感知

目前迎賓機器人“大腦”技術以大模型為核心，為迎賓機器人提供 任務級交互、環境感知、任務規劃和決策控制能力。在任務交互方面， 基于大模型的語言/視覺運行處理方式可為迎賓機器人提供任務級交 互入口。在環境感知方面，大模型通過對多模態信息的統一處理與靈 活轉換，推動多模態感知泛化。在任務規劃方面，大模型潛在的真實 世界知識學習能力、強大的思考、推理和生成能力為“大腦”的任務規 劃提供基礎。在決策控制方面，迎賓機器人基于大模型技術并優化獎 勵策略，通過整合環境、運動等多樣化信息，實現決策控制功能。

從功能需求角度出發，迎賓機器人的“大腦”需要具備以下能力：

1 實時交互能力

迎賓機器人需要具備與人類實時的任務級交互能力，快速理解人類通過語言、手勢等方式給出的指令，并有效執行。
當出現指令理解不清或任務執行完畢后，可以與人類進行進一步的多 輪交互。

2 多模態感知能力

為了在復雜環境中做出正確決策，迎賓機器人需要能夠通過視覺、聽覺、觸覺等多種感官獲取信息。大模型需要整 合這些多模態感知數據，以實現對環境的多面理解。

3 自主可靠決策能力

迎賓機器人在執行任務時，需要能夠理解任 務的復雜性，并將其分解為一系列可執行的子任務。這要求大模型具 備強大的語言理解能力和對物理世界的深刻理解。例如，機器人可能 需要理解“清理房間”這一任務，包括識別哪些物品需要移動，哪些需 要丟棄。

4 涌現和泛化能力

除了在訓練數據上的表現，大模型還應具備超 出訓練范圍的執行能力。具體表現為迎賓機器人能夠在未見過的新環 境中執行任務，適應新的、未知的情況。面對新挑戰時，展現出創新 性的解決方案。