三維感知模型與多模態(tài)信息融合[2024年機器人十大前沿技術]

1 三維感知模型與多模態(tài)信息融合將來自不同傳感器和數(shù)據(jù)源的多種信息進行整合，可更多面、準確地理解環(huán)境的特征。融合信息涵蓋圖像、點云、聲音等不同類型的數(shù)據(jù)。

2 多模態(tài)信息融合可克服單一傳感器存在的局限性，提供更多面、魯棒的信息，有助于在機器人導航、人機交互、環(huán)境監(jiān)測、自動駕駛等取得更好性能；同時，面臨傳感器不一致性、數(shù)據(jù)同步、信息不完整等挑戰(zhàn)。

3 三維感知模型與多模態(tài)信息融合與具身智能、垂直大模型的協(xié)同和融合，將進一步擴大機器人應用范圍。

4 核心技術包括：結(jié)構(gòu)光和立體視覺、三維物體檢測和分割、多模態(tài)特征提取、融合模型設計等。