OMEGA LAB / 研究

研究方向

我们研究智能体如何感知、建模、推理和行动,涵盖机器人策略、世界模型、工具使用、多智能体工作流以及具身系统的安全。

演示 · UniT

多模态感知

表征物理世界

我们研究视觉感知、三维几何、多模态融合与场景表征,结合视觉、几何及其他传感信息来理解物体及其所处的环境。

UniT 能从任意数量的视角恢复公制尺度的几何,这里展示的是对 HKUST(GZ) 一处室内场景的重建。项目主页有更多重建结果、实验结果和在线演示。

了解 UniT

机器人学习与操作

学习行动策略

我们研发把推理与操作连接起来的视觉—语言—动作模型,研究运动生成、策略改进和高效推理。

世界模型与预测

建模世界如何变化

我们研究预测式世界模型和未来运动,关注行为、驾驶风格和物理动力学如何为规划提供依据。

视觉语言导航

让语言落到空间里

我们研究智能体如何在物理环境中遵循语言指令,把空间感知、运动预测和规划结合起来,用于地面和空中导航。

意图与决策

理解行为与决策

我们对意图和人类驾驶行为建模,考察在真实世界的约束下,视觉证据和情境如何影响自主决策。

多智能体系统

协调智能体与工具

我们研究智能体如何使用专用模型和工具、共享信息并协同完成任务,既包括用于分析和生成的数字工作流,也包括空地协同系统。

具身智能安全

检验并加固具身智能体

我们探究感知、规划和检测模型在后门、对抗和分布外威胁下如何失效,设计隐蔽而有效的攻击来暴露漏洞,并研究缓解策略,提升自动驾驶和多模态系统的鲁棒性。

研究平台

面向具身智能研究的无人驾驶车辆、无人机、机器人操作平台、人形机器人、遥操作设备与 AI 算力。

查看研究平台