OMEGA LAB · 香港科技大学(广州)

OMEGA Lab

Omnimodal Multi-Embodiment
Generalist Agents

我们的研究把多模态感知、意图与运动建模,以及物理系统和数字工作流中的自主决策联系在一起。

了解研究方向
OMEGA 研究视角

全模态

模态与表征

多具身形态

陆、水、空载具与多构型机器人

通用智能体

世界模型、推理与决策

  1. 感知
  2. 建模
  3. 预测
  4. 推理
  5. 规划
  6. 行动

Omnimodal Multi-Embodiment Generalist Agents全模态 · 多具身形态 · 通用智能体

可同时选择多个模态并高亮对应轨道,再次选择即可取消。沿轨道拖动调整位置,松开后继续绕行,也可使用方向键调整;Escape 返回介绍。

全模态 · 多具身形态 · 通用智能体

O、ME 和 GA 三个区段的内容淡出,字母汇聚拼成 OMEGA,再变成实验室的希腊字母 Ω 标志,随后展开原子核和轨道。运行一段时间后还原为三个区段并停在那里,按“播放”可再看一遍。视觉、语言、几何、触觉、声音、射频、本体感知、意图和轨迹九类模态与表征沿三条同心细环围绕中央原子核运行,每条环上三个模态错开分布,其中视觉、语言、几何和触觉更突出。原子核内的十种载体围绕中央 Ω 呈环形排布:四足机器人、无人小车、无人车、无人船、无人机;灵巧手、机械臂、双臂、轮式双臂、人形机器人。轨道与标签转到远侧时略微缩小、变淡,形成空间深度。模态支持独立多选;拖动时暂停该模态,松开继续绕行。通用智能体区段的感知、建模、预测、推理、规划、行动六个环节形成闭环,中央呈现通过智能体与工具调用相连的数字任务和物理任务。智能体通过软件工具及控制接口参与数字工作流,也能调用导航等物理能力;向外的调用与返回的结果或环境观测形成反馈闭环。

课题组近况

动态与报道

我们的研究

研究方向

我们研究智能体如何感知、建模、推理和行动,涵盖机器人策略、世界模型、工具使用、多智能体工作流以及具身系统的安全。

了解研究方向

多模态感知

表征物理世界

我们研究视觉感知、三维几何、多模态融合与场景表征,结合视觉、几何及其他传感信息来理解物体及其所处的环境。

演示 · UniT研究与学术成果

机器人学习与操作

学习行动策略

我们研发把推理与操作连接起来的视觉—语言—动作模型,研究运动生成、策略改进和高效推理。

研究与学术成果

世界模型与预测

建模世界如何变化

我们研究预测式世界模型和未来运动,关注行为、驾驶风格和物理动力学如何为规划提供依据。

研究与学术成果

视觉语言导航

让语言落到空间里

我们研究智能体如何在物理环境中遵循语言指令,把空间感知、运动预测和规划结合起来,用于地面和空中导航。

研究与学术成果

意图与决策

理解行为与决策

我们对意图和人类驾驶行为建模,考察在真实世界的约束下,视觉证据和情境如何影响自主决策。

研究与学术成果

多智能体系统

协调智能体与工具

我们研究智能体如何使用专用模型和工具、共享信息并协同完成任务,既包括用于分析和生成的数字工作流,也包括空地协同系统。

研究与学术成果

具身智能安全

检验并加固具身智能体

我们探究感知、规划和检测模型在后门、对抗和分布外威胁下如何失效,设计隐蔽而有效的攻击来暴露漏洞,并研究缓解策略,提升自动驾驶和多模态系统的鲁棒性。

研究与学术成果

项目与资源

精选项目

了解精选的研究工作、公开稿件、演示和已开放的资源。

查看全部 31 个项目

Commit While Futures Agree

预印本

首次公开:课题组主导研究

第一作者:Yuyan Li

一条面向动作片段式机器人策略的推理阶段规则:预测的未来一致时继续执行当前动作片段,出现分歧时重新规划。论文报告在其仿真基准和 AgiBot G2 操作实验中失败次数有所减少。

项目论文
LightVLN 作者提供的封面:UE/AirSim 校园仿真、控制虚拟无人机的机载计算硬件在环评估,以及紧凑记忆与局部聚合。

LightVLN

预印本

首次公开:课题组主导研究

第一作者:Yiming Zhao

LightVLN 是一个轻量化空中视觉语言导航框架,结合紧凑的语言骨干、单 token 历史记忆,以及由历史与指令共同引导的局部聚合,在保持有竞争力的导航性能的同时降低推理开销,并支持在 Jetson Orin NX 上开展基于机载计算的实时闭环硬件在环(HIL)评估。在该 HIL 设置中,机载计算机控制的是 AirSim 中的虚拟无人机。

项目论文

成员

我们的团队

认识课题组负责人,浏览成员名录。

查看全部成员
郑心湖

Xinhu Zheng 郑心湖

助理教授

香港科技大学(广州)

智能交通 · 物联网

研究方向为自动驾驶、网联智能与具身智能,带领 OMEGA Lab(Omnimodal Multi-Embodiment Generalist Agents)开展研究。

致有意加入的同学与研究人员

加入 OMEGA 课题组

带着你对多模态智能和智能体的问题来。这里可以了解博士、硕士、博士后和研究助理的机会,学校提供的支持,以及如何联系我们。

机会与申请

联系我们

科研
合作与交流

科研合作、招生咨询和学术交流,请联系 Xinhu Zheng。

xinhuzheng@hkust-gz.edu.cn

办公室 W2 L5 509
香港科技大学(广州)

学校教师主页