OMEGA LAB · 香港科技大学(广州)
OMEGA Lab
Omnimodal Multi-Embodiment
Generalist Agents
我们的研究把多模态感知、意图与运动建模,以及物理系统和数字工作流中的自主决策联系在一起。
了解研究方向全模态
模态与表征
多具身形态
陆、水、空载具与多构型机器人










通用智能体
世界模型、推理与决策
- 感知
- 建模
- 预测
- 推理
- 规划
- 行动










Omnimodal Multi-Embodiment Generalist Agents全模态 · 多具身形态 · 通用智能体
可同时选择多个模态并高亮对应轨道,再次选择即可取消。沿轨道拖动调整位置,松开后继续绕行,也可使用方向键调整;Escape 返回介绍。
O、ME 和 GA 三个区段的内容淡出,字母汇聚拼成 OMEGA,再变成实验室的希腊字母 Ω 标志,随后展开原子核和轨道。运行一段时间后还原为三个区段并停在那里,按“播放”可再看一遍。视觉、语言、几何、触觉、声音、射频、本体感知、意图和轨迹九类模态与表征沿三条同心细环围绕中央原子核运行,每条环上三个模态错开分布,其中视觉、语言、几何和触觉更突出。原子核内的十种载体围绕中央 Ω 呈环形排布:四足机器人、无人小车、无人车、无人船、无人机;灵巧手、机械臂、双臂、轮式双臂、人形机器人。轨道与标签转到远侧时略微缩小、变淡,形成空间深度。模态支持独立多选;拖动时暂停该模态,松开继续绕行。通用智能体区段的感知、建模、预测、推理、规划、行动六个环节形成闭环,中央呈现通过智能体与工具调用相连的数字任务和物理任务。智能体通过软件工具及控制接口参与数字工作流,也能调用导航等物理能力;向外的调用与返回的结果或环境观测形成反馈闭环。
抗风无人机路径规划研究获IEEE RCAR 2026最佳学生论文奖
获奖论文为 Energy-Aware Wind-Resilient Routing for Truck-Assisted Multi-UAV Delivery under Wind Uncertainty,作者包括 Tianshun Li、Yanggang Sheng、Hongliang Lu、Zhongzhen Wang、Haoang Li 和 Xinhu Zheng。
机器联觉综述获2026年IEEE通信学会最佳综述论文奖
郑心湖参与的论文 Intelligent Multi-Modal Sensing-Communication Integration: Synesthesia of Machines 获奖,该文发表于 IEEE Communications Surveys & Tutorials。
我们的研究
研究方向
我们研究智能体如何感知、建模、推理和行动,涵盖机器人策略、世界模型、工具使用、多智能体工作流以及具身系统的安全。
了解研究方向研究聚焦
代表性研究
Xinhu Zheng 及合作者在三维感知、多模态学习和具身智能方面的近期工作。
查看全部学术成果
机器人学习与操作
ForesightFlow: Self-Guided Flow Matching for Improving Vision-Language-Action Models
ForesightFlow 从成功与失败的机器人经验中改进策略。单一流模型同时生成动作片段并估计其成功潜力,无需独立评价网络即可指导动作选择,并在仿真及真实双臂操作任务中进行评估。

世界模型与预测
PLAN-S: Bridging Planning with Latent Style Dynamics for Autonomous Driving World Models
PLAN-S 从潜在世界模型中解码受驾驶风格调节的语义代价地图,使规划偏好在轨迹选择前可被观察与分析。该连接模块支持回归式和锚点评分式规划器,并在 nuScenes 与 NAVSIM 上进行评估。

视觉语言导航
P³Nav: End-to-End Perception, Prediction and Planning for Vision-and-Language Navigation
P³Nav 在同一视觉语言导航模型中结合感知、预测与规划。物体和地图线索描述当前场景,预测的航点与未来场景特征则帮助智能体规划通向语言指定目标的路径。

Does Visual Information Play a Decisive Role in Vision-Language-Action Model Driving Behavior?
通过分层视觉扰动,研究 VLA 驾驶决策对相机输入的依赖,并对比开环轨迹预测与闭环驾驶行为,揭示不同扰动和评估设置下视觉信息作用的差异。

Energy-Aware Wind-Resilient Routing for Truck-Assisted Multi-UAV Delivery under Wind Uncertainty
EWR 利用随风况估计和载荷状态更新的能耗图规划卡车辅助的无人机配送,并持续检查返航可行性。论文在合成配送图与风日志回放条件下进行评估。
项目与资源
精选项目
了解精选的研究工作、公开稿件、演示和已开放的资源。
查看全部 31 个项目UniT
首次公开:课题组主导研究
统一的几何感知前馈模型。项目主页展示从校园场景到驾驶序列的重建、七类任务上的实验结果,并提供在线演示。
研究代码未公开。
项目论文
- UniT: Unified Geometry Learning with Group Autoregressive TransformerIEEE Transactions on Pattern Analysis and Machine Intelligence (submitted) · 2026
Commit While Futures Agree
首次公开:课题组主导研究
一条面向动作片段式机器人策略的推理阶段规则:预测的未来一致时继续执行当前动作片段,出现分歧时重新规划。论文报告在其仿真基准和 AgiBot G2 操作实验中失败次数有所减少。
项目论文
- Commit While Futures Agree: Consequence-Aware Adaptive Action Chunking for Robot ManipulationarXiv preprint arXiv:2610.07949 · 2026

LightVLN
首次公开:课题组主导研究
LightVLN 是一个轻量化空中视觉语言导航框架,结合紧凑的语言骨干、单 token 历史记忆,以及由历史与指令共同引导的局部聚合,在保持有竞争力的导航性能的同时降低推理开销,并支持在 Jetson Orin NX 上开展基于机载计算的实时闭环硬件在环(HIL)评估。在该 HIL 设置中,机载计算机控制的是 AirSim 中的虚拟无人机。
项目论文
- LightVLN: Efficient Aerial Vision-and-Language Navigation with Compact Memory and History-Guided Local AggregationarXiv preprint arXiv:2610.05024 · 2026
成员
我们的团队
认识课题组负责人,浏览成员名录。
查看全部成员
Xinhu Zheng 郑心湖
助理教授
香港科技大学(广州)
智能交通 · 物联网
研究方向为自动驾驶、网联智能与具身智能,带领 OMEGA Lab(Omnimodal Multi-Embodiment Generalist Agents)开展研究。
实验室平台
研究平台
面向具身智能研究的无人驾驶车辆、无人机、机器人操作平台、人形机器人、遥操作设备与 AI 算力。
查看研究平台设备图片来自 OMEGA 课题组及相应厂商,研究配置可能有所不同。
致有意加入的同学与研究人员
加入 OMEGA 课题组
带着你对多模态智能和智能体的问题来。这里可以了解博士、硕士、博士后和研究助理的机会,学校提供的支持,以及如何联系我们。
机会与申请联系我们
科研
合作与交流
科研合作、招生咨询和学术交流,请联系 Xinhu Zheng。