“达闼杯”挑战赛七所高校的创新成果,让咖啡厅机器人更智能!
2023-12-21 10:50:41

在近日结束的“达闼杯”机器人大模型与具身智能挑战赛中,来自全球各地的顶尖高校纷纷用大模型、具身智能等先进技术,打造出各具特色的机器人咖啡厅。其中,澳大利亚阿德莱德大学、北京航空航天大学、同济大学、文山学院、西安理工大学、西北工业大学、中山大学七所学府凭借他们在任务执行上稳健可靠的表现荣获三等奖。

2_6526468.jpg

从阿德莱德大学的多技术集成系统到同济大学智能咖啡厅服务机器人的自然语言理解互动,从北京航空航天大学咖啡厅机器人的高级多模态感知和交互能力到西安理工大学的环境感知与问答接口的构建,他们运用先进的技术和创新的思维,为机器人技术的发展和应用提供了新的思路和方向。一起来看看他们的作品吧!

阿德莱德大学

团队成员:李泽瑞、曹景行、周耕泽、乔滟媛

指导老师:吴琦

机器人具身智能挑战赛Demo-封面.jpg

澳大利亚阿德莱德大学团队开发了一套多技术集成系统,用于执行复杂任务。该系统结合了深度优先搜索、RGBD物体识别和姿态估计、目标检测与定位等方法,实现对环境的全面探索并记录关键信息。此外,通过头部RGBD摄像头监测图像变化来辅助传统物体检测技术,以识别人员及导航任务中的视觉信号。团队还整合了大型语言模型进行场景相关的多轮对话,并通过预设好的机器人动作接口来执行基于视觉语言指令的操作任务。


北京航空航天大学


团队成员:余俊杰、王宇航、唐隽哲、李鑫


指导老师:于黎明


北航.png


北京航空航天大学开发的机器人集成了最新的大模型技术、深度强化学习和跨模态AI技术,具备高级多模态感知和交互能力。该机器人能够在环境中主动探索并建立3D点云地图以实现位置感知,并使用A*算法进行路径规划。它还整合了大型语言模型来理解自然语言,使其能够与人类有效交流,并执行任务如接单、操作设备和递送物品。通过强化学习训练,机器人可以自主导航并适应复杂环境。此外,它还具有自主巡航功能,可以检测并处理异常情况如桌面污渍或地面垃圾。


同济大学


团队成员:齐晓燕、麻开菁、唐艺宁、刘嘉迅


作品名称:基于大语言模型的咖啡厅服务机器人智能化设计与实现

指导老师:陈启军、刘成菊


同济大学.png


同济大学团队的智能咖啡厅服务机器人基于大语言模型技术,在仿真环境中通过自然语言理解与人类进行有效互动,能够执行包括安排座位、控制空调和点餐等任务。为了提升机器人的泛化能力,团队还建立了一个丰富的语料数据库,并确保其关键功能如主动探索、多轮对话、视觉导航和操作等得到涵盖。


文山学院


团队成员:潘成权、姜宇、张肖、张周杨


作品名称:LLM驱动的智能机器人场景化应用


指导老师:曹知


文山学院2.jpg


文山学院团队基于达闼提供的RDK开发,成功实现了场景理解记忆、多轮对话、视觉导航和交互操作。这些功能被应用到现实场景中,进一步优化了大模型和视觉导航效果。团队将继续通过视觉语言模型进行项目优化,以提升机器人在现实环境中的表现。


西安理工大学


团队成员:赵琛、李劭轩、李森垚、刘海鑫、王子豪、王志阳、屈泽宇、高琪浩、刘浩森


指导老师:王一川


西安理工大学2.jpg


西安理工大学团队的作品基于达闼提供的拟真平台,实现了环境感知与建模,采用了3D点云图构建技术。作品结合了百度智能云千帆大模型平台,利用文心一言模型构建了问答接口,实现了与顾客的简单交流。团队还集成了YOLOv5模型,及时识别顾客的到来,为后续服务提供起点。此外,作品还采用了jieba分词组件对顾客需求进行解析,将顾客意图与服务机器人的行为相对应。


西北工业大学


团队成员:黎栗谯、詹涵文、刘鹏、王颖琦、付怡祺


作品名称:基于大模型的具身智能咖啡厅服务机器人


指导老师:赵闻


西北工业大学.jpg


西北工业大学团队将星火大模型引入机器人的控制,在达闼提供的仿真环境中,通过引入机器人与大模型的问答机制,成功将大模型赋能咖啡厅机器人,打造了一个智能的咖啡厅服务人形机器人。团队还开发了一套大模型控制框架,通过自然语言与大模型对话,实现机器人自主控制。在比赛中,团队基本完成了比赛方要求的四个规定任务,并完成了一部分开放任务,展现了较高的技术水平和创新能力。


中山大学


团队成员:宋昕帅、江凯萱、罗经周、陈卫兴、刘阳、李冠彬、林倞


作品名称:面向咖啡店场景的多模态具身交互Agent


指导老师:刘阳,李冠彬,林倞


中山大学.png


中山大学团队为机器人咖啡厅设计了丰富的剧本流程,针对各种场景完成指定的任务,丰富而不失随机性的剧本设计为整个流程增添乐趣。作品实现流程分为三个阶段:探索环境、交互与推理。通过视觉模块、控制模块与大模型模块这三个功能模块实现。团队借助达闼提供的模拟场景与机器人,成功实践了一次大模型+具身智能的应用。在达闼提供的丰富接口的支持下,他们设计出各种各样的任务和控制接口,实现了丰富的机器人与物、机器人与人交互。


“达闼杯”机器人大模型与具身智能挑战赛旨在考验团队在大模型技术和具身智能领域的创新能力和技术水平。各参赛团队相互学习、深度探讨,展现出了高水平的技术创新和实用性,让观众得以目睹未来机器人技术的发展方向。期待未来有更多的优秀团队加入到机器人大模型与具身智能的研究中来,共同推动这一领域的发展和进步。


更多大赛精彩回顾及选手幕后故事,将在达闼公众号陆续更新,敬请关注!