最强队伍表现抢眼!“达闼杯”机器人大模型与具身智能挑战赛卷出了哪些应用?
2023-12-14 11:21:52

经过82天的激烈角逐,12月3日,“达闼杯”机器人大模型与具身智能挑战赛结果揭晓,在这场集结了全国各地高校和科研机构的顶尖头脑风暴中,60支队伍展现了他们对于未来技术的深刻理解和创新实践。从报名到决赛,参赛者们不仅要面对复杂多变的咖啡厅场景挑战,还需利用达闼提供的高精度数字孪生建模技术来完成一系列规定及开放性任务。

微信图片_20231214145632.jpg


本次比赛中获奖作品涵盖了多种技术方案,并且每个作品都体现出大模型技术在具身智能方面巨大的潜力。国防科技大学和复旦大学以其创新性强、应用广泛的项目斩获一等奖;鹏城实验室、中国科学院软件研究所则以其灵活又精准的作品摘得二等奖。一起来看看最强队伍的作品吧!


一等奖:国防科技大学


团队成员:陈星霖、蔡怡帅、毛韵欣、张礼望、吴子吉、马劭聪、黄玉、马可欣、梁震、徐晴霄、文卓尔、戴勇军、孙启尧


指导老师:王戟、杨文婧、李明龙、胡庆拥


作品名称:基于大模型和行为树的生成式具身智能体


国防科技大学.png


国防科技大学的研究团队创新性地将树形数据结构与大语言模型相结合,并开发了一个直观的可视化界面。这一成果实现了联结学派的强大语言模型与符号学派的行为树之间的有效融合。与传统思维链技术相比,行为树提供了一种更为简单且稳定的方式来定义和增强大模型的行为能力。此外,该方法还有效避免了由于复杂模型产生幻觉问题。这项工作不仅在特定领域和场景中具有应用潜力,而且开辟了新思路和方法,值得在未来进行深入探索。


达闼机器人副总裁王斌点评:国防科技大学的作品亮点在于实现了基于大模型和行为树的生成式具身智能体系统框架。将大模型作为智能体的“大脑”,利用大模型的意图理解能力与内容生成能力,实现智能交互与决策;将行为树作为智能体的“中枢”,利用行为树的层次化、模块化、可解释、可规划等性质,将人工智能联结学派技术与符号学派技术有机结合,最终实现灵活、安全、可控的生成式具身智能体。


一等奖:复旦大学


团队成员:王皓天,曾致语,岳尔文,唐傑伟


指导老师:董震、沈立炜、彭鑫


作品名称:CafeGPT - 基于大语言模型的多智能体闭环服务机器人


复旦.png


复旦大学的团队采用了大模型驱动方法来实现其机器人技能,而独特之处在于他们并未使用强化学习。这种方法在机器人领域具有创新性。值得注意的是,该团队不仅成功完成了所有预定任务,还在开放式任务中提出了智能体闭环规划方案。这一方案进一步发挥了大语言模型的潜力,并显著提升了使用语言模型进行机器人控制的成功率和可靠性。总体而言,复旦大学团队的作品展现出令人赞叹的创新和执行力。


达闼机器人副总裁王斌点评:复旦大学的作品亮点在于完全使⽤预训练的⼤模型,不使用任何训练数据的情况下,以多智能体代理(Multi-LLM Agent)的方法让咖啡厅机器⼈完成服务任务,实现具⾝能力。并且在人为注入异常错误的情况下,这种多智能体代理的方法依然可以检测到错误并尝试继续完成任务,方法鲁棒性强。


二等奖:鹏城实验室


团队成员:刘秉熙


指导老师:崔金强、王晖、张宏


作品名称:基于多模态大模型的服务机器人


鹏程1.jpg


该团队采用了多种模态的大模型构建了人形机器人的核心基础能力完成了比赛任务,包括:语音识别大模型,语音生成大模型,视觉语义分割和文本生成大模型。特别地,他们使用了国产自主研发的鹏城脑海大语言模型。


达闼技术专家点评:鹏城实验室对整个咖啡厅场景进行的点云重建效果不错;基于YOLO V7的目标检测,识别物品类别及人物身份;特别是使用了语音识别及生成模型以及国产自研大模型来增强人机交互。


二等奖:中国科学院软件研究所


团队成员:周子涵、顾植誉、张翼飞


指导老师:吴国全、魏峻


作品名称:机器人大模型与具身智能挑战赛解决方案


中国科学院软件研究所.png


该团队开发了一套层次分离、通用灵活的架构,通过大模型自主认知潜力,实现探索、任务理解、规划、执行等过程,并创新地提出了场景语义网格化存储和记忆管理机制,有效解决单个大模型的限制,提高灵活性和自主性,同时保证大模型交流的鲁棒性。他们还创新地采用场景语义网格化存储方法来保存场景信息,并通过视觉大模型感知情境语义,从而加快记忆检索过程并帮助机器人更好地理解环境。团队还封装了机器人能力,限制操作空间在可选API范围内,实现边写代码边调试(debug)的效果,并利用任务规划产生的API调用序列,提高执行效率。


达闼技术专家点评:中国科学院软件所的参赛队伍在比赛中采用了多个大模型协同的方式,对话大模型、视觉大模型和路径与动作规划大模型,各司其职并协同合作,展现了1+1+1>3的效果。


此次大赛充分体现了大模型的潜力,不管是大语言模型驱动的多模态对话,开放域检测模型还是大模型的思维链能力,都有非常惊喜的表现。达闼机器人副总裁王斌对参赛选手表示肯定:“所有进入决赛建设者都展示了极高水平,同时70%的队伍完成了两个开放性任务。并且大部分队伍都配合使用大模型完成任务,效果很棒,超出预期。”


“达闼杯”机器人大模型与具身智能挑战赛不仅是一个竞技场,更是一个前沿科技展示舞台。参加此次挑战赛意味着达闼和参赛选手们共同站在时代最前端——无论结果如何,每位建设者都已经是未来变革中不可或缺的一部分。“达闼杯”只是开始,在AI驱动下,未来属于每一个勇敢追梦者。


更多大赛精彩回顾及选手幕后故事,将在达闼公众号陆续更新,敬请关注!