最強隊伍表現搶眼!「達闥杯」機器人大模型與具身智能挑戰賽卷出了哪些應用?
2023-12-14 11:21:52

經過82天的激烈角逐,12月3日,「達闥杯」機器人大模型與具身智能挑戰賽結果揭曉,在這場集結了全國各地高校和科研機構的頂尖頭腦風暴中,60支隊伍展現了他們對於未來技術的深刻理解和創新實踐。從報名到決賽,參賽者們不僅要面對複雜多變的咖啡廳場景挑戰,還需利用達闥提供的高精度數字孿生建模技術來完成一系列規定及開放性任務。

微信圖片_20231214145632.jpg


本次比賽中獲獎作品涵蓋了多種技術方案,並且每個作品都體現出大模型技術在具身智能方面巨大的潛力。國防科技大學和復旦大學以其創新性強、應用廣泛的項目斬獲一等獎;鵬城實驗室、中國科學院軟件研究所則以其靈活又精準的作品摘得二等獎。一起來看看最強隊伍的作品吧!


一等獎:國防科技大學


團隊成員:陳星霖、蔡怡帥、毛韻欣、張禮望、吳子吉、馬劭聰、黃玉、馬可欣、梁震、徐晴霄、文卓爾、戴勇軍、孫啟堯


指導老師:王戟、楊文婧、李明龍、胡慶擁


作品名稱:基於大模型和行為樹的生成式具身智能體


國防科技大學.png


國防科技大學的研究團隊創新性地將樹形數據結構與大語言模型相結合,並開發了一個直觀的可視化界面。這一成果實現了聯結學派的強大語言模型與符號學派的行為樹之間的有效融合。與傳統思維鏈技術相比,行為樹提供了一種更為簡單且穩定的方式來定義和增強大模型的行為能力。此外,該方法還有效避免了由於複雜模型產生幻覺問題。這項工作不僅在特定領域和場景中具有應用潛力,而且開闢了新思路和方法,值得在未來進行深入探索。


達闥機器人副總裁王斌點評:國防科技大學的作品亮點在於實現了基於大模型和行為樹的生成式具身智能體系統框架。將大模型作為智能體的「大腦」,利用大模型的意圖理解能力與內容生成能力,實現智能交互與決策;將行為樹作為智能體的「中樞」,利用行為樹的層次化、模塊化、可解釋、可規劃等性質,將人工智能聯結學派技術與符號學派技術有機結合,最終實現靈活、安全、可控的生成式具身智能體。


一等獎:復旦大學


團隊成員:王皓天,曾致語,岳爾文,唐傑偉


指導老師:董震、沈立煒、彭鑫


作品名稱:CafeGPT - 基於大語言模型的多智能體閉環服務機器人


復旦.png


復旦大學的團隊採用了大模型驅動方法來實現其機器人技能,而獨特之處在於他們並未使用強化學習。這種方法在機器人領域具有創新性。值得注意的是,該團隊不僅成功完成了所有預定任務,還在開放式任務中提出了智能體閉環規劃方案。這一方案進一步發揮了大語言模型的潛力,並顯著提升了使用語言模型進行機器人控制的成功率和可靠性。總體而言,復旦大學團隊的作品展現出令人讚歎的創新和執行力。


達闥機器人副總裁王斌點評:復旦大學的作品亮點在於完全使⽤預訓練的⼤模型,不使用任何訓練數據的情況下,以多智能體代理(Multi-LLM Agent)的方法讓咖啡廳機器⼈完成服務任務,實現具⾝能力。並且在人為注入異常錯誤的情況下,這種多智能體代理的方法依然可以檢測到錯誤並嘗試繼續完成任務,方法魯棒性強。


二等獎:鵬城實驗室


團隊成員:劉秉熙


指導老師:崔金強、王暉、張宏


作品名稱:基於多模態大模型的服務機器人


鵬程1.jpg


該團隊採用了多種模態的大模型構建了人形機器人的核心基礎能力完成了比賽任務,包括:語音識別大模型,語音生成大模型,視覺語義分割和文本生成大模型。特別地,他們使用了國產自主研發的鵬城腦海大語言模型。


達闥技術專家點評:鵬城實驗室對整個咖啡廳場景進行的點雲重建效果不錯;基於YOLO V7的目標檢測,識別物品類別及人物身份;特別是使用了語音識別及生成模型以及國產自研大模型來增強人機交互。


二等獎:中國科學院軟件研究所


團隊成員:周子涵、顧植譽、張翼飛


指導老師:吳國全、魏峻


作品名稱:機器人大模型與具身智能挑戰賽解決方案


中國科學院軟件研究所.png


該團隊開發了一套層次分離、通用靈活的架構,通過大模型自主認知潛力,實現探索、任務理解、規劃、執行等過程,並創新地提出了場景語義網格化存儲和記憶管理機制,有效解決單個大模型的限制,提高靈活性和自主性,同時保證大模型交流的魯棒性。他們還創新地採用場景語義網格化存儲方法來保存場景信息,並通過視覺大模型感知情境語義,從而加快記憶檢索過程並幫助機器人更好地理解環境。團隊還封裝了機器人能力,限制操作空間在可選API範圍內,實現邊寫代碼邊調試(debug)的效果,並利用任務規劃產生的API調用序列,提高執行效率。


達闥技術專家點評:中國科學院軟件所的參賽隊伍在比賽中採用了多個大模型協同的方式,對話大模型、視覺大模型和路徑與動作規劃大模型,各司其職並協同合作,展現了1+1+1>3的效果。


此次大賽充分體現了大模型的潛力,不管是大語言模型驅動的多模態對話,開放域檢測模型還是大模型的思維鏈能力,都有非常驚喜的表現。達闥機器人副總裁王斌對參賽選手表示肯定:「所有進入決賽建設者都展示了極高水平,同時70%的隊伍完成了兩個開放性任務。並且大部分隊伍都配合使用大模型完成任務,效果很棒,超出預期。」


「達闥杯」機器人大模型與具身智能挑戰賽不僅是一個競技場,更是一個前沿科技展示舞台。參加此次挑戰賽意味着達闥和參賽選手們共同站在時代最前端——無論結果如何,每位建設者都已經是未來變革中不可或缺的一部分。「達闥杯」只是開始,在AI驅動下,未來屬於每一個勇敢追夢者。


更多大賽精彩回顧及選手幕後故事,將在達闥公眾號陸續更新,敬請關注!