【ZiDongHua之創(chuàng)新自化成收錄關(guān)鍵詞:機(jī)器人 機(jī)器學(xué)習(xí) 斯坦福大學(xué)】
 
  CoRL 2024|谷歌DeepMind、Meta與Franka Robotics共探機(jī)器人學(xué)習(xí)領(lǐng)域新突破!
 
  機(jī)器人學(xué)習(xí)會(huì)議CoRL(Conference on Robot Learning)是一年一度的國(guó)際會(huì)議,會(huì)議重點(diǎn)討論機(jī)器人和機(jī)器學(xué)習(xí)的交叉學(xué)科。今年于11月6日至9日在德國(guó)慕尼黑盛大舉行,吸引了眾多機(jī)器人界專業(yè)人士及同行業(yè)伙伴參觀并聆聽(tīng)學(xué)術(shù)成果的發(fā)表!
 
  谷歌DeepMind、Meta、英偉達(dá)、Amazon Robotics等多家知名科技公司贊助并出席CoRL。Franka Robotics作為世界級(jí)一流機(jī)器人研究平臺(tái)也贊助并出席了這一盛會(huì),見(jiàn)證了多個(gè)大學(xué)及研究機(jī)構(gòu)的學(xué)者們借助Franka Robotics機(jī)械臂發(fā)表的學(xué)術(shù)成果,包括視覺(jué)語(yǔ)言模型、遙操作、機(jī)械手開(kāi)發(fā)等創(chuàng)新方向。讓我們來(lái)一探究竟吧!
 
  01
 
  AHA-用于檢測(cè)機(jī)器人操控故障的視覺(jué)語(yǔ)言模型
 
  由Jiafei Duan領(lǐng)導(dǎo),華盛頓大學(xué)及英偉達(dá)等機(jī)構(gòu)的學(xué)者們聯(lián)合發(fā)表的AHA,是一個(gè)專門為機(jī)器人任務(wù)失敗檢測(cè)和推理設(shè)計(jì)的視覺(jué)語(yǔ)言模型。它通過(guò)自然語(yǔ)言識(shí)別并解釋機(jī)器人的操作失敗情況。在訓(xùn)練過(guò)程中,AHA使用了FailGen生成的大規(guī)模失敗軌跡數(shù)據(jù)集,該數(shù)據(jù)集通過(guò)模擬擾動(dòng)生成失敗示例。AHA不僅在模擬中表現(xiàn)出色,還能在真實(shí)世界中推廣,顯著提升機(jī)器人任務(wù)的成功率和錯(cuò)誤修復(fù)能力。該模型能幫助改進(jìn)任務(wù)規(guī)劃、激勵(lì)函數(shù)及子任務(wù)驗(yàn)證,從而增強(qiáng)機(jī)器人操作的穩(wěn)定性和效率。
 
 
  更多項(xiàng)目詳情在論文:AHA:https://aha-vlm.github.io/
 
  更多團(tuán)隊(duì)成果:Manipulate-Anything:https://robot-ma.github.io/
 
  Robo-Point:https://robo-point.github.io/
 
  02
 
  SkillGen-高效技能學(xué)習(xí)與部署的自動(dòng)化示范生成
 
  由英偉達(dá)團(tuán)隊(duì)發(fā)布的SkillGen,是一種自動(dòng)化演示生成系統(tǒng)。用于幫助機(jī)器人高效學(xué)習(xí)和執(zhí)行復(fù)雜技能。只需少量人類演示數(shù)據(jù),SkillGen便自主生成大量演示動(dòng)作,并適應(yīng)不同場(chǎng)景。這些數(shù)據(jù)訓(xùn)練的機(jī)器人可以執(zhí)行多種操作任務(wù),展現(xiàn)出高成功率。SkillGen還支持仿真到真實(shí)的零樣本遷移,使機(jī)器人在復(fù)雜環(huán)境中靈活適應(yīng),顯著減少人力需求。
 
 
  更多項(xiàng)目詳情在論文:https://skillgen.github.io/
 
  03
 
  ManipGen-局部策略實(shí)現(xiàn)零樣本長(zhǎng)時(shí)間操控
 
  由卡耐基梅隆大學(xué)及蘋果團(tuán)隊(duì)聯(lián)合發(fā)布的ManipGen,是一項(xiàng)創(chuàng)新研究,旨在讓機(jī)器人更靈活地完成復(fù)雜多步任務(wù)。傳統(tǒng)機(jī)器人往往難以適應(yīng)新的物體和環(huán)境,需要大量人工演示。而ManipGen通過(guò)“局部策略”進(jìn)行操作規(guī)劃,使機(jī)器人在不依賴新示例的情況下完成一系列分步任務(wù)。它結(jié)合視覺(jué)、語(yǔ)言和運(yùn)動(dòng)規(guī)劃,賦予機(jī)器人對(duì)物體和場(chǎng)景的理解能力,因此可以在復(fù)雜場(chǎng)景中更自主地行動(dòng)。實(shí)驗(yàn)表明,ManipGen在任務(wù)執(zhí)行中表現(xiàn)優(yōu)異,尤其適合不同物體和場(chǎng)景的復(fù)雜操作任務(wù)。
 
 
  更多項(xiàng)目詳情在論文:https://mihdalal.github.io/manipgen/
 
  04
 
  PointFlowMatch-從點(diǎn)云中學(xué)習(xí)機(jī)器人操控策略的條件流匹配方法
 
  由德國(guó)弗萊堡大學(xué)計(jì)算機(jī)科學(xué)團(tuán)隊(duì)提出的一種名為PointFlowMatch的新方法,用于從點(diǎn)云數(shù)據(jù)中學(xué)習(xí)機(jī)器人操控策略。通過(guò)條件流匹配(CFM)技術(shù),PointFlowMatch可以生成機(jī)器人長(zhǎng)時(shí)間、多階段的操作路徑,并適應(yīng)多種任務(wù)情境。實(shí)驗(yàn)表明,該方法在RLBench測(cè)試任務(wù)中的成功率達(dá)到了67.8%,是現(xiàn)有最佳方法的兩倍。該技術(shù)為機(jī)器人學(xué)習(xí)復(fù)雜操控任務(wù)提供了更靈活和高效的解決方案。
 
  更多項(xiàng)目詳情在論文:http://pointflowmatch.cs.uni-freiburg.de/
 
  05
 
  Get a Grip-多指抓取算法穩(wěn)定實(shí)現(xiàn)模擬到現(xiàn)實(shí)的遷移
 
  由斯坦福大學(xué)和加州理工學(xué)院學(xué)者聯(lián)合發(fā)明了一種新方法Get a Grip,通過(guò)使用判別模型評(píng)估抓取來(lái)實(shí)現(xiàn)多指抓取穩(wěn)定模擬到現(xiàn)實(shí)轉(zhuǎn)移。并發(fā)布了一個(gè)包含350萬(wàn)次抓取的大型數(shù)據(jù)集,涵蓋了各種不同的抓取示例以及相應(yīng)的感知數(shù)據(jù)。通過(guò)這個(gè)數(shù)據(jù)集訓(xùn)練抓取評(píng)估,研究表明其性能超越了現(xiàn)有的生成模型,尤其在現(xiàn)實(shí)環(huán)境中的表現(xiàn)更加優(yōu)秀。研究結(jié)果也表明,數(shù)據(jù)的規(guī)模對(duì)實(shí)驗(yàn)成功產(chǎn)生重大作用。
 
  更多項(xiàng)目詳情在論文:https://arxiv.org/abs/2410.23701
 
  06
 
  Vocal Sandbox-語(yǔ)音指令教機(jī)器人執(zhí)行任務(wù)
 
  由斯坦福大學(xué)學(xué)者們開(kāi)發(fā)的Vocal Sandbox項(xiàng)目,提出了一個(gè)新框架,用于實(shí)時(shí)的人機(jī)協(xié)作,能夠讓機(jī)器人從人類的多種輸入中持續(xù)學(xué)習(xí)和適應(yīng),包括語(yǔ)音指令、視覺(jué)演示和物理引導(dǎo)。該框架旨在提高機(jī)器人響應(yīng)性,使其能夠?qū)W習(xí)復(fù)雜任務(wù)并適應(yīng)不同的環(huán)境。用戶可以逐步教會(huì)機(jī)器人多層次技能,從簡(jiǎn)單的操作到更高級(jí)的規(guī)劃行為,這些技能都可以在不同任務(wù)中重復(fù)使用。
 
  在禮品包裝組裝和定格動(dòng)畫制作的測(cè)試中,Vocal Sandbox表現(xiàn)出顯著的易用性提升,減少了22%的訓(xùn)練時(shí)間,讓非專業(yè)用戶也能高效地教會(huì)機(jī)器人物體操作和復(fù)雜的運(yùn)動(dòng)技能。