NVIDIA、MIT都在用,Franka Emika機器人開源版,讓研究更輕鬆

2021 年 9 月18 日ANA Avatar Xprize Challenge半決賽開始,在這場半決賽中,圍繞遙操作、機器人對不規則物體抓取和處理、例如穿衣服等幫人服務的三個關鍵測試場景進行了展開,德國波恩大學自主智能系統實驗室的機器人競賽團隊NimbRo的一個最新採取Franka Emika機器人平臺搭建的複合機器人拿到了非常高的分數。

協作機器人的發展時間還非常短,但它無疑仍然有非常多的研究和探索可能性。要想從製造到家庭,一些機器人和人類的交互研究就必不可少。

例如生成抓握姿勢就是機器人抓取任務中非常關鍵的組成部分,這決定了機器人未來能否在家庭服務中實現更多的可能性。機器人如何既能夠抓一個杯子,又能很好抓住一個花瓶?或者各種形態的物體?機器人與不同體積、重量物體交互的細節有哪些需要考慮?

又例如人類行爲建模對於人機協作交互至關重要,這定義了機器人和人類在一些環境中的安全交互可能性。機器人如何與一個動態的人類完成交互?怎麼判斷人類動作的軌跡,並在不確定的位置中成功且安全完成抓取?當人類因爲機器人的動作作出目標反應的時候,人機協作適應性如何?

又例如人機切換是人機協作的一個特別深入的領域,這涉及到機器人的反應性切換,機器人如何適應人類向機器人遞送物體的方式,機器人怎麼與不同人進行流暢交互,中間的姿態、切換問題怎麼解決?

這些具體細節都有待研究。

▍開源帶來更廣泛研究價值

英偉達也進行了上述的一系列展開研究。

爲了研究機器人對各類物體的最佳抓取姿態,他們在虛擬環境中基於對象三維模型建立了一個對不同形態物體通用性的抓取模型,通過深度學習技術調整對於機器人抓握位姿選擇的幫助和改變,從而用於爲未知對象生成不同的最優抓取姿態。

這個模型在現實世界中測試執行的時候,英偉達研究者發現由於物理環境下的限制,這個模型還不能完全實現抓取所需的高魯棒和精度。爲了優化和處理這些尚不完美的感知,以及處理由於機器人關節極限、誤差控制和難以建模的摩擦等物理現象造成的現實問題。研究人員着重提到了他們採用支持人工智能的Franka Emika機器人平臺,這使得他們不僅快速實現生成了不同的抓取樣本集,並在現實環境中順利採取消融研究,完成了進一步的抓取模型實驗,Franka Emika機器人的開源性極大地提高了英偉達軟件研究的效率,同時細化了研究數據和成果。

而英偉達和華盛頓大學合作的一個項目,則重點研究了複雜動態環境下的多人機協作和切換協調性問題,他們提出了一個新的基於模型預測控制(MPC)的框架,該框架可以通過讓機器人建立人類協作者的模型,實現可能的運動預測以及逆最優控制。

同樣英偉達選擇以開源性非常高的Franka Emika機器人爲研究實驗模型,在噪聲等環境下實現了協調軌跡生成,並對算法和模型完成了有效性驗證。

同時英偉達和華盛頓大學的另外一個研究團隊合作,通過針對人機交互中人類的不同抓取方法進行分類,並得出了一個涵蓋廣泛的手形狀和姿勢的數據集,他們在Franka Emika機器人的實際驗證中,證明了機器人可以通過數據抓取及時判斷人類抓取位姿,並能流暢地從人類那裡順利將物體拿到。

不僅是這些研究,在前面機器人大講堂也報道過,美國麻省理工學院研究人員研發的一種新算法,能讓機器人靈活地幫人類穿衣服。

該研究算法可爲機器人找到有效的動態軌跡規劃,使機器人能夠實時碰撞檢測,並在碰撞時做出相應反應以減少和人接觸產生的力,確保人類人身安全,並避免機器人安全碰撞導致鎖死等問題。而他們現實中驗證算法的模型同樣是Franka Emika機器人。

由於這些研究,其中就涉及到更進一步的人機協作,或者是機器人在人工智能和大數據應用上的探索,因此這部分研究,對於協作機器人提出了更高的要求,需要機器人具備更強的靈活性和更高的開源性。

▍開源成果顯著

如上述研究提到的,在開源應用上,目前Franka Emika已經積累了非常多的研究案例,其中包括了最知名的機器學習和人工智能研究機構和企業以及醫療保健和教育機構,例如麻省理工學院、斯坦福大學、賓西法尼亞大學等世界著名高校也是Franka 機器人的用戶。

在ICRA2021上,就有將近50篇文章以Franka機器人作爲研發平臺,應用Franka機器人的案例能在各大國際論文資料庫裡面查閱到,目前已經囊括了自主視覺抓取、多機協同工作、人機交互研究、自適應裝配、AR+機器人、遙操作、主從力反饋、仿生手臂等多個應用場景。包括英偉達的人工智能算法,以及很多醫療機器人的研究,大多也以Franka作爲硬件實踐平臺。斯坦福機器人實驗室、英偉達等一流的高校和企業對此給出了極高的評價。

開源對於機器人的研究和二次開發帶來的價值不言而喻。非常多的機器人研究者都希望能有一款不用再去學習新的接口或者是新的編程技能的協作機器人,因爲這會大大減少二次開發的時間和研究應用的投入,而Franka Emika機器人無疑再次基礎上更進一步。

▍開源特性顯著

那麼,Franka Emika的優越開源特性是怎麼實現的?

其實Franka Emika開源版機器人附加了一個獨特的底層雙向控制接口FCI (Franka Control Interface),用戶藉助 FCI 可與機器人的本體和抓手建立快速的底層雙向連接。

激活 FCI用戶即可通過快速、直接的底層雙向通信將工作站 PC 連接到機器人系統,這樣可以提供機器人的當前狀態並對其實施1 kHz的實時網絡控制。

這意味着機器人可以及時接受多種控制值,例如:

(1)重力和摩擦補償關節空間扭矩命令;

(2)關節角度或速度命令;

(3)笛卡爾位姿或速度命令。

同時,控制者可以使用1 kHz的數據讀取一些關鍵信息,例如:

(1)實時測量的關節數據,例如角度、角速度和連桿側扭矩傳感器信號;

(2)估計外部施加的扭矩和扭力;

(3)各種碰撞和接觸信息。

這種特性使得當FCI處於活動狀態時,研究者可以完全、排他地控制手臂和抓手,英偉達的一些驗證性實驗就是在此基礎上得以迅速完成。

當然,爲了更簡化研究流程,研究者還可以訪問機器人模型庫model library。

該庫當前提供:

(1)所有機器人關節的正向運動學;

(2)所有機器人關節的雅可比矩陣;

(3)動力學方面:慣性矩陣、科式力項和離心矢量項和重力矢量項。

目前,該機器人版本已經完美支持C++、ROS、MoveIt、MATLAB、Simulink五種語言和平臺接口,是開展力控制、運動算法、抓取策略、交互場景,機器學習和醫療手術機器人等現實環境研究和測試的理想平臺。

▍本體優勢明顯

爲什麼Franka Emika會堅持開源?

這和其創始人Sami Haddadin博士的經歷非常相關。Sami Haddadin博士是全球機器人技術領域的權威專家之一,本身也是德國慕尼黑大學機器人與機器智能學院的院長,具有豐富的機器人研發經驗。

可能與本身就是研究者有關,在Sami Haddadin博士多年的研發歷程中,一直希望有一款能更適用於研發者的機器人,幫助加快研究者們的研發進度。而一款對用戶友好且經濟實惠又開源程度高的機器人產品,無疑是研究者們的最好選擇。2016年,受到人類敏捷性和觸覺的啓發,Sami Haddadin博士開發了一款基於APP的關節力控型機器人。推出兩年後Franka Emika機器人憑藉產品的優異性能,成功獲得了德國未來獎和創新獎,併成功登上了2018《時代》50個最佳發明名單。

在此基礎上,Franka Emika也誕生了這樣一款適合科研教育的開源版機器人(Research version),希望幫助AI、力控制、運動算法、抓取策略、交互場景、機器學習、醫療機器人等各個領域的研究者,加快細分領域的研究進程。

當然,除了開源性,一個穩定的機器人本體也至關重要。

Franka Emika機器人所有的軸都帶有力矩傳感器,這些關節動力模組由德國製造,採用14位分辨率雙冗餘絕對位置編碼器,能實現1KHz高速總線,藉助高效率直流無刷電機和零背隙應變波齒輪,以及堅固耐用的交叉滾子軸承、13位分辨率的扭矩傳感器,Franka Emika機器人具備極精確的力感應,同時有卓越的精度和靈敏度,極易安裝和使用。

爲了進一步簡化機器人的使用流程,Franka Emika建立了一個FRANKA WORLD。這是一個可以與全球Franka用戶分享最新的APPs和Tasks的創新數字化機器人平臺,能以此將數字技術與現實世界互相連接。Franka World 支持研究人員、合作伙伴、客戶、開發人員、供應商等各方以及機器人之間的社區性互動,目前已經有上百款APP可以在這個平臺上下載選配。未來用戶可以開發屬於自己的APP,甚至在Franka World上分銷給其他用戶。

當然,用戶也可以選配各種原廠的配件,提高使用效率,這些配件包括能提供基於工作流編程方式的TQAPP系統軟件包,以及電動吸盤等即插即用的末端工具。

而這些,都是Franka Emika機器人堅持研發初衷,朝着成爲理想的開發平臺而做出的努力。

▍開源參考鏈接

Franka Emika在網上也提供有各類開源參考文件,方便入門或者進階用戶,鏈接如下:

FCIDocumentation:(FCI介紹編譯安裝教程Q&A)

https://frankaemika.github.io/docs/index.html

libfrankaC++ API Documentation: (API文檔)

https://frankaemika.github.io/libfranka/

libfrankaSource Code: (libfranka的C++源碼)

https://github.com/frankaemika/libfranka

ROSIntegration:(ROS集成源代碼)

https://github.com/frankaemika/franka_ros

FrankaMatLab包介紹

https://www.mathworks.com/products/connections/product_detail/franka-emika-robots.html

FrankaWorld: (免費註冊,研發交流社區,用戶手冊,共享研究成果論文等)

https://world.franka.de/

機器人的3D數模 : https://download.franka.de/SolidWorks.zip

更多內容,也可以訪問:

http://www.franka.cn/

參考文章:

ArsalanMousavian Clemens Eppner Dieter Fox;6-DOF GraspNet: Variational GraspGeneration for Object Manipulation;arXiv:1905.10520v2 [cs.CV] 17 Aug 2019

AdamFishman, Chris Paxton, Wei Yang, Dieter Fox, Byron Boots, and NathanRatliff1;Collaborative Interaction Models for Optimized Human-RobotTeamwork;arXiv:1910.04339v2 [cs.RO] 3 Sep 2020

Wei YangChris Paxton, Maya Cakmak, and Dieter Fox;Human Grasp Classification forReactive Human-to-Robot Handovers;arXiv:2003.06000v1 [cs.RO] 12 Mar 2020

-------------------END-------------------