一種基于層次強(qiáng)化學(xué)習(xí)的機(jī)械手魯棒操作

機(jī)械手內(nèi)操作（in-hand manipulation）是指使用單只機(jī)械手，通過(guò)移動(dòng)手指、手掌等部位來(lái)改變物體在手中的相對(duì)位置和姿態(tài)。這種能力對(duì)于機(jī)器人實(shí)現(xiàn)人類水平的靈巧操作極為重要，因?yàn)樵谌粘Ｉ�活中有很多類似的任�?wù)，例如抓取一件工具并調(diào)整它在手中的位置和旋轉(zhuǎn)角度。我們注意到，在實(shí)現(xiàn)復(fù)雜的操作目標(biāo)時(shí)，人在操作物體時(shí)常常改變抓取物體的手指接觸點(diǎn)位置，從而極大的提高物體在手中的位姿范圍。

傳統(tǒng)上，手內(nèi)操作有兩類解決方案，一類是基于模型的方法（model-based method），通過(guò)對(duì)抓取的動(dòng)力學(xué)建模，來(lái)控制手指移動(dòng)帶動(dòng)物體姿態(tài)。這種辦法好處在于穩(wěn)定性強(qiáng)，模型簡(jiǎn)單，但問(wèn)題在于難以實(shí)現(xiàn)較長(zhǎng)和復(fù)雜的手內(nèi)操作流程，特別是目標(biāo)位姿和起始位姿相距很遠(yuǎn)的情況，因?yàn)樗鼈兒茈y規(guī)劃手指接觸點(diǎn)的移動(dòng)；另一類方法是無(wú)模型方法（model-free method），通常使用深度強(qiáng)化學(xué)習(xí)的方法。這類方法優(yōu)點(diǎn)在于不需要系統(tǒng)模型，但缺點(diǎn)在于穩(wěn)定性差，并且需要大量數(shù)據(jù)進(jìn)行訓(xùn)練。而我們的方法結(jié)合了這兩種方法：在底層使用傳統(tǒng)的動(dòng)力學(xué)建模方式保持穩(wěn)定的抓取和實(shí)現(xiàn)簡(jiǎn)單基本的操作單元，在中層通過(guò)深度強(qiáng)化學(xué)習(xí)來(lái)進(jìn)行規(guī)劃，選擇不同的操作單元，最終實(shí)現(xiàn)穩(wěn)定且復(fù)雜的操作流程。我們的方法結(jié)合了兩種方法的優(yōu)點(diǎn)：在底層通過(guò)使用基于模型的操作單元，保證了手指與物體之間持續(xù)穩(wěn)定的抓��；在中層使用強(qiáng)化學(xué)習(xí)進(jìn)行規(guī)劃，從而實(shí)現(xiàn)較長(zhǎng)和復(fù)雜的手內(nèi)操作流程。

2.  研究方法

在底層，我們使用柔性力矩控制器定義了三個(gè)操作單元，分別是reposing，sliding和flipping。Reposing是指在不改變手指與物體接觸點(diǎn)的前提下，通過(guò)控制機(jī)械手改變物體的位姿；sliding是指在不改變物體位姿的前提下，沿著物體滑動(dòng)指尖改變接觸點(diǎn)；flipping是指將指頭從一側(cè)移動(dòng)到另一側(cè)，從而改變抓握方式。在中層，我們使用深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)在給定目標(biāo)位姿下選擇底層操作單元，最終形成一條由大量不同操作單元組成的序列，實(shí)現(xiàn)復(fù)雜的操作目標(biāo)。