創(chuàng)澤機(jī)器人
CHUANGZE ROBOT
當(dāng)前位置:首頁 > 新聞資訊 > 機(jī)器人開發(fā) > 如何搭建一個GPU加速的分布式機(jī)器學(xué)習(xí)系統(tǒng),遇到的問題和解決方法

如何搭建一個GPU加速的分布式機(jī)器學(xué)習(xí)系統(tǒng),遇到的問題和解決方法

來源:阿里機(jī)器智能     編輯:創(chuàng)澤   時間:2020/6/18   主題:其他 [加盟]

小嘰導(dǎo)讀:在解決實(shí)際問題的時候,很多人認(rèn)為只要有機(jī)器學(xué)習(xí)算法就可以了,實(shí)際上要把一個算法落地還需要解決很多工程上的難題。本文將和大家分享如何從零開始搭建一個GPU加速的分布式機(jī)器學(xué)習(xí)系統(tǒng),介紹在搭建過程中遇到的問題和解決方法。

一  背景

在云計(jì)算環(huán)境下,虛擬機(jī)的負(fù)載均衡、自動伸縮、綠色節(jié)能以及宿主機(jī)升級等需求使得我們需要利用虛擬機(jī)(VM)遷移技術(shù),尤其是虛擬機(jī)熱遷移技術(shù),對于down time(停機(jī)時間)要求比較高,停機(jī)時間越短,客戶業(yè)務(wù)中斷時間就越短,影響就越小。如果能夠根據(jù)VM的歷史工作負(fù)載預(yù)測其未來的工作負(fù)載趨勢,就能夠?qū)ふ业阶詈线m的時間窗口完成虛擬機(jī)熱遷移的操作。

于是我們開始探索如何用機(jī)器學(xué)習(xí)算法預(yù)測ECS虛擬機(jī)的負(fù)載以及熱遷移的停機(jī)時間,但是機(jī)器學(xué)習(xí)算法要在生產(chǎn)環(huán)境發(fā)揮作用,還需要很多配套系統(tǒng)去支持。為了能快速將現(xiàn)有算法在實(shí)際生產(chǎn)環(huán)境落地,并能利用GPU加速實(shí)現(xiàn)大規(guī)模計(jì)算,我們自己搭建了一個GPU加速的大規(guī)模分布式機(jī)器學(xué)習(xí)系統(tǒng),取名小諸葛,作為ECS數(shù)據(jù)中臺的異構(gòu)機(jī)器學(xué)習(xí)算法加速引擎。搭載以上算法的小諸葛已經(jīng)在生產(chǎn)環(huán)境上線,支撐阿里云全網(wǎng)規(guī)模的虛擬機(jī)的大規(guī)模熱遷移預(yù)測。

二  方案

那么一套完整大規(guī)模分布式系統(tǒng)機(jī)器學(xué)習(xí)系統(tǒng)需要哪些組成部分呢?

1  總體架構(gòu)

阿里云全網(wǎng)如此大規(guī)模的虛擬機(jī)數(shù)量,要實(shí)現(xiàn)24小時之內(nèi)完成預(yù)測,需要在端到端整個流程的每一個環(huán)節(jié)做優(yōu)化。所以這必然是一個復(fù)雜的工程實(shí)現(xiàn),為了高效的搭建這個平臺,大量使用了現(xiàn)有阿里云上的產(chǎn)品服務(wù)來搭建。

整個平臺包含:Web服務(wù)、MQ消息隊(duì)列、Redis數(shù)據(jù)庫、SLS/MaxComputer/HybridDB數(shù)據(jù)獲取、OSS模型倉庫的上傳下載、GPU云服務(wù)器、DASK分布式框架、RAPIDS加速庫。

1)架構(gòu)

下圖是小諸葛的總體架構(gòu)圖。






ICRA2020論文分享:基于視觸融合感知的可形變物體抓取狀態(tài)評估

人類可以通過視覺和觸覺融合感知快速確定抓取可變形物體所需力的大小,以防止其發(fā)生滑動或過度形變,但這對于機(jī)器人來說仍然是一個具有挑戰(zhàn)性的問題

一種基于層次強(qiáng)化學(xué)習(xí)的機(jī)械手魯棒操作

在底層通過使用基于模型的操作單元,保證了手指與物體之間持續(xù)穩(wěn)定的抓。辉谥袑邮褂脧(qiáng)化學(xué)習(xí)進(jìn)行規(guī)劃,從而實(shí)現(xiàn)較長和復(fù)雜的手內(nèi)操作流程

移動機(jī)器人Wang利用深度強(qiáng)化學(xué)習(xí)算法和視覺感知相結(jié)合的方法完成非結(jié)構(gòu)環(huán)境下的移動

中科院沈陽自動化所的Wang利用深度強(qiáng)化學(xué)習(xí)算法和視覺感知相結(jié)合的方法來完成移動機(jī)器人在非結(jié)構(gòu)環(huán)境下的移動操作

移動操作機(jī)器人Centauro通過融合自身攜帶的多傳感器信息可實(shí)現(xiàn)自主移動和抓取操作

德國伯恩大學(xué)計(jì)算機(jī)學(xué)院研制的遙操作輪腿復(fù)合的移動操作機(jī)器人可通過遠(yuǎn)程操作平臺完成各種復(fù)雜操作任務(wù)

機(jī)器人手腕的系列分享之一

假肢腕設(shè)計(jì)的有效基準(zhǔn)能夠做3自由度運(yùn)動,即旋前/旋后、屈伸和橈側(cè)/尺側(cè)偏移,未受影響的腕關(guān)節(jié),其最大活動范圍通常在76度/85度

機(jī)器人手腕的系列分享之二

旋轉(zhuǎn)器用于使終端設(shè)備沿前臂的縱向放出或滾動,而屈肌使終端設(shè)備彎曲或俯仰, OB棘輪式旋轉(zhuǎn)手腕,被動腕部裝置的鎖定也可以通過使用不可反向驅(qū)動的機(jī)構(gòu)來實(shí)現(xiàn)

機(jī)器人手腕的系列分享之二自由度手腕

2自由度腕部由一個與旋轉(zhuǎn)器串聯(lián)的屈肌單元組成,形成一個U型關(guān)節(jié)。其中一種設(shè)備是OBRoboWrist ,它可以同時鎖住前旋和屈曲,當(dāng)解鎖時,還可以通過轉(zhuǎn)動手腕上的項(xiàng)圈來調(diào)節(jié)運(yùn)動產(chǎn)生摩擦阻力

機(jī)器人手腕的系列分享之三自由度手腕

3自由度人工手腕在某些方面優(yōu)于人類的手腕,如運(yùn)動范圍或扭矩輸出。盡管一些假肢在設(shè)計(jì)中加入了3自由度手腕,但串行3自由度手腕設(shè)備在機(jī)器人應(yīng)用中更普遍

串行腕關(guān)節(jié)與并行腕關(guān)節(jié)優(yōu)缺點(diǎn)對比分析

具有相同數(shù)量自由度的設(shè)備之間進(jìn)行比較時,串行機(jī)構(gòu)往往比并行機(jī)構(gòu)更長,對于串行機(jī)構(gòu),運(yùn)動范圍和扭矩規(guī)格通常簡單地由執(zhí)行機(jī)構(gòu)的選擇和基本形狀幾何決定

假肢腕關(guān)節(jié)和機(jī)器人腕關(guān)節(jié)優(yōu)缺點(diǎn)對比分析

假肢需要直接的人類互動來發(fā)揮功能,而機(jī)器人手腕則完全是主動的,假腕還包括外部可調(diào)節(jié)功能,如可調(diào)節(jié)摩擦或鎖定;機(jī)器人手腕的任何調(diào)整通常都是在控制系統(tǒng)內(nèi)完成的

柔軟的靈巧手的設(shè)計(jì)、制備及驅(qū)動

由于軟體材料的發(fā)展,靈巧手也開始柔軟起來,如柏林工業(yè)大學(xué)研制的軟體、欠驅(qū)動、柔性多指靈巧手、康奈爾大學(xué)研制的軟體多指靈巧手、北京航空航天大學(xué)研制的軟體多指靈巧手

服務(wù)機(jī)器人核心模塊分析

環(huán)境感知技術(shù):機(jī)器人感知環(huán)境及自身狀態(tài)的窗口、運(yùn)動控制技術(shù):定位導(dǎo)航與運(yùn)動協(xié)調(diào)控制、人機(jī)交互技術(shù):人機(jī)有效溝通的橋梁
資料獲取
機(jī)器人開發(fā)
== 最新資訊 ==
ChatGPT:又一個“人形機(jī)器人”主題
ChatGPT快速流行,重構(gòu) AI 商業(yè)
中國機(jī)器視覺產(chǎn)業(yè)方面的政策
中國機(jī)器視覺產(chǎn)業(yè)聚焦于中國東部沿海地區(qū)(
從CHAT-GPT到生成式AI:人工智能
工信部等十七部門印發(fā)《機(jī)器人+應(yīng)用行動實(shí)
全球人工智能企業(yè)市值/估值 TOP20
創(chuàng)澤智能機(jī)器人集團(tuán)股份有限公司第十一期上
諧波減速器和RV減速器比較
機(jī)器人減速器:諧波減速器和RV減速器
人形機(jī)器人技術(shù)難點(diǎn) 高精尖技術(shù)的綜合
機(jī)器人大規(guī)模商用面臨的痛點(diǎn)有四個方面
青島市機(jī)器人產(chǎn)業(yè)概況:機(jī)器人企業(yè)多布局在
六大機(jī)器人產(chǎn)業(yè)集群的特點(diǎn)
機(jī)械臂-高度非線性強(qiáng)耦合的復(fù)雜系統(tǒng)
== 機(jī)器人推薦 ==
迎賓講解服務(wù)機(jī)器人

服務(wù)機(jī)器人(迎賓、講解、導(dǎo)診...)

智能消毒機(jī)器人

智能消毒機(jī)器人

機(jī)器人開發(fā)平臺

機(jī)器人開發(fā)平臺


機(jī)器人招商 Disinfection Robot 機(jī)器人公司 機(jī)器人應(yīng)用 智能醫(yī)療 物聯(lián)網(wǎng) 機(jī)器人排名 機(jī)器人企業(yè) 機(jī)器人政策 教育機(jī)器人 迎賓機(jī)器人 機(jī)器人開發(fā) 獨(dú)角獸 消毒機(jī)器人品牌 消毒機(jī)器人 合理用藥 地圖
版權(quán)所有 創(chuàng)澤智能機(jī)器人集團(tuán)股份有限公司 中國運(yùn)營中心:北京 清華科技園九號樓5層 中國生產(chǎn)中心:山東日照太原路71號
銷售1:4006-935-088 銷售2:4006-937-088 客服電話: 4008-128-728