首頁
產(chǎn)品系列
行業(yè)應(yīng)用
渠道合作
新聞中心
研究院
投資者關(guān)系
技術(shù)支持
關(guān)于創(chuàng)澤
| En
 
  當(dāng)前位置:首頁 > 新聞資訊 > 機(jī)器人知識(shí) > 機(jī)器人多模態(tài)視覺語言導(dǎo)航技術(shù)解析  
 

機(jī)器人多模態(tài)視覺語言導(dǎo)航技術(shù)解析

來源:算法邦      編輯:創(chuàng)澤      時(shí)間:2022/4/21      主題:其他   [加盟]

計(jì)算機(jī)視覺(CV)和自然語言處理(NLP)早先是兩個(gè)較為獨(dú)立的研究領(lǐng)域。CV 重點(diǎn)關(guān)注如何用計(jì)算機(jī)代替人眼對(duì)目標(biāo)完成識(shí)別、跟蹤、測(cè)量等任務(wù),對(duì)圖像進(jìn)行處理;NLP 則研究計(jì)算機(jī)如何處理、運(yùn)用自然語言,包括語言生成、問答、對(duì)話等任務(wù)。近年來,以深度神經(jīng)網(wǎng)絡(luò)為代表的機(jī)器學(xué)習(xí)和模式識(shí)別技術(shù)被廣泛應(yīng)用于 CV 和 NLP 領(lǐng)域,取得了目前最先進(jìn)的效果。

近年來,研究者們?cè)噲D將動(dòng)作控制也引入到「視覺-語言」任務(wù)的框架中。吳琦將此類任務(wù)命名為 V3A(Vision, Ask, Answer, Act),在給定視覺輸入后,我們希望機(jī)器能夠提出問題、回答問題、并通過和人以及機(jī)器之間的語言交流執(zhí)行某些動(dòng)作。

例如,「Vision+Ask」的任務(wù)包含視覺問題生成、根據(jù)問題生成查詢、圖像描述等;「Vision+Answer」的任務(wù)包含視覺問答、視覺對(duì)話等;「Vision+Act」的任務(wù)包含指稱表達(dá)、視覺對(duì)齊(visual grounding)、語言引導(dǎo)的視覺導(dǎo)航、具身視覺問答、具身指稱表達(dá)等。




  



基于康復(fù)機(jī)器人內(nèi)部傳感器的運(yùn)動(dòng)功能評(píng)價(jià)方法

基于康復(fù)機(jī)器人內(nèi)部傳感器識(shí)別記錄訓(xùn)練過程中的運(yùn)動(dòng)學(xué)參數(shù),能夠?qū)崟r(shí)定量評(píng)估不同的運(yùn)動(dòng)模式,還能夠掌握患者是否主動(dòng)參與訓(xùn)練等情況

優(yōu)必選科技副總裁龐建新:面向智能機(jī)器人的視覺感知與理解

智能機(jī)器人視覺方面的工作,主要體現(xiàn)在感知、理解、學(xué)習(xí)及推理4個(gè)方面,涉及到目標(biāo)檢測(cè)、目標(biāo)追蹤、人體姿態(tài)估計(jì)、人臉識(shí)別、行為識(shí)別、推理等技術(shù)

優(yōu)必選專家丁宏鈺深入講解大型仿人機(jī)器人整機(jī)構(gòu)型

從大型仿人機(jī)器人整機(jī)構(gòu)型國內(nèi)外研究現(xiàn)狀入手,圍繞機(jī)器人整機(jī)構(gòu)型、關(guān)節(jié)運(yùn)動(dòng)特點(diǎn)、伺服驅(qū)動(dòng)器、減速器、仿真平臺(tái)等方面進(jìn)行深度講解,最后就大型仿人機(jī)器人整機(jī)構(gòu)型未來發(fā)展趨勢(shì)給出自己的見解

個(gè)性化的人機(jī)交互

HRI的MTL可以使機(jī)器人更輕松,更智能地與新用戶進(jìn)行交互,即使使用諸如RL這樣的數(shù)據(jù)密集型方法,也可以避免社交交互失敗的不利影響。MTL和多模態(tài)ML已用于自動(dòng)識(shí)別自閉癥譜系障礙(ASD)兒童

淺談服務(wù)機(jī)器人的潛在危險(xiǎn)

服務(wù)機(jī)器人潛在危險(xiǎn)有:電擊、與能量有關(guān)的危險(xiǎn)、著火、與熱有關(guān)的危險(xiǎn)、機(jī)械危險(xiǎn)、輻射、化學(xué)危險(xiǎn)等

視頻搜索太難了!阿里文娛多模態(tài)搜索算法實(shí)踐

視頻搜索是涉及信息檢索、自然語言處理(NLP)、機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(CV)等多領(lǐng)域的綜合應(yīng)用場(chǎng)景

野外自主農(nóng)作物探測(cè)機(jī)器人Robotanist使用擴(kuò)展卡爾曼濾波器(EKF)方法融合MTI等傳感器信息

驅(qū)動(dòng)系統(tǒng)由4個(gè)200W無刷直流電機(jī)構(gòu)成,通過50:1的空心軸減速機(jī)可以最高達(dá)2m/s的速度在玉米、高粱等農(nóng)作物的地里前進(jìn)

Jupiter由四輪獨(dú)立轉(zhuǎn)向的底盤和UR5機(jī)械臂組成通過SSD網(wǎng)絡(luò)檢測(cè)目標(biāo)物體

通過2D激光雷達(dá)信息采用Hector SLAM實(shí)現(xiàn)機(jī)器人對(duì)地圖的感知和自主導(dǎo)航規(guī)劃,通過頂部的RGB-D相機(jī)采集目標(biāo)物體深度和RGB圖像信息

移動(dòng)式操作機(jī)器人平臺(tái)Personal Robot 2可模擬開門、打臺(tái)球和畫畫

機(jī)器人的學(xué)習(xí)分為三個(gè)部分的軌跡預(yù)測(cè)包括示教者的手部運(yùn)動(dòng)軌跡、示教者的身體移動(dòng)軌跡以及被操作物體的運(yùn)動(dòng)軌跡

仿人操作機(jī)器人Cosero配備7自由度機(jī)械臂裝有Kinect相機(jī)實(shí)現(xiàn)對(duì)目標(biāo)環(huán)境的3D感知

Cosero是德國波恩大學(xué)的Sven Behnke團(tuán)隊(duì)根據(jù)家庭環(huán)境中的日常操作任務(wù)而研制的一款仿人操作機(jī)器人基于深度學(xué)習(xí)方法的目標(biāo)姿態(tài)估計(jì)和RGB-D SLAM等感知測(cè)量

傳感器面臨時(shí)代新機(jī)遇,未來發(fā)展將呈現(xiàn)哪些趨勢(shì)

機(jī)器人、無人機(jī)、自動(dòng)駕駛汽車等加快落地,智慧城市深入建設(shè),更是為傳感器產(chǎn)業(yè)帶來了難以估量的龐大機(jī)遇

中國移動(dòng)室內(nèi)定位白皮書

中國移動(dòng)聯(lián)合產(chǎn)業(yè)合作伙伴發(fā)布《室內(nèi)定位白皮書》,對(duì)室內(nèi)定位產(chǎn)業(yè)發(fā)展現(xiàn)狀及面臨的挑戰(zhàn),深入分析了垂直行業(yè)的室內(nèi)定位需求,并詳細(xì)闡述了實(shí)現(xiàn)室內(nèi)定位的技術(shù)原理, 及室內(nèi)定位評(píng)測(cè)體系
 
資料獲取

服務(wù)機(jī)器人在展館迎賓講解
新聞資訊
== 資訊 ==
» 人形機(jī)器人未來3-5年能夠?qū)崿F(xiàn)產(chǎn)業(yè)化的方
» 導(dǎo)診服務(wù)機(jī)器人上崗門診大廳 助力醫(yī)院智慧
» 山東省青島市政府辦公廳發(fā)布《數(shù)字青島20
» 關(guān)于印發(fā)《青海省支持大數(shù)據(jù)產(chǎn)業(yè)發(fā)展政策措
» 全屋無主燈智能化規(guī)范
» 微波雷達(dá)傳感技術(shù)室內(nèi)照明應(yīng)用規(guī)范
» 人工智能研發(fā)運(yùn)營體系(ML0ps)實(shí)踐指
» 四驅(qū)四轉(zhuǎn)移動(dòng)機(jī)器人運(yùn)動(dòng)模型及應(yīng)用分析
» 國內(nèi)細(xì)分賽道企業(yè)在 AIGC 各應(yīng)用場(chǎng)景
» 國內(nèi)科技大廠布局生成式 AI,未來有望借
» AIGC領(lǐng)域相關(guān)初創(chuàng)公司及業(yè)務(wù)場(chǎng)景梳理
» ChatGPT 以 GPT+RLHF 模
» AIGC提升文字 圖片滲透率,視頻 直播
» AI商業(yè)化空間前景廣闊應(yīng)用場(chǎng)景豐富
» AI 內(nèi)容創(chuàng)作成本大幅降低且耗時(shí)更短 優(yōu)
 
== 機(jī)器人推薦 ==
 
迎賓講解服務(wù)機(jī)器人

服務(wù)機(jī)器人(迎賓、講解、導(dǎo)診...)

智能消毒機(jī)器人

智能消毒機(jī)器人

機(jī)器人底盤

機(jī)器人底盤

 

商用機(jī)器人  Disinfection Robot   展廳機(jī)器人  智能垃圾站  輪式機(jī)器人底盤  迎賓機(jī)器人  移動(dòng)機(jī)器人底盤  講解機(jī)器人  紫外線消毒機(jī)器人  大屏機(jī)器人  霧化消毒機(jī)器人  服務(wù)機(jī)器人底盤  智能送餐機(jī)器人  霧化消毒機(jī)  機(jī)器人OEM代工廠  消毒機(jī)器人排名  智能配送機(jī)器人  圖書館機(jī)器人  導(dǎo)引機(jī)器人  移動(dòng)消毒機(jī)器人  導(dǎo)診機(jī)器人  迎賓接待機(jī)器人  前臺(tái)機(jī)器人  導(dǎo)覽機(jī)器人  酒店送物機(jī)器人  云跡科技潤機(jī)器人  云跡酒店機(jī)器人  智能導(dǎo)診機(jī)器人 
版權(quán)所有 © 創(chuàng)澤智能機(jī)器人集團(tuán)股份有限公司     中國運(yùn)營中心:北京·清華科技園九號(hào)樓5層     中國生產(chǎn)中心:山東日照太原路71號(hào)
銷售1:4006-935-088    銷售2:4006-937-088   客服電話: 4008-128-728