注意看，機(jī)器人像人一樣從容地走出大門了！
甚至，還有一整支機(jī)器人隊(duì)伍迎面走來。
人形機(jī)器人獨(dú)角獸Figure，再次帶來他們的新成果——利用強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)自然人形行走。
跟之前版本的機(jī)器人相比，確實(shí)更像人了許多，而且步態(tài)更加輕盈，速度也更快。
網(wǎng)友們紛紛表示被驚艷到，甚至覺得像是太空行走。
有一說一，自從與OpenAI取消合作后，這成果輸出確實(shí)又快又多。
機(jī)器人像人一樣自然行走
此次推出的，是經(jīng)過強(qiáng)化學(xué)習(xí)訓(xùn)練的端到端神經(jīng)網(wǎng)絡(luò)。
根據(jù)官方介紹，主要分成三個(gè)部分：
強(qiáng)化學(xué)習(xí)：強(qiáng)化學(xué)習(xí)利用模擬試驗(yàn)和錯(cuò)誤，教Figure 02 人形機(jī)器人如何像人一樣行走。
模擬訓(xùn)練：通過高保真物理模擬器學(xué)習(xí)如何像人類一樣行走，結(jié)果只需幾個(gè)小時(shí)就能模擬出多年的數(shù)據(jù)。
Sim-to-Real：通過將仿真中的域隨機(jī)化與機(jī)器人上的高頻扭矩反饋相結(jié)合，模擬訓(xùn)練無需額外調(diào)整即可直接轉(zhuǎn)換為真實(shí)硬件。
具體來看。
首先，利用強(qiáng)化學(xué)習(xí)技術(shù)，在GPU加速物理仿真中對新的行走控制器進(jìn)行了全面訓(xùn)練，并在幾個(gè)小時(shí)內(nèi)收集了數(shù)年的仿真演示數(shù)據(jù)。
在模擬器中，數(shù)以千計(jì)的Figure 02機(jī)器人被并行模擬，每個(gè)機(jī)器人都有獨(dú)特的物理參數(shù)。
然后，這些機(jī)器人將暴露在它們可能遇到的各種場景中，并通過單一神經(jīng)網(wǎng)絡(luò)策略學(xué)習(xí)如何操作它們。這包括遇到各種地形、致動(dòng)器動(dòng)態(tài)變化以及對絆倒、滑倒和推搡的反應(yīng)。
使用強(qiáng)化學(xué)習(xí)學(xué)習(xí)到的策略可能會(huì)趨近于次優(yōu)控制策略，無法捕捉到人類行走的風(fēng)格屬性。這包括以類似人類的步態(tài)行走，腳跟著地、腳尖離開、手臂擺動(dòng)與腿部運(yùn)動(dòng)同步。
于是他們通過獎(jiǎng)勵(lì)機(jī)器人模仿人類的行走參考軌跡，將這種偏好注入到學(xué)習(xí)框架。這些軌跡為策略允許產(chǎn)生的行走方式建立了先驗(yàn)，而額外的獎(jiǎng)勵(lì)條款則優(yōu)化了速度跟蹤、功耗以及對外部擾動(dòng)和地形變化的魯棒性。
最后一步是將策略從模擬中提取出來，應(yīng)用到真正的仿人機(jī)器人中。仿真機(jī)器人充其量只是高維機(jī)電系統(tǒng)的近似值，在仿真中訓(xùn)練的策略只能保證在這些仿真機(jī)器人上有效。
為了彌補(bǔ)這一 “模擬到現(xiàn)實(shí)的差距”，他們在模擬中結(jié)合使用了域隨機(jī)化和機(jī)器人上的kHz-速率扭矩反饋控制。
域隨機(jī)化通過隨機(jī)化每個(gè)機(jī)器人的物理屬性，模擬策略可能需要運(yùn)行的各種系統(tǒng)，從而彌合模擬與現(xiàn)實(shí)之間的差距。這有助于該策略在不進(jìn)行任何額外微調(diào)的情況下，實(shí)現(xiàn)與物理機(jī)器人的 “零接觸”。
用kHz速率閉環(huán)扭矩控制來運(yùn)行策略輸出，以補(bǔ)償執(zhí)行器建模中的誤差。該策略對機(jī)器人與機(jī)器人之間的變化、表面摩擦力和外部推動(dòng)力的變化都很穩(wěn)健，在整個(gè)Figure 02 機(jī)器人群中實(shí)現(xiàn)了可重復(fù)的仿人行走。
于是乎，就看到了10個(gè)機(jī)器人同一步態(tài)行走，沒有任何調(diào)整或變化。
接下來，他們計(jì)劃將這一技術(shù)擴(kuò)展到數(shù)千個(gè) Figure 機(jī)器人。
人形機(jī)器人越來越像人了
之所以這次選擇對機(jī)器人步態(tài)的改善，F(xiàn)igure創(chuàng)始人也說了，這并非是他們的首要任務(wù)，只是之前網(wǎng)友吐槽得多了，他們最終目標(biāo)是商業(yè)運(yùn)送機(jī)器人。
By the way，今年伊始海內(nèi)外的人形機(jī)器人都密集亮相，諸多大廠企業(yè)開始投身機(jī)器人的布局當(dāng)中，這不今天同一天，vivo宣布成立機(jī)器人Lab。
在這些機(jī)器人持續(xù)整活之中，能夠看到他們舉手投足之間著實(shí)越來越像人了。
且不說跟大爺一樣在公園遛彎、跑步、二人轉(zhuǎn)之類。
還學(xué)會(huì)了人類的一些空翻、托馬斯全旋等等雜技。
你還期待人形機(jī)器人哪些地方可以像人的？