“克隆”一個自己去上班，微軟VR遠程會議機器人，還原動作口型眼神

編者按：本文來自微信公眾號“智東西”（ID:zhidxcom），作者：李水青，36氪經(jīng)授權(quán)發(fā)布。

看點：真人“分身”實現(xiàn)遠程零距離開會！微軟最新研究：精準還原眼神、肢體甚至步伐。

智東西5月6日消息， 今天，微軟研究院推出了在線會議虛擬機器人系統(tǒng)VROOM，可以使參加遠程會議用戶的虛擬形象出現(xiàn)在辦公場所，并和在場同事進行實時交流互動。

許多人還記得《西游記》里的場景，當唐僧師徒四人遇到最難過的坎兒時，觀音菩薩的“化身”在最后關(guān)頭出現(xiàn)，為孫悟空指點迷津，說完后立馬消失不見?，F(xiàn)在，這種“神仙畫面”也呈現(xiàn)在了現(xiàn)實的遠程會議中。

微軟發(fā)布的VROOM虛擬機器人系統(tǒng)正是類似這種“神仙操作”。這款系統(tǒng)的實際體驗效果如何？背后有哪些黑科技，又是如何運作的？通過微軟研究院及西蒙·弗雷澤大學研究人員發(fā)布的論文以及相關(guān)體驗資料，我們也身臨現(xiàn)場體驗了一回。

戴上VR頭顯設(shè)備，在家遠程辦公的用戶可以讓自己的“化身”去現(xiàn)場開會。

▲遠程辦公者所需設(shè)備簡單

不僅可以身臨其境地進入辦公室，還能夠讓辦公室里的同事看到自己“似魔鬼的步伐”。

▲辦公室在場者看到的畫面

當然，辦公室同事需要帶上AR頭顯設(shè)備。遠程工作者“化身”身邊的機器人的輔助，遠程工作者和辦公室在場工作者可以“在一個時空匯聚”，看到彼此并打招呼。

更神奇的是，遠程工作者和辦公室在場工作者能夠進行無縫的工作討論。對于遠程工作者來說，他能通過第一視角，看到工作白板上的文字，并與“眼前的”在場工作者進行討論。

對于在辦公室的在場工作者來說，他可以看到真實場景中疊加的同事形象，并與對方進行交互。雖然這種畫面有時候比例有些奇怪，但是可以看到交互還是很流暢的。

▲遠程工作者和在場工作者進行討論時，雙方的視角

對于遠程工作者來說，他的手臂及手勢動作會被VR設(shè)備控制器記錄，從而呈現(xiàn)在“化身”身上。

同時，在VROOM系統(tǒng)作用下，他的臉會呈現(xiàn)在遠程“化身”的頭上，為了增強真實感，還增加了口型、眨眼等伴隨動作。

VROOM系統(tǒng)還為遠程工作者提供第一人稱視角，并且可以360°自由移動。遠程工作者可以和其它使用AR頭顯的人一樣，看到自己的手部動作和手勢。

對于在場工作者來說，他們可以通過微軟HoloLens AR頭顯，看到遠程用戶的真人大小的“化身”疊加在真實的辦公室場景中。

VROOM如何使得遠程工作者和辦公室現(xiàn)場的環(huán)境和員工互動起來呢？這需要遠程機器人的配合，拍攝下“化身”所在場景的情況。

遠程呈現(xiàn)機器人并不是新事物，它可以通過巡視周圍空間，為不在場的人呈現(xiàn)當場的畫面。但是此前，這種呈現(xiàn)是不聚焦的。比如，遠程參會者指著桌上的一個模型，讓在場工作者拿起來，并就此進行討論，這在之前難以實現(xiàn)。

▲通過VROOM，遠程工作者能與在場者進行專注的互動

VROOM則是一個探索如何提高機器人遠程呈現(xiàn)的社會體驗的雙向系統(tǒng)。

VROOM系統(tǒng)的作用在于，將本地（AR）和遠程（VR）用戶匯聚到一個時空“場”中，增強使用遠程呈現(xiàn)機器人的體驗。

▲VROOM運作模式：左圖為在場者場景，右圖為遠程工作者場景

由上圖可知，在本地空間內(nèi)，在場工作者通過佩戴微軟HoloLens AR耳機，疊加遠程呈現(xiàn)機器人的作用，能夠看到遠程工作者的真人大小的“化身”以及手勢動作。

在遠程空間中，通過VROOM系統(tǒng)，遠程工作者可以獲得遠程呈現(xiàn)機器人上面的攝像頭拍攝的圖像，通過VR頭顯設(shè)備，看到第一人稱視角的自主活動的場景。

VROOM已被美國計算機學會（ACM）的計算機系統(tǒng)人類因素會議（ACM CHI Conference on Human Factors in Computing System）接受發(fā)表。該會議原定于上周在夏威夷舉行，但由于新冠肺炎等原因被取消了。VROOM是其之前一項研究貢獻的續(xù)篇，2018年，ACM CHI上就出現(xiàn)了Mini-Me，正是一種將化身帶入會議中以進行混合現(xiàn)實會議和互動的方式。

▲微軟官網(wǎng)關(guān)于VROOM的論文

VROOM由西蒙·弗雷澤大學與微軟研究院的研究人員共同研發(fā)，他們在論文中說：“為了讓虛擬機器人和VROOM的配合呈現(xiàn)更直觀，我們用了屏幕。但是其實在使用時，不需要屏幕，只需要帶著VR頭顯就可以了。未來，這一技術(shù)可能繼續(xù)迭代，能夠使用任何可驅(qū)動的帶有360°攝像功能的機器人?！?/p>

作者認為，VROOM技術(shù)非常適用于需要白板書寫、討論設(shè)計的會議，這使得與會者能夠和在場人一樣參與進來，提高效率。

除此之外，已經(jīng)有研究者將遠程呈現(xiàn)機器人用于博物館、遠程學術(shù)會議、遠距離社交等領(lǐng)域，但主要關(guān)注遠程呈現(xiàn)體驗本身，而不是創(chuàng)造全新的機器人遠程呈現(xiàn)交互體驗。

目前，VROOM僅演示了一對一的交互。未來，VROOM可能會開發(fā)多對多的應(yīng)用程序，讓人們在共享的混合現(xiàn)實工作空間中進行互動，或者與成本更低的移動機器人一起工作。

疫情使得人們更加“非接觸式”交互，而VR/AR正是一項打破原本時空界限的技術(shù)。除了VROOM，上個月被引入VR Zoom會議的Space，上周HTC推出的Vive Sync應(yīng)用都是探索。

技術(shù)的“魔力”可能遲到但不會缺席。在疫情的“社交隔離”前期，許多人疑惑為什么AR/VR技術(shù)沒有發(fā)揮營造“虛擬在場感”的優(yōu)勢，產(chǎn)生讓人眼前一亮的應(yīng)用?，F(xiàn)在來看，一切都在進行當中。