日本的電氣通訊大學和東京電機大學3月11日發表研究成果稱，成功研發出一種能夠讓操作者「附身」的虛擬化身機器人（android avatar）。透過遠程操作虛擬化身機器人的頭部單元及其操作界面，可再現操作者的視線和說話時嘴部動作及其情緒表達，透過虛擬化身實施瞭如同對方就在現場一樣的遠程交流。這種再現操作者情緒表達的同時給操作者帶來高度臨場感的系統，至今還未有過先例。
這款人形機器人是由電氣通訊大學研究生院資訊理工學研究科機械智慧系統學專業的仲田佳弘副教授和該專業碩士1年級學生新川馨子，東京電機大學未來科學部機器人與機電一體化學科的中島瑞助教（開發當時爲電氣通訊大學同專業的特任助教）組成的研究團隊共同開發的。
圖1：（a）（b）（c）爲此次開發的虛擬化身人形機器人「Yui」：（a）爲Yui頭部整體影像以及攝影頭、小麥克風等位置；（b）爲再現喜怒哀樂等情緒表達；（c）爲談話示範中，Yui再現操作者的微笑情緒表達。（供圖：電子通訊大學）
研究團隊開發了虛擬化身人形機器人「Yui」的頭部單元，包括頸部的活動在内，頭部的28個部位可以變形和活動。此外，還開發了能夠以可測量佩戴者情緒表達的VR頭戴設備，將操作者的情緒表達再現到虛擬化身上，同時將透過虛擬化身上的多個攝影頭和小麥克風採集的影音呈現給操作者，讓操作者獲得高度臨場感。
研究人員透過簡單的實驗和示範驗證了所開發的虛擬化身和界面的有效性。相關研究成果已發表在IEEE（美國電氣和電子工程師協會）的開放獲取期刊《IEEE Access》上。
「Yui」透過其豐富的頭部變形和活動能夠做出人一樣喜怒哀樂的情緒表達。此外，它的雙眼、雙耳内置了作爲感知器的立體攝影機和立體小麥克風，可以採集「Yui」看到的影像和聽到的聲音。
這些包含視差的影像和包含空間音效的聲音透過VR頭戴設備呈現給操作者。VR頭戴設備配備了用於影片顯示的顯示螢幕和用於聲音播放的揚聲器，讓操作者在立體影片之外還能體驗立體音效。這樣，即使實際看不見，也可以透過聲音資訊知道呼喚聲來自哪裏。
而VR頭戴設備則配備了可以採集操作者頭部的旋轉以及眼睛、眉毛、臉頰等面部部位變化的感測器，以及用於採集話語的小麥克風。該設備依據操作者頭部運動的資訊使「Yui」活動，從而實施操作者和「Yui」的情緒表達起伏同步。
小麥克風採集的聲音是透過嵌入「Yui」胸部的揚聲器播放的，由此操作者與虛擬化身對面的人可以進行交流。
該研究成果未來有望應用於遠程的高滿足感交流，以及需要細緻關懷和信任的診療、面談等場景。
據悉，透過根據操作者的特性和情景改變虛擬化身的情感傳遞特性，未來甚至可能實施超越面對面交流的交流。
原文：《科學新聞》
翻譯：JST客觀日本編輯部
【論文資訊】
雜誌：IEEE Access
論文：Development of the Lifelike Head Unit for a Humanoid Cybernetic Avatar 'Yui' and Its Operation Interface
DOI：10.1109/ACCESS.2024.3365723
