客觀日本

日本新開發出面向聽障者的智慧眼鏡,對話内容實施「視覺化」

2022年01月25日 生物醫藥

大日本住友製藥公司正在開發可以讓聽障者掌握對話内容的眼鏡型可穿戴終端機「智慧眼鏡」。由該公司與築波大學的校辦初創企業Pixie Dust Technologies(東京千代田區)共同推進。該設備可將對話者的發言即時轉換爲文字顯示,並且支援多人對話。除工作會議外,還設想用於購物等日常生活。目標是在2023年度實施實用化。

兩家公司於2019年夏季開始聯合研究,並於2021年9月簽訂了開發協議。正在開發的智慧眼鏡透過分析聲音來識別發言者及發言内容,然後透過鏡片以字幕的形式顯示在發言者的胸部位置,由此實施對話内容的「視覺化」,更便於健康人士與聽障人士之間的溝通交流。

title

大日本住友製藥公司正在開發即時顯示對話内容的智慧眼鏡(畫面爲示意圖。圖片由該公司提供)

該設備能夠處理多達10個人的對話。目標是使終端機獨立運行,實施可以像普通眼鏡一樣使用。

話音辨識是基於Pixie Dust公司擅長的「波動控制技術」。該技術利用聲音、光和電磁波等的波動來測量和傳輸資訊,此次將透過聲音的波動來處理語音並識別發言者。該公司此前一直在利用這項技術開發能將聲音傳遞到特定人耳邊等的焦點揚聲器和特殊吸音材料等。

智慧眼鏡開發已經進入讓聽障者試用試製品的階段。將根據使用者的需求確定需要改善的地方。目前是在市售的智慧眼鏡終端機中嵌入開發的語音顯示系統。然而,還存在重量、電池續航時間和視野狹窄等課題,因此今後還考慮開發終端機。

大日本住友製藥公司前緣業務推進室的吉水稔表示:「除顯示字幕外不配備特殊的功能,因此還有望進一步減輕重量。」

日本國内的聽障人士據統計超過1400萬人。聽障者大多都使用助聽器,但遇到多人同時發言時,很難辨別誰在講話。即使是1對1的對話,有時也會因爲周圍的噪音而無法準確理解發言内容。如果聽力障礙比較嚴重,可能無法使用助聽器。

正在開發的智慧眼鏡支援多人對話,對話内容也能全部以文字形式顯示。其好處就是無論聽力障礙多麼嚴重均可以利用。吉水信心十足地表示:「我們的目標是實施像普通眼鏡那樣廣泛利用的終端機。」

智慧眼鏡打算作爲資訊終端機而非醫療器械銷售。銷售方法和價格等將在今後討論。

近年來,透過字幕交流工具儘可能地消除聽障人士與健康人士之間的交流障礙的舉措越來越多。

支援聽障者的工具陸續面世
大日本住友製藥 正與Pixie Dust Technologies公司共同開發用文字顯示對話内容的智慧眼鏡
築波大學 開發了將對話内容轉換成文字,顯示在屏幕上的系統
軟銀 與電氣通訊大學等共同開發了將語音和手語轉換成文字的系統
亮亮視野科技(中國) 開發出了將聲音對話轉換成文字的智慧眼鏡

由擔任Pixie Dust Technologies公司代表的落合陽一副教授主管的築波大學數位自然研究室,開發出了可以在面對面的對話中將發言内容自動轉換成文字,在設置於對話者之間的透明顯示螢幕上即時顯示字幕的系統。可以邊觀察對方的情緒表達和動作等肢體語言邊自然地進行交流。

軟銀與電氣通訊大學等共同開發了可以在影片通話中將手語和語音轉換成文字相互交流的系統。該系統使用人工智慧(AI),在影片通話中追蹤身體動作,提取手語特徵並轉換成文字。

中國的亮亮視野科技公司面向聽障者開發了可將語音即時轉換成文字的AR(強化現實)眼鏡。將語音轉換成文字顯示時的延遲僅3~5個字符。即使與距離和方向各異的多人對話時,也能流暢顯示,並且還能根據句子的前後關係,即時修正同音異義詞。

日文:下野裕太、《日經產業新聞》,2022/01/12
中文:JST客觀日本編輯部