量子科學技術研究開發機構（QST）量子生命科學研究所的間島慶研究員、資訊通訊研究機構（NICT）未來ICT研究所的小出（間島）真子研究員、大阪大學研究生院生命機能研究科的西本伸志教授等人組成的研究團隊成功還原出了大腦中浮現的影像。此前雖然有過成功復原眼睛看到的影像或簡單符號影像的先例，但成功復原出出現在腦海中的各類影像在世界上還是首次。間島研究員表示：「透過引入生成式AI的輔助，實施了高精度還原」。相關成果已發表在《Neural Networks》上。
量子生命科學研究所研究員間島慶在發佈會上展示成果
利用新技術還原影像的示例。左列爲豹，右列爲玻璃球。透過AI的輔助（上排），準確度大幅提高
近年來，使用fMRI進行的腦科學研究取得了快速進展，此前有研究報導顯示，可還原眼睛實際看到的影像。然而，對於不在眼前只是在腦海中出現的影像，還只能還原字母或簡單的幾何圖案，對於物體或風景等複雜的事物尚無還原成功的先例。
此次，研究團隊利用fMRI測量的大腦訊號構建了大腦訊號翻譯機，並將影像所具有的特徵的數值資料與生成式AI的繪圖相結合，成功還原了腦海中浮現的影像。
首先，向實驗物件展示物體或風景等1200張影像，用fMRI獲取1200張影像的大腦訊號資料，同時將這些圖片輸入給圖形識別用AI，透過將每張圖片的固有值（顏色的比例、45度線段的強度、條紋的數量、影像所代表的特徵，例如，貓頭鷹影像中的鳥類特徵等）轉換爲約613萬個列（評分表），從而生成了1200張的數值資料（矩陣）。根據這些配對的大腦訊號資料和評分表，建立了一個將大腦訊號翻譯成評分表的大腦訊號翻譯機。
然後，讓進入fMRI中的受試者想像影像，讓翻譯機根據腦訊號對照評分表輸出結果，進行影像的還原。生成式AI自動輸出的影像會根據評分表反復修正500次（貝葉斯推斷和朗之萬動力學法的組合）。由此，成功實施了平均正確率達90.7%的高精度影像還原。
根據從大腦訊號中還原大腦描畫的影像（心理影像），有助於開發透過心理影像進行交流的裝置，也就是所謂的腦機介面。有望成爲與因病或受傷而難以與醫學家溝通的患者進行交流的手段。
此外，該方法還可以作爲一種幫助人類瞭解大腦如何產生想像、睡眠中的夢境和幻覺等大腦活動的工具。
間島研究員表示：「迄今爲止，人類透過望遠鏡可以看到宇宙，透過顯微鏡可以看到微觀世界。此次，我們第一次踏入了人類的內心世界。對此非常感謝過去所做的大量研究」。
原文：《科學新聞》
翻譯：JST客觀日本編輯部
【論文資訊】
雜誌：Neural Networks
論文：Mental image reconstruction from human brain activity: Neural decoding of mental imagery via deep neural network-based Bayesian estimation
DOI：10.1016/j.neunet.2023.11.024
