量子科學技術研究開發機構（QST）量子生命科學研究所的間島慶研究員、資訊通信研究機構（NICT）未來ICT研究所的小出（間島）真子研究員、大阪大學研究生院生命機能研究科的西本伸志教授等人組成的研究團隊成功還原出了大腦中浮現的圖像。此前雖然有過成功複原眼睛看到的圖像或簡單符號圖像的先例，但成功複原出出現在腦海中的各類圖像在世界上還是首次。間島研究員表示：「通過引入生成式AI的輔助，實現了高精度還原」。相關成果已發表在《Neural Networks》上。
量子生命科學研究所研究員間島慶在發布會上展示成果
利用新技術還原圖像的示例。左列為豹，右列為玻璃球。通過AI的輔助（上排），準確度大幅提高
近年來，使用fMRI進行的腦科學研究取得了快速進展，此前有研究報導顯示，可還原眼睛實際看到的圖像。然而，對於不在眼前只是在腦海中出現的圖像，還只能還原字母或簡單的幾何圖案，對於物體或風景等複雜的事物尚無還原成功的先例。
此次，研究團隊利用fMRI測量的大腦信號構建了大腦信號翻譯機，並將圖像所具有的特徵的數值數據與生成式AI的繪圖相結合，成功還原了腦海中浮現的圖像。
首先，向實驗對象展示物體或風景等1200張圖像，用fMRI獲取1200張圖像的大腦信號數據，同時將這些圖片輸入給圖形識別用AI，通過將每張圖片的固有值（顏色的比例、45度線段的強度、條紋的數量、圖像所代表的特徵，例如，貓頭鷹圖像中的鳥類特徵等）轉換為約613萬個列（評分表），從而生成了1200張的數值數據（矩陣）。根據這些配對的大腦信號數據和評分表，建立了一個將大腦信號翻譯成評分表的大腦信號翻譯機。
然後，讓進入fMRI中的受試者想像圖像，讓翻譯機根據腦信號對照評分表輸出結果，進行圖像的還原。生成式AI自動輸出的圖像會根據評分表反復修正500次（貝葉斯推斷和朗之萬動力學法的組合）。由此，成功實現了平均正確率達90.7%的高精度影像還原。
根據從大腦信號中還原大腦描畫的圖像（心理圖像），有助於開發通過心理圖像進行交流的裝置，也就是所謂的腦機介面。有望成為與因病或受傷而難以與醫生溝通的患者進行交流的手段。
此外，該方法還可以作為一種幫助人類瞭解大腦如何產生想像、睡眠中的夢境和幻覺等大腦活動的工具。
間島研究員表示：「迄今為止，人類通過望遠鏡可以看到宇宙，通過顯微鏡可以看到微觀世界。此次，我們第一次踏入了人類的內心世界。對此非常感謝過去所做的大量研究」。
原文：《科學新聞》
翻譯：JST客觀日本編輯部
【論文資訊】
雜誌：Neural Networks
論文：Mental image reconstruction from human brain activity: Neural decoding of mental imagery via deep neural network-based Bayesian estimation
DOI：10.1016/j.neunet.2023.11.024
