東京大學研究生院藥學系研究科的山城皓太郎（博士生）和池谷裕二教授等人的研究團隊發表研究成果稱，透過記錄大鼠（老鼠）大腦皮層的局部場電位，構建了一個基於神經活動的人工智慧影像生成系統。該系統利用一種可以從噪音生成影像的生成式AI——「潛在擴散模式」，並將神經活動作爲噪音成分使用。透過更改模式，影像類型還可以自由設置。這是全球首次將腦活動與人工智慧相結合進行繪畫的系統。相關研究成果已於9月7日發表在國際學術期刊《PLOS ONE》上。
圖 根據老鼠大腦皮層的神經活動即時生成影像（供圖：東京大學）
「Stable Diffusion」是Stability AI公司於2022年8月發佈的一款開源模式，客戶只需輸入例如「騎馬的宇航員」的本文資訊即可輸出相應影像。與此前公佈的基於文字生成影像的服務模式不同，該模式開源，客戶可以自由定製模式。
研究團隊構建了一個框架，使系統能夠直接將大鼠大腦皮層記錄的局部場電位即時輸入到Stable Diffusion模式中。
擴散模式透過學習如何去除影像中的噪音並恢復出原始圖片，從而具備了從純噪音中復原圖像的能力。在訓練程序中，擴散模式學習了一組預定影像的特徵，透過向該模式輸入高斯噪音等隨機噪音，即可生成符合所學習的影像風格的全新影像。
在「Stable Diffusion」這類基於本文生成影像的模式中，透過將輸入的本文作爲從噪音恢復影像的參考依據，即可根據本文來生成影像。此類模式接受噪音和文字指令兩種輸入，並根據文字生成對應的影像。同時，如果故意不輸入文字指令，模式也可以僅依靠噪音生成影像。
在此次開發的系統中，研究人員未輸入任何文字指令，而是將記錄的大鼠大腦皮層的局部場電位作爲生成影像的噪音輸入。局部場電位記錄了神經元發出的訊號，是一種波形的時間序列資料，但這種資料格式無法直接輸入模式，因此需要進行壓縮以符合模式的要求。
研究團隊預計，如果能夠將大鼠的内部狀態反映在生成的影像中，未來就有可能實施根據大鼠的「情緒」生成影像。例如，當大鼠感興趣時，可能生成明亮氛圍的影像；而在大鼠感到睏倦時，則可能生成寧靜氛圍的影像。
研究團隊表示，此次開發的方法從原理上講，不僅可以應用於神經活動，還可以應用於心髒、腸蠕動等多種生物訊號，甚至可以擴展到風、海浪等自然現象的時序訊號。
池谷教授表示：「將老鼠大腦活動應用於生成繪畫的嘗試，看似離奇，但這項研究不僅揭示了影像生成式AI的新的可能性，也大大拓展了藝術表現領域，是一項創新性嘗試。展望未來，我們還考慮將此項技術應用於人類的生物訊號。」
原文：《科學新聞》
翻譯：JST客觀日本編輯部
【論文資訊】
期刊：PLOS ONE
論文：Diffusion model-based image generation from rat brain activity
DOI：10.1371/journal.pone.0309709
