在物理、生命和社會等複雜系統中，構成要素同時相互關聯的高階相輔作用在產生創造性變化和多樣化行為方面發揮著本質性作用。這些高階相輔作用被認為參與了像大腦這樣的生物網路中資訊的表達，以及提升類神經網路的性能。然而，迄今為止，尚未建立起能夠基於一致原理看待這些問題的理論框架。
京都大學研究生院資訊學研究科的島崎秀昭副教授（兼北海道大學人類智慧·大腦·AI研究教育中心客座副教授）、西班牙巴斯克應用數學中心的米格爾·阿基雷拉（Miguel Aguilera）研究員、株式會社ARAYA的巴勃羅·A·莫拉雷斯（Pablo A. Morales）主任、英國薩塞克斯大學的費爾南德·E·羅薩斯（Fernando E. Rosas）助教等人的國際聯合研究團隊擴展了統計物理學的最大熵原理，提出了一種在彎曲的統計流形上的新神經網路模型「Curved Neural Networks（曲面神經網路）」。該模型通過使用基於Renyi（雷尼）熵的變形指數分布，能夠自然地融入傳統僅描述成對相輔作用的網路中無法實現的高階相輔作用，從而成為一個全新的框架。相關成果已發表在期刊《Nature Communications》上。
圖1 以在彎曲的神經網路上玩耍的孩子表示爆發性記憶喚起（插圖：Robin Hoshino）
研究團隊首先將最大熵原理擴展到雷尼熵，構建了遵循變形指數分布而非傳統指數型分佈的概率神經網路模型。當變形參數為正值時，可以在正曲率統計流形（球面型）上構建神經網路；當變形參數為負值時，可以在負曲率統計流形（鞍型）上構建神經網路。因此，即使是像傳統那樣隻描述成對相輔作用的低階模型，也能通過曲率（非線性）自然地呈現出包含高階相關的結構。
基於這一框架，研究人員進行了多種理論分析。通過平均場分析，理論上證明了有序-無序相變和自旋玻璃體相變並非連續變化，而是以急劇變化的「爆發性相變」形式出現，並且存在多個記憶同時穩定的區域。此外，通過動態平均場分析和路徑積分法，理論上證明了存在一種溫度根據網路狀態變化而變化的自我調節退火機制，使得記憶能夠被加速喚起。利用副本法對記憶容量進行定量分析後，發現了負變形參數會增加記憶容量，而正變形參數會抑制虛假記憶的權衡結構。
此外，通過使用機器學習中常用的視覺圖像數據集進行數值模擬，確認了記憶喚起的精度、速度以及虛假記憶的混入度會隨曲率的調整而變化。
這些成果為統一理解記憶模型中的爆發性相變、多穩定性以及精度與容量的平衡控制提供了重要框架。
＜研究者訪談＞
加深了對大腦機制的理解
阿基雷拉研究員表示：「我們對本研究開闢的多種可能性抱有很大期望。捕捉生物神經細胞中高階統計特徵的新建模方法將進一步加深我們對大腦機制的理解。還將為圖像和語言產出AI中使用的類神經網路架構的資訊編碼能力的提升帶來新的方法。我們認為，本框架將為探索自然智慧和人工智慧領域中資訊處理的本質提供有力的線索」。
研究具有魅力的現象
莫拉雷斯主任表示：「論文用一種優雅的方法來理解複雜系統中高階相輔作用（HOIs）的影響。特別令人印象深刻的是，廣義最大熵原理能夠在不增加模型參數指數級增長的情況下有效捕捉HOIs，從而實現了對富有魅力現象的研究。這使得研究具有表現出爆發性有序-無序相變和多穩定性系統成為可能。這些並非硬編碼，而是源自構建記憶空間的方法」。
以系統的自我控制為特點
羅薩斯助教表示：「我特別興奮於發現了能引發具有高階相輔作用的系統發生爆發性相變的基本機制，即自我調節型退火。該機制類似於眾所周知的模擬退火法，但其特點在於能量和溫度之間存在獨特的反饋，系統能夠自我控制。反饋系統是生命系統的一個顯著特徵，而人工神經系統中出現這種自我控制機制，我覺得尤其具有吸引力」。
新的AI設計指南
島崎副教授表示：「我想在彎曲的統計空間中構建神經網路，從理論上處理神經元的非線性和高階相輔作用！——這項研究從這樣一個簡單的想法開始，通過與對這個想法產生共鳴的同伴的交流得到了發展，並揭示了記憶喚起的意外行為。與夥伴們一同追蹤意外進展的時間非常刺激。我們認為，本研究提出了實現記憶快速喚起和適應力控制的框架，並為AI提出了新的設計方針」。
原文：《科學新聞》
翻譯：JST客觀日本編輯部
【論文資訊】
期刊：Nature Communications
論文：Explosive neural networks via higher-order interactions in curved statistical manifolds
DOI：doi.org/10.1038/s41467-025-61475-w
