在2024年5月發佈的超級計算機性能排行榜「Graph500」的BFS部門中,理研的「富嶽」連續9期位居世界第一,NTT開發的圖表計算高速演算法在其中做出了巨大貢獻。NTT於6月25日召開了線上說明會,介紹了具活體內容。
圖 1:使用Forest Pruning技術構建 BFS 樹的流程(NTT 提供)。
圖表是透過頂點和分支顯示事物之間關係的資料。NTT開發了一種被稱爲「Forest Pruning」的高速演算法,從頂點開始按遠近順序計算頂點整體的聯繫(BFS、廣度優先演算法)。
NTT電腦與資料科學研究所主任研究員新井淳介紹相關成果時表示:「該技術在今年5月的超級計算機性能排行榜Graph500的BFS部門中做出了很大貢獻,使富嶽將其保持的首位記錄又進一步提高了約20%。透過使用該技術,有望提高資料挖掘和AI等使用大規模圖形資料的各種處理的性能。」
包括該技術在内,NTT與理化學研究所等的聯合研究小組開發的成果將於11月17日至22日在美國亞特蘭大舉行的高性能計算領域頂級會議「The International Conference for High Performance Computing, Networking, Storage,and Analysis(SC24)」上發表。
現實世界中的許多複雜資訊都是用圖表表示的,典型的例子就是路綫圖和道路網路,其他的例如知識、購物記錄、通話記錄和金融交易等,也是用圖表表示。
計算從出發地到目的地的最短路徑問題也屬於圖表計算。多年來,NTT一直致力於研究如何以更短的時間和更低的功耗處理大型圖表,並設計了一種快速演算法「Forest Pruning」,以實施高效的BFS。
在去年11月公佈的Graph500綠色大資料部門的排名中,利用NTT的圖表處理技術(包括GPU上的「Forest Pruning」技術),獲得了商用處理器的最高能效記錄。
NTT還參與了在超級計算機「富嶽」上挑戰Graph500的聯合研究小組,併爲「富嶽」安裝了「Forest Pruning」技術,從而取得了九次蟬聯第一的成果。
對於這種高速演算法的概要,新井先生介紹時表示:「Graph500的任務是構建一棵BFS樹,從給定的頂點(起點)開始,按照由近到遠的順序跟隨頂點。爲了高效地完成這一任務,‘Forest Pruning’在輸入圖表時,就會分離圖表中原本爲樹形結構的部分(森林)。然後,在指定起點時,透過僅在非圖表樹的部分跟隨頂點,構建一棵局部BFS樹,再將分離出來的森林連接起來,就能構建完整的BFS樹。」
這樣,與以往保持原BFS樹的狀態進行計算處理相比,能夠減量步驟的數量,縮短計算處理時間,還能減量計算所要消耗的主記憶體。
除了「Forest Pruning」,NTT還於5月在Graph500 BFS基準程式中爲「富嶽」安裝了新開發的圖形資料壓縮技術。由此,使用「富嶽」的152,064個計算節點(約佔總數的96%),計算了Graph500規定的圖形規模SCALE42和SCALE43的性能。
得到的結果是,對於擁有約4.4兆個頂點和70.4兆條邊的SCALE42,性能(GTEPS:Giga TEPS)達到166,029GTEPS,比上次創下的記錄(2023年11月、138,867GTEPS)提高了約 20%,平均處理時間縮短至0.42秒。
對於規模更大、約有8.8兆個頂點和140.7兆條邊的SCALE43,其性能爲198,321GTEPS,也比上次的記錄提高了43%,處理時間縮短至0.71秒。
至此,「富嶽」在5月的Graph500排名的SCALE42計算中連續第九次位列第一。
至於SCALE43,爲了減量性能測量所需的時間,省略了Graph500要求的BFS樹的驗算,所以此次沒有向該排名提交計算結果。新井先生表示,希望在以後的Graph500排名中提交。
原文:《科學新聞》
翻譯:JST客觀日本編輯部