「創新日本走訪」系列爲大家介紹爲實際應用於社會而進行研發的一線。本文爲該系列的第二回，採訪了熊本大學大學院先端科學研究部的上瀧剛教授，他利用自主開發的影像比對技術，爲在2016年熊本地面震動中倒塌的熊本城石牆的開墾工作提供了技術支援。
「森與水之都」遭嚴重破壞
恢復原狀需10年以上
日本的熊本縣熊本市東臨阿蘇外輪山，西眺有明海，市中心有發源於阿蘇山根子嶽的白川流過，被稱作「森與水之都」。熊本市在自然環境的恩賜下得以隊形變換。然而，2016年4月14日和16日，相繼發生了芮氏6.5級（震度爲6弱）和7.3級（震度爲6強）的兩次大地面震動。這場被稱爲「2016年熊本地面震動」的地震災害給熊本市帶來了巨大破壞，包括住宅倒塌、土石流以及避難生活壓力導致的地震災害相關死亡等。
其中，熊本城的倒塌給熊本市民帶來了巨大的衝擊。該城自1607年加藤清正建造以來，其天守閣（注：城堡中最高的城樓）一直深受人們的喜愛，但由於地面震動，天守閣的屋頂瓦片和鯱獸雕塑被損壞，環繞熊本城的石牆也約有30%出現石塊坍塌，共計數萬塊。災後，熊本市立即制定了熊本城開墾基本計劃，舉全市之力開始開墾。然而，石牆的開墾面臨巨大困難。出於保存重要文化遺產的考慮，必須將所有石塊原位復原。要想透過目視來識別石塊的形狀、大小和顏色並進行開墾，即使是經驗豐富的石匠，也要花十年以上的時間。
圖1 飯田丸5層哨樓的石牆倒塌情況。紅線區域爲地面震動導致的石塊失落部分。
在此情況下，熊本大學研究生院先端科學研究部的上瀧剛教授發揮了重要作用。在2016年5月震災發生不久，熊本大學就成立了復興支援專案，彙集各位教師的專業知識。當時，上瀧教授正在研究影像處理技術，可以高速且準確地比較樣本影像和現場拍攝的影像，判別它們是否相同。他回憶說：「之前這項技術是用來確定傳送帶上的零部件的，但是我想是否可還以將這項技術應用到石牆上，於是便開始開發石牆配對分組系統。」
比較地面震動前後照片確定石塊位置
「武者返回」結構帶來巨大困難
上瀧剛教授比較了地震災害前後的石牆照片，嘗試確定每塊掉落的石材原來的位置，但在影像資料方面遇到了問題。地震災害前的照片是爲了記錄維修情況而拍攝的低解析度二維（2D）資料。上瀧教授回顧當時的情況說道：「這些照片與我們新拍攝的高精度三維（3D）圖片相比，影像質量差異很大，所以無法進行有效的比對。」
爲此，他從熊本市熊本城調查研究中心獲得了2006年維修熊本城北側「百間石牆」的圖紙以及石塊掉落後的影像。同時，利用從不同位置拍攝的3D資料，使用疊代最近點（ICP）演算法，構建了獨自的影像比對系統（圖2）。在這個原型系統上驗證了5塊掉落的石材，全都成功找到了正確的位置。
圖2 基於ICP演算法的影像比對
使用ICP演算法，對由百間石牆的圖紙（左上）經AutoCAD格式、DXF格式變化獲得的坍塌前的輪廓資料，以及由坍塌後拍攝的石材照片獲得的輪廓資料進行對比配對分組。配對分組時，計算兩個點群的平移、旋轉、比例，並以其中的最小誤差作爲評價指標（右圖）。
在影像比對程序中，最令人頭疼的問題是熊本城獨特的「武士返回」結構——石牆底部傾角偏小，越往上傾角越大的彎曲構造。這是熊本城作爲易守難攻的名城的特點之一，卻也成爲了這次石牆配對分組工作中遇到的一個巨大難題。上瀧剛教授苦笑着說：「由於‘武者返回’部分的影像資料扭曲，導致與正確位置的石塊不配對分組。在與工作人員一起探尋終極因數的程序中，我才意識到之前沒有考慮到這種彎曲結構的特點。」
此外，在散落的石塊中，有些明顯與坍塌前的照片不符。經過進一步檢查，才發現這些是石牆内部不可見的「填充石」。在這次配對分組中，還利用了坍塌前後石塊的緯度和經度坐標。上瀧教授表示他們嘗試了一切可能用於配對分組的方法：「由於石塊很重，大部分石塊都掉落在石牆的正下方。我們就透過這個位置來估計石塊坍塌前的位置。」
2017年，上瀧教授開發的技術入選與企業合作研究實施技術實用化的JST（日本科學技術振興機構）A-STEP專案，由此開始與凸版印刷公司合作，致力於提高石牆配對分組系統的精度。他們開發了一套新的系統，利用倒塌前石牆的資料建立一個資料庫，並透過ICP演算法自動配對分組坍塌後的影像資料，從而確定石塊的位置。使用這個系統配對分組了以「奇蹟石牆」而知名的哨塔「飯田丸五階櫓」南面的312塊石材和東面的159塊石材，達到了約90%的準確率（圖3）。此外還找到了43塊新的石材，以及17塊候選石材。
圖3 A-STEP專案中驗證石牆配對分組系統的結果
根據「飯田丸五階櫓」石牆坍塌後的照片（上圖），利用石牆配對分組系統進行配對分組。 系統選出的候選石塊排名越靠前，藍色就越深。下圖左爲掉落前的石塊與位置，透過人眼觀察選出的石塊並不正確（下圖中），而系統則提供了正確的石塊（下圖右）。
A-STEP專案的成果不僅被用於熊本城的開墾工程圖紙，在學術領域也受到了高度評價，還在圖形識別領域世界知名的科學雜誌上發表了論文，但其發表之路並不平坦。上瀧剛教授回憶當時說道：「由於這是爲了儘早應用於開墾工作而將現有技術結合起來的成果，因此雜誌社認爲缺乏新穎性。但我堅持不懈地多次解釋這一成果的重要要點。最終，他們身份鑑定了該成果在實際開墾中的應用效果。」
在專案的推進程序中，上瀧剛教授深切感受到有許許多多熊本市民以熊本城爲榮，對熊本城充滿熱愛，高度關注開墾工作。他說：「對我個人來說，能夠參與自己熟知的熊本城的開墾是一次寶貴的經歷。據說完全開墾熊本城需要30年的時間，如果石牆配對分組系統能爲此做出貢獻，我倍感榮幸。」熊本城的開墾工作還在進行之中，上瀧剛教授的挑戰也仍在繼續操作。（文：橫井Manami，圖：伊藤彰浩）
原文：JSTnews 2023年7月號
翻譯：JST客觀日本編輯部
