日本理化學研究所生命功能科學研究中心生物計算研究團隊的田中信行高級研究員,理化學研究所環境資源科學研究中心質譜與顯微鏡分析單元的藤田美紀高級技師等,與大阪大學研究生院基礎工學研究科的張竣博(研究生,兼任該團隊研修生)和萬偉偉副教授(兼任該團隊客座研究員)等人組成的研究團隊宣佈,成功開發出了一種能夠識別非規範化實驗環境並自動生成機械臂動作,自主進行實驗的AI系統。
這種可以自主生成適當實驗操作的生成式AI,是透過將通用的的協作機械臂與電腦上構建的三維模式結合開發而成。實驗證明,它可以針對每個個體識別植物的形狀,並自動化執行向特定條件的葉片添加溶液,該實驗設備已於2023年12月25日公開。這一成果有望推動以時刻變化的植物、細胞、化合物等爲研究物件的自動化實驗。相關研究成果已發表在國際學術期刊《IEEE TRANSACTIONS ON AUTOMATION SCIENCE AND ENGINEERING》雜誌的2023年11月27日刊上。
圖 能夠觀察和思考的自動實驗機器人,可爲植物進行液體精密添加(供圖:理化學研究所)
在當前生命現象和物質科學等領域的研究中,需要進行大量的實驗和觀察,以便獲取資料,並排除實驗者對研究物件的影響,因此,透過機器人實施實驗自動化的研究備受期待。然而,要實施這種自動化,必須具備與機器人相配對分組的實驗環境和程式等,此外,還需要針對時刻變化的物件,例如對植物和細胞的大小和形狀進行判斷並添加試劑,這樣外部參數設定此前尚未實施。
研究團隊爲了解決上述問題,嘗試爲基於機器人和AI的系統賦予能夠靈活因應各種實驗情境的自主性,從而實施自主實驗。
作爲自主實驗的模式,研究團隊開發了一個能夠進行用移液器測量微量液體並滴加到樣本中的AI作業系統。包括移液器吸入水頭的安裝、滴加後的拆卸以及反復執行操作的一系列步驟都被考慮在該系統内。
首先,研究人員對人工實驗的操作進行了分析,明確了機器人執行動作所需的構成要素。爲了將操作的主體更換爲機器人,他們在與人類共同工作的機器人(協作機器人)的機械臂末端,安裝了兩臺相機和微型移液器,用於觀察實驗環境。移液器採用了實驗室常用的類型,爲了適應機械臂的操作,研究人員使用3D列印機製作了周圍的零件。
由於該協作機器人具備可透過人行程機器人來教授動作的「直接教學」功能,研究人員將其設定爲能夠透過使用者示範的動作和利用攝影機對周圍實驗環境進行拍攝,透過AI識別影像資料來識別實驗環境。
此外,研究人員透過將機械臂、微型吸管和液體容器等各種實驗器具的3D資料讀入電腦並構建3D模式的方式,再現了實驗環境。進而建立了一個讓機器人利用AI學習位置偏差,透過攝影頭識別位置偏差後自動計算並隨時進行校準的系統。AI方面,研究團隊採用了萬副教授等人原創開發的WRS系統。
即使實驗中使用的器具和樣品等的位置不固定,機器人也能自動識別,並隨時對位置偏差進行修正。由此,研究人員開發出了可用類似於日常對話的指令,例如「將100微升(μl)溶液1的溶液滴加到樣品A上」的語言,即可進行復雜實驗的AI機器人系統。
研究人員還將理化學研究所的原創技術——植物自動培養觀察系統RIPPS(RIKEN Integrated Plant Phenotyping System)整合到了AI系統中。這一系統能夠控制超過100個的植物樣本的成長條件,實施一個月以上的自動培養。
這樣做的結果是,即便大多數樣本在各自的成長程序中發生了形狀、葉片大小等方面的變化,但透過該系統仍然能夠按照「將20微升(μl)溶液1的溶液滴加到樣品A最大的葉片上」的指令工作。
研究人員實際對96個擬南芥樣本進行了①選擇準備的3種試劑中的1種,②在最大的葉片或者植物體中心滴加等6種類型的自動化實驗,驗證了AI系統的性能。結果發現,儘管有4例識別錯誤,但滴加操作本身的成功率達到100%。該系統還可以記錄實際滴加位置和時間等資料。
機器人能夠在黑暗的房間内工作,而在人工進行的植物實驗中,人體呼氣的影響是無法忽視的。從這個角度來看,自動化培養的優勢明顯。
有望加速生命科學領域的研究進展
田中高級研究員表示:「我們認爲,此次的研究成果具有識別非規範化實驗環境並自動生成機器人的動作的功能,能爲人與機器人共同作業的實驗提供了基礎技術。該技術可應用於諸如植物學中葉片特徵解析的研究,以及化學物質合成中的有變化即採樣的定期採樣等實驗。希望該研究能爲加速生命科學領域的研究做出貢獻。」
原文:《科學新聞》
翻譯:JST客觀日本編輯部
【論文資訊】
雜誌:IEEE TRANSACTIONS ON AUTOMATION SCIENCE AND ENGINEERING
論文:Integrating a Pipette Into a Robot Manipulator With Uncalibrated Vision and TCP for Liquid Handling
DOI:10.1109/TASE.2023.3312657