【產(chǎn)通社，3月1日訊】中國(guó)科學(xué)院微電子研究所（Microelectronice of Chinese Academy of Sciences）官網(wǎng)消息，深度學(xué)習(xí)技術(shù)作為AI的重要引擎，近年來(lái)受到廣泛關(guān)注和飛速發(fā)展。圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Network）是一種較新的深度學(xué)習(xí)技術(shù)，可用于處理更復(fù)雜的非結(jié)構(gòu)化數(shù)據(jù)，廣泛應(yīng)用于社交網(wǎng)絡(luò)、電子購(gòu)物、藥物預(yù)測(cè)、人機(jī)交互等應(yīng)用場(chǎng)景。隨著數(shù)據(jù)量的急速膨脹，傳統(tǒng)CMOS數(shù)字硬件系統(tǒng)中運(yùn)行圖神經(jīng)網(wǎng)絡(luò)的效率急待提升，圖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程日趨復(fù)雜使得訓(xùn)練能耗居高不下。基于阻變憶阻器（RRAM）的存內(nèi)計(jì)算技術(shù)雖可顯著緩解傳統(tǒng)數(shù)字硬件系統(tǒng)中的馮·諾依曼瓶頸、進(jìn)一步提升計(jì)算效率，但仍受到高擦寫(xiě)功耗、延時(shí)及一定的編程阻值隨機(jī)性等器件非理想特性的限制。 

針對(duì)上述問(wèn)題，微電子所微電子器件與集成技術(shù)重點(diǎn)實(shí)驗(yàn)室劉明院士團(tuán)隊(duì)尚大山研究員與香港大學(xué)電子工程系王中銳博士合作，開(kāi)發(fā)了一種利用儲(chǔ)池計(jì)算（Reservoir Computing）技術(shù)實(shí)現(xiàn)圖結(jié)構(gòu)化數(shù)據(jù)分類(lèi)的技術(shù)——回聲狀態(tài)圖網(wǎng)絡(luò)（ESGNN）。儲(chǔ)池計(jì)算是循環(huán)神經(jīng)網(wǎng)絡(luò)的一種簡(jiǎn)化形式，能夠?qū)r(shí)序輸入信號(hào)通過(guò)神經(jīng)元的非線(xiàn)性激活函數(shù)轉(zhuǎn)換到一個(gè)高維空間中，再通過(guò)一個(gè)簡(jiǎn)單線(xiàn)性回歸方法有效地讀出。儲(chǔ)池計(jì)算中循環(huán)連接層的權(quán)重始終固定不變，只需訓(xùn)練輸出層權(quán)重，可最大限度降低訓(xùn)練復(fù)雜度和訓(xùn)練時(shí)間。在硬件方面，團(tuán)隊(duì)利用RRAM的本征隨機(jī)性構(gòu)建大規(guī)模隨機(jī)電阻陣列，將其作為儲(chǔ)池網(wǎng)絡(luò)的初始化權(quán)重，具有低成本、可擴(kuò)展優(yōu)勢(shì)。

在軟件方面，ESGNN巧妙運(yùn)用了隨機(jī)電阻陣列帶來(lái)的物理隨機(jī)投影，以存內(nèi)計(jì)算的方式完成圖嵌入過(guò)程，大大降低了圖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練成本。團(tuán)隊(duì)還通過(guò)軟—硬協(xié)同優(yōu)化技術(shù)，在基于FPGA的板級(jí)測(cè)試平臺(tái)上實(shí)現(xiàn)了對(duì)MUTAG、COLLAB數(shù)據(jù)集的圖分類(lèi)，進(jìn)行了更大規(guī)模CORA數(shù)據(jù)集的節(jié)點(diǎn)分類(lèi)仿真。相比傳統(tǒng)數(shù)字硬件系統(tǒng)，能效分別提升了2.16、35.42和40.37倍。該工作展現(xiàn)了RRAM陣列在構(gòu)建邊緣圖學(xué)習(xí)系統(tǒng)方面的巨大潛力，也為利用自然界豐富的物理、化學(xué)性質(zhì)開(kāi)發(fā)更高效的智能硬件系統(tǒng)提供了參考。 

該項(xiàng)目得到了科技部、國(guó)家自然科學(xué)基金委、中科院和香港大學(xué)的支持。成果近期發(fā)表在《自然·機(jī)器智能》期刊上（Nature Machine Intelligence, DOI: 10.1038/s42256-023-00609-5），并入選當(dāng)期封面文章。微電子所訪(fǎng)問(wèn)學(xué)生、香港大學(xué)博士研究生王少聰、微電子所博士研究生李熠為文章的共同第一作者，香港大學(xué)王中銳博士、微電子所尚大山研究員為該文章的通訊作者。此外，參與本工作的主要研究人員還包括微電子所許曉欣研究員、復(fù)旦大學(xué)劉琦教授和張續(xù)猛博士、浙江大學(xué)林芃教授、意大利比薩大學(xué)Gallicchio博士和香港科技大學(xué)鄭光廷教授等。 

查詢(xún)進(jìn)一步信息，請(qǐng)?jiān)L問(wèn)官方網(wǎng)站http://www.ime.cas.cn/zhxx/ttxw/202302/t20230227_6683348.html，以及http://www.nature.com/articles/s42256-023-00609-5。（張嘉汐，產(chǎn)通發(fā)布）    （完）