人工智慧要形成長期記憶，還需要腦科學、神經科學、心理學和行為經濟學等多學科的交叉研究。

　　記住一些東西並能回憶起來，對于人類來説是與生俱來的能力。記憶可以讓我們回憶過往之事，並基于此對未來做出決策。能否讓AI智能體也做到這點呢？近日，谷歌旗下人工智慧企業“深層思維”（DeepMind）提出一種方法，能夠讓智能體使用特定的記憶來信任過去的行為，並對未來做出正確的決策。相關成果發表于最新一期的《自然·通訊》上。

　　那麼，目前我們讓AI産生的記憶和人類的記憶是一回事嗎？人工智慧可以用什麼方法産生記憶？與以往相比，此次“深層思維”提出的新方法有何不同？在賦予人工智慧記憶方面，我們尚需做哪些努力？

　　四種方法讓AI産生“記憶”

　　記憶是我們對過去的經歷進行編碼、存儲、回憶等的能力。一般而言，可以將其視為利用過去的經驗來影響當前行為的能力。它使人類能夠學習以前的經驗並與現在的實踐建立聯繫。

　　生活中那些感動我們的人或事往往會觸發回憶，也就是我們通常所説的觸景生情。“人類的長期記憶實際上是呈現多模態、場景化特徵的，即一個記憶事件在存儲時包含多個維度，觸發某個維度就可以快速找到線索並進行回憶。”遠望智庫人工智慧事業部部長、圖靈機器人首席戰略官譚茗洲在接受科技日報記者採訪時表示，但人們往往高估了記憶量，其實我們的記憶容量很有限，所以人類記憶本身是高度抽象的，在記憶時我們通常選擇對事件進行特徵提煉，其中有好多要素只是概況並且是模糊的。如回憶電影，我們不會精準地回憶一幀一幀的完整成像，但如果類似場景再現，我們就會回想起之前的一幕。

　　在以往的研究中，採用什麼方法可以讓AI産生回憶？

　　譚茗洲介紹説，比較常用的有四種方法：第一種是長短期記憶網絡。它是由一個被嵌入到網絡中的顯性記憶單元組成，功能是記住較長周期的資訊。這一技術主要被谷歌、亞馬遜和微軟等公司用于語言識別、智能助手等。第二種方式是彈性權重鞏固演算法。這種演算法主要用于序列學習多種遊戲。“深層思維”採用的就是這種與記憶鞏固有關的演算法，目的是讓機器學習、記住並能夠提取資訊。第三種方法是可微分神經電腦，這種電腦的特點是將神經網絡與記憶係統聯繫起來，並像傳統電腦一樣存儲資訊，還可從例子中進行學習。第四種方法是連續神經網絡，主要用于迷宮學習，解決復雜的連續性任務，同時可以遷移知識。

　　解決長期信用分配問題是關鍵

　　那目前，AI産生的記憶與人類的記憶是一回事嗎？譚茗洲答道：“目前AI的記憶仍只是停留在將學習所獲得的資訊進行編碼、存儲，進而轉化為認知的過程。以前的做法只是讓AI將所發生的一切悉數存儲，然而記憶與存儲是有區別的，記憶是為了能夠有效回憶。人類回憶的方式，往往是跨各種閾界的，如通過某個品牌忽然想起某個事。因此，要讓AI智能體對過去所發生的一些事情，判斷該不該記憶，關鍵要採取一些方法令其做出評定，達到人類回憶的效果。”

　　要讓AI能夠實現回憶過去的事情，涉及到長期信用分配問題：即如何評估行為在長期行為序列中的效用。但人工智慧現有的信度分配方法無法解決行為與結果之間存在長時間延遲的任務。

　　據介紹，人工智慧的研究中，在一個長序列內評估個人行為的效用問題，被稱為信用分配問題。該評估可以對過去的行動或計劃的未來行動進行評分。

　　譚茗洲解釋道：“具體在強化學習中，智能體獲得指導的唯一途徑是通過獎勵，而獎勵通常是稀疏和延遲的。當智能體得到獎勵時，很難知道哪些行為應該被信任，哪些該被責備，這就是信用分配問題。”

　　此外，譚茗洲介紹道，想讓AI像人類那樣産生回憶，首先需要讓AI學會情景記憶以及自傳式記憶。AI之所以很難做到這點，是因為情景記憶和自傳式記憶有著非常強的個體體驗特性。情景記憶與自傳式記憶一旦和當事人割裂開來，就失去了生命力，對于機器而言，這很難想像。畢竟對于機器而言，精神可以獨立于物質存在，體驗可以獨立于主體存在。此外還要防止機器可能出現的災難性遺忘。認知心理學研究表明，人類自然認知係統的遺忘並不需要完全抹除先前的資訊。但是對于機器而言，遺忘就是災難性的，即需要抹除先前的資訊。

　　與人類復雜記憶相比仍是初級階段

　　據譚茗洲介紹，此次“深層思維”提出將范例建立在深入的強化學習基礎上，並引入長期信用分配的原則。首先，智能體需編碼並存儲感知和事件記憶；然後，智能體需通過識別和訪問過去事件的記憶來預測未來的回報；再有，智能體需根據其對未來獎勵的貢獻來重新評估這些過去的事件。這樣可讓智能體使用特定的記憶來信任過去的行為，並對未來做出正確的決策。

　　為了做到這一點，“深層思維”論文顯示，其做的首要工作是形式化任務結構，主要包括兩種類型的任務。具體而言，在第一種資訊獲取任務中：一階段，智能體需在無即時獎勵情況下探索一個環境來獲取資訊；二階段，智能體在很長一段時間內從事一項不相關的幹擾任務，並獲得許多附帶獎勵；三階段，智能體需利用一階段中得到的資訊獲取遠端獎勵。

　　在第二種因果任務中：一階段，智能體需採取行動觸發僅具有長期因果關係的某事件；二階段，同樣是一個幹擾任務；三階段，為了取得成功，智能體需利用一階段活動引起的環境變化來獲得成功。

　　而在研究這種結構的完整任務之前，研究人員考慮讓智能體實現一個更簡單的被動過程的任務——“被動視覺匹配”，即智能體不用採取任何主動措施去採集資訊，如同一個人在街上走路，不經意間就觀察到某些資訊一樣。

　　“深層思維”的論文呈現一個打遊戲過程中的簡單場景，並讓AI智能體對探索過的路徑及攻略進行記憶，當然與人類復雜的記憶機制相比，還是相當初期的階段。

　　譚茗洲強調，正如論文所述，新方法的范式拓寬了AI研究的范疇。這是一個有趣的話題，涉及人腦科學的研究，以及神經科學、心理學和行為經濟學等多學科交叉研究的嘗試，今後還有很長的路要走，需要更多開放性的探索。

　　延伸閱讀

　　目前人工智慧係統還不具備長期記憶

　　人腦從功能的角度可分為幾個模組：寄存器、短期記憶、長期記憶、中央控制模組。人腦通過五種感測器，視覺、觸覺等，從外部接受資訊，存在寄存器，如果我們的注意力關注這些資訊，大腦可以把這些資訊變成短期記憶裏的內容，短期記憶可以持續30秒左右，如果我們有意識要記住這些內容的話，大腦又會將短期記憶的內容轉到長期記憶中。

　　長期記憶的內容既有資訊，也有知識。簡單地説，資訊表示的是世界的事實，知識表示的是人們對世界的理解，兩者之間並不一定有明確的界線。人在長期記憶裏存儲資訊和知識時，新的內容和已有的內容聯繫到一起，規模不斷增大，這就是長期記憶的特點。長期記憶實際上存在于大腦皮層，在大腦皮層，記憶意味著改變腦細胞之間的連結，構建新的鏈路，形成新的網絡模式。

　　我們可以認為，現在的人工智慧係統是沒有長期記憶的。無論是阿爾法狗，還是自動駕駛汽車，都是重復使用已經學習好的模型或者已經被人工定義好的模型，不具備不斷獲取資訊和知識，並把新的資訊與知識加入到係統中的機制。

　　有學者認為，具有長期記憶將使人工智慧係統演進到一個更高的階段。暢想5—10年後，有可能構建這樣的智能係統，在這個係統中，有語言處理模組，包括短期記憶、長期記憶，係統能自己不斷去讀取數據，能把數據裏面的知識做壓縮後放到長期記憶模組。構建擁有長期記憶的智能問答係統，正是我們現在的願景。（記者 華 淩）

【糾錯】

責任編輯： 周靖傑