◎ 科技日?qǐng)?bào)記者 謝開(kāi)飛
◎ 通訊員 歐陽(yáng)桂蓮 許曉鳳 王憶希
經(jīng)過(guò)一個(gè)寒假返回學(xué)校，你可能才會(huì)忘了前一學(xué)期學(xué)到的內(nèi)容。而如果你像人工智能系統(tǒng)那樣學(xué)習(xí)，實(shí)際上你會(huì)在學(xué)習(xí)新知識(shí)的同時(shí)，大腦便逐漸遺忘之前的內(nèi)容，其原因就在于人工智能遭遇了“災(zāi)難性遺忘”。
近日，來(lái)自谷歌大腦的最新研究發(fā)現(xiàn)，在街機(jī)學(xué)習(xí)環(huán)境的由多個(gè)子任務(wù)組成的單任務(wù)場(chǎng)景中也存在著“災(zāi)難性遺忘”。特別像在蒙特祖瑪?shù)膹?fù)仇這種探索型游戲里，場(chǎng)景變化較大，也會(huì)出現(xiàn)學(xué)習(xí)完當(dāng)前游戲場(chǎng)景后，忘記上一個(gè)游戲場(chǎng)景知識(shí)的情況。
人工智能為什么會(huì)產(chǎn)生“災(zāi)難性遺忘”？目前，解決災(zāi)難性遺忘的方案有哪些？難點(diǎn)在哪？就此，科技日?qǐng)?bào)記者采訪(fǎng)了有關(guān)專(zhuān)家。
學(xué)一個(gè)忘一個(gè)，深度學(xué)習(xí)效率低下
自從阿爾法狗相繼戰(zhàn)勝多名圍棋冠軍后，深度強(qiáng)化學(xué)習(xí)成為人工智能領(lǐng)域最耀眼的“明星”，也是各大研發(fā)機(jī)構(gòu)角逐的主戰(zhàn)場(chǎng)。而谷歌大腦團(tuán)隊(duì)這次面臨的“災(zāi)難性遺忘”，正是人工智能深度學(xué)習(xí)中一個(gè)普遍且嚴(yán)重的問(wèn)題。
“‘災(zāi)難性遺忘’指的是人工智能系統(tǒng)，如深度學(xué)習(xí)模型，在學(xué)習(xí)新任務(wù)或適應(yīng)新環(huán)境時(shí)，忘記或喪失了以前習(xí)得的一些能力。”騰訊人工智能實(shí)驗(yàn)室副主任俞棟博士在接受科技日?qǐng)?bào)記者采訪(fǎng)時(shí)說(shuō)，“災(zāi)難性遺忘”會(huì)造成人工智能系統(tǒng)在原有任務(wù)或環(huán)境性能大幅下降。
美亞柏科信息中心總經(jīng)理魏朝東說(shuō)，在深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)不同任務(wù)的時(shí)候，相關(guān)權(quán)重的快速變化會(huì)損害先前任務(wù)的表現(xiàn)，通俗來(lái)說(shuō)，就是在學(xué)習(xí)中像猴子搬苞谷，撿一個(gè)丟一個(gè)，記住了新知識(shí)，也有可能會(huì)忘掉了老知識(shí)。
正源于此，“災(zāi)難性遺忘”的存在，一定程度上限制了人工智能在一些場(chǎng)景中的應(yīng)用。
福州大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院、福建省新媒體行業(yè)技術(shù)開(kāi)發(fā)基地副主任柯逍博士舉例說(shuō)，如一個(gè)AI圖像識(shí)別系統(tǒng)，當(dāng)需要添加一個(gè)新的類(lèi)別的物體時(shí)，就不得不把原先的所有物體都再學(xué)習(xí)一次；或在文物鑒定系統(tǒng)中，當(dāng)有一天發(fā)現(xiàn)原始數(shù)據(jù)中有一個(gè)文物朝代錯(cuò)了，同樣沒(méi)辦法單獨(dú)對(duì)這一個(gè)錯(cuò)誤的文物進(jìn)行修改學(xué)習(xí)；再如，讓AI系統(tǒng)學(xué)習(xí)英語(yǔ)之后，再讓它學(xué)習(xí)德語(yǔ)，它可能會(huì)把原來(lái)學(xué)習(xí)的英語(yǔ)語(yǔ)法全部忘光。
而在谷歌大腦的最新研究的游戲場(chǎng)景中，“災(zāi)難性遺忘”又造成了哪些影響？有何新穎的發(fā)現(xiàn)？
“除了傳統(tǒng)新知識(shí)學(xué)習(xí)會(huì)覆蓋舊知識(shí)之外，谷歌大腦還發(fā)現(xiàn)，在如超級(jí)瑪麗等探索型游戲里，‘災(zāi)難性遺忘’會(huì)阻礙模型對(duì)新知識(shí)的學(xué)習(xí)?！?/strong>廈門(mén)大學(xué)人工智能系、科技處副處長(zhǎng)紀(jì)榮嶸教授說(shuō)。
紀(jì)榮嶸進(jìn)一步解釋說(shuō)，面向街機(jī)游戲?qū)W習(xí)的強(qiáng)化學(xué)習(xí)方法都會(huì)采用“經(jīng)驗(yàn)回放”的訓(xùn)練方式，就是將模型在游戲探索時(shí)候的片段進(jìn)行保存，然后給模型進(jìn)行“回放”訓(xùn)練。而像蒙特祖瑪復(fù)仇這種游戲，游戲場(chǎng)景變化比較大，模型需要不間斷探索游戲場(chǎng)景，因此，在訓(xùn)練時(shí)候就必須不斷回放早期場(chǎng)景的游戲經(jīng)驗(yàn)，不然會(huì)因?yàn)椤盀?zāi)難性遺忘”而忘記了早期的游戲知識(shí)。
“這也導(dǎo)致了，新的游戲經(jīng)驗(yàn)雖然能夠被采樣到“經(jīng)驗(yàn)回放”庫(kù)里，但因?yàn)閷W(xué)習(xí)方式的設(shè)定，導(dǎo)致學(xué)習(xí)效率低，同時(shí)由于不同階段的學(xué)習(xí)會(huì)互相干擾，使得AI無(wú)法一次通過(guò)該游戲的全部關(guān)卡?！奔o(jì)榮嶸說(shuō)。
AI“腦容量”存上限，新舊知識(shí)難共存
AI為什么會(huì)產(chǎn)生“災(zāi)難性遺忘”？
“深度學(xué)習(xí)的結(jié)構(gòu)一旦確定，在訓(xùn)練過(guò)程中很難調(diào)整。神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)直接決定學(xué)習(xí)模型的容量?！笨洛姓f(shuō)，AI“腦容量”存在上限，也就導(dǎo)致了人工智能只能有限地處理特定任務(wù)。就像水桶一半高的地方有個(gè)洞，以至于無(wú)論怎么增加水桶的高度，這個(gè)水桶只能裝一半高的水。
中科院自動(dòng)化所腦網(wǎng)絡(luò)組研究中心研究員、模式識(shí)別國(guó)家重點(diǎn)實(shí)驗(yàn)室副主任余山指出，這還涉及到神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)知識(shí)的機(jī)制。在單個(gè)任務(wù)的訓(xùn)練過(guò)程中，網(wǎng)絡(luò)中各個(gè)神經(jīng)元之間的連接權(quán)重進(jìn)行了專(zhuān)門(mén)的調(diào)整，以勝任當(dāng)前的任務(wù)。而在新任務(wù)的訓(xùn)練中，連接權(quán)重要針對(duì)新任務(wù)進(jìn)行調(diào)整，這將“抹去”適應(yīng)舊任務(wù)的原有結(jié)構(gòu)，導(dǎo)致在舊任務(wù)上的性能大大下降。
人類(lèi)的記憶能力其實(shí)是有限的，但為何出現(xiàn)“災(zāi)難性遺忘”情況卻比較??？“主要是人類(lèi)在學(xué)習(xí)過(guò)程當(dāng)中，大腦能夠主動(dòng)保留些有用的知識(shí)和技巧，同時(shí)不影響新的信息獲取。” 紀(jì)榮嶸說(shuō)，但現(xiàn)在的人工智能模型大部分是基于隨機(jī)梯度下降來(lái)更新模型參數(shù)，這個(gè)過(guò)程主要服務(wù)于當(dāng)前任務(wù)的優(yōu)化，并不會(huì)去評(píng)估哪些參數(shù)權(quán)重對(duì)舊的知識(shí)是有用的，所以就很容易出現(xiàn)知識(shí)被覆蓋的情況。
紀(jì)榮嶸也表示，當(dāng)前像Siri或小愛(ài)這樣的人工智能助手產(chǎn)品，還不能算真正意義上的通用人工智能，一方面，這些人工智能助手只能在預(yù)設(shè)的知識(shí)范圍內(nèi)和人類(lèi)互動(dòng)，完成指令；另一方面，人類(lèi)沒(méi)辦法像養(yǎng)寵物或養(yǎng)小孩一樣，通過(guò)互動(dòng)去教導(dǎo)這些人工智能助手學(xué)習(xí)新的知識(shí)或新的指令。
多個(gè)解決方案“治標(biāo)不治本”
據(jù)了解，“破解災(zāi)難性遺忘”是實(shí)現(xiàn)通用人工智能的一個(gè)關(guān)鍵。解決了“災(zāi)難性遺忘”問(wèn)題后，模型就能具備持續(xù)學(xué)習(xí)的能力, 可以像人類(lèi)一樣不斷獲取新的知識(shí)、新的技能，同時(shí)能夠最大化地保持舊的經(jīng)驗(yàn)知識(shí)和技巧。
那么，目前解決“災(zāi)難性遺忘”的方案有哪些？
“最常見(jiàn)的方式是多任務(wù)學(xué)習(xí), 就是把所有任務(wù)的訓(xùn)練數(shù)據(jù)同時(shí)放到一起，模型就可以針對(duì)多種任務(wù)進(jìn)行聯(lián)合優(yōu)化?！?/strong>紀(jì)榮嶸舉例說(shuō)，如讓模型同時(shí)學(xué)習(xí)坦克大戰(zhàn)和超級(jí)瑪麗兩個(gè)任務(wù)，等兩個(gè)任務(wù)同時(shí)學(xué)的差不多的時(shí)候，模型才停止訓(xùn)練。
但柯逍也指出，這種方式隨著任務(wù)增多，新任務(wù)樣本數(shù)量被稀釋?zhuān)?xùn)練會(huì)拖慢學(xué)習(xí)新知識(shí)的效率，并且，不是任何情況都能獲得先前任務(wù)的數(shù)據(jù)來(lái)復(fù)習(xí)的。
還有的解決方案是根據(jù)新的任務(wù)知識(shí)來(lái)擴(kuò)充模型結(jié)構(gòu)，保證舊的知識(shí)經(jīng)驗(yàn)不被損害。此次，谷歌大腦所提出的“記憶碎片觀(guān)察”方法正是對(duì)不同任務(wù)（場(chǎng)景）構(gòu)建多個(gè)人工智能模型來(lái)進(jìn)行學(xué)習(xí)?！澳Ｐ蛿U(kuò)充的方式從本質(zhì)上并沒(méi)有解決災(zāi)難性遺忘的問(wèn)題，只是用多個(gè)模型來(lái)替代單個(gè)模型去學(xué)習(xí)多種任務(wù)，避免舊參數(shù)被覆蓋?！奔o(jì)榮嶸說(shuō)。
當(dāng)前，解決災(zāi)難性遺忘還存在著一對(duì)矛盾：在學(xué)習(xí)新任務(wù)的過(guò)程中，需要給予網(wǎng)絡(luò)足夠多的自由度進(jìn)行連接權(quán)重調(diào)整，但是又要避免這樣的調(diào)整“抹去”原有的記憶。
“因此，科學(xué)家們開(kāi)始設(shè)計(jì)新的學(xué)習(xí)算法解決上述矛盾，使得網(wǎng)絡(luò)在進(jìn)行權(quán)重調(diào)整的時(shí)候，對(duì)已有知識(shí)的影響最小化?！庇嗌奖硎荆鋱F(tuán)隊(duì)近期提出的正交權(quán)重修改算法，就屬于這類(lèi)，主要通過(guò)限制權(quán)重修改只能在舊任務(wù)的解空間中進(jìn)行，這一算法較好的克服了災(zāi)難性遺忘，使得同一個(gè)分類(lèi)器網(wǎng)絡(luò)可以連續(xù)的學(xué)習(xí)多達(dá)數(shù)千個(gè)類(lèi)別的識(shí)別。
魏朝東認(rèn)為，雖然目前科學(xué)家們已經(jīng)探索出多種解決方案，但目前的AI只從認(rèn)知科學(xué)中獲得了一小部分靈感，對(duì)大腦的模擬還沒(méi)達(dá)到人們想象的高度，大部分AI方案在這方面是“先天不足”的。解決“災(zāi)難性遺忘”是一個(gè)綜合性問(wèn)題，不僅需要有理論支撐，未來(lái)還需要有可行的技術(shù)手段去實(shí)現(xiàn)。
來(lái)源：科技日?qǐng)?bào)
編輯：張爽
審核：管晶晶
終審：冷文生
