選自IEEE Spectrum
作者：Eliza Strickland
機(jī)器之心編譯
參與：魔王、張倩
一個普通的深度學(xué)習(xí)模型動不動就需要十萬、百萬級的數(shù)據(jù)，但即使投喂了這么多數(shù)據(jù)，一個自動駕駛系統(tǒng)也很容易被一張貼紙攻破……2019 年，我們看到深度學(xué)習(xí)受到越來越多的質(zhì)疑，Gary Marcus 等批評者甚至認(rèn)為，「深度學(xué)習(xí)不起作用」。在如此強(qiáng)烈的質(zhì)疑聲中，深度學(xué)習(xí)將何去何從？2018 圖靈獎獲得者之一 Yoshua Bengio 在 IEEE 的訪談中表達(dá)了他對深度學(xué)習(xí)未來發(fā)展的看法。
他認(rèn)為，AI 系統(tǒng)應(yīng)該具備推理、規(guī)劃和想象的能力，因果推斷、注意力、元學(xué)習(xí)、掌握物理規(guī)律對于未來深度學(xué)習(xí)的發(fā)展都非常重要。此外，對于Gary Marcus 的質(zhì)疑，Bengio 回應(yīng)道，「我關(guān)注的是解決問題需要探索什么，而不是誰對誰錯」。
Yoshua Bengio 是深度學(xué)習(xí)「三劍客」之一，深度學(xué)習(xí)正是如今人工智能領(lǐng)域的主流。
Bengio 在蒙特利爾大學(xué)擔(dān)任教授，他在神經(jīng)網(wǎng)絡(luò)的應(yīng)用方面做出了巨大貢獻(xiàn)，同樣重要的是，他還在神經(jīng)網(wǎng)絡(luò)無人問津的漫長 AI 寒冬（1980 年代末及 1990 年代）中堅持神經(jīng)網(wǎng)絡(luò)研究工作。
為此，他與另外兩位「劍客」——Geoffrey Hinton 和 Yann LeCun 榮獲 2018 年圖靈獎，該獎項被譽(yù)為「計算機(jī)界的諾貝爾獎」。
今天，人們對于深度學(xué)習(xí)缺陷的討論越來越多。IEEE Spectrum 與 Bengio 就深度學(xué)習(xí)領(lǐng)域該走向何方進(jìn)行了對談，Bengio 在 NeurIPS 2019 大會上也作了類似主題的報告《From System 1 Deep Learning to System 2 Deep Learning》。
報告地址：https://nips.cc/Conferences/2019/Schedule?showEvent=15488
深度學(xué)習(xí)及其缺陷
關(guān)于對深度學(xué)習(xí)局限性的討論，您有什么看法？
Yoshua Bengio：很多面向公眾的會議不了解 AI 等學(xué)科的科研方式：我們盡力去了解目前已有理論和方法的局限性，進(jìn)而擴(kuò)展我們的智力工具所能到達(dá)之范疇。因此，深度學(xué)習(xí)研究者正在尋找那些運(yùn)轉(zhuǎn)未達(dá)預(yù)期之處，這樣我們就可以知道需要添加什么、探索什么了。
一些人（如 Gary Marcus）借用這一現(xiàn)象表達(dá)「看啊，深度學(xué)習(xí)沒用?！沟聦嵣希裎疫@樣的研究者正在做的是擴(kuò)展深度學(xué)習(xí)的邊界。當(dāng)我談到「AI 系統(tǒng)需要理解因果關(guān)系」時，我并不認(rèn)為它會取代深度學(xué)習(xí)。我只是嘗試向工具箱里多添加一些東西。
作為科學(xué)家，我關(guān)注的是解決問題需要探索什么，而不是誰對誰錯。
您如何評價深度學(xué)習(xí)的現(xiàn)狀？
Yoshua Bengio：根據(jù)近二十年的進(jìn)展，我認(rèn)為人工智能的水平遠(yuǎn)遠(yuǎn)落后于兩歲小孩，有些算法的感知水平相當(dāng)于低等動物。就允許實體探索周遭環(huán)境的工具方面，我們正在逐漸前進(jìn)。
現(xiàn)在最大的爭論之一是：哪些元素構(gòu)成更高級的認(rèn)知？因果關(guān)系是其中之一，推理和規(guī)劃、想象以及信用分配（credit assignment）都是。在經(jīng)典 AI 中，研究者嘗試?yán)眠壿嫼头柅@取這些元素。有些人認(rèn)為經(jīng)典 AI 可以實現(xiàn)這一目標(biāo)，或者至少有一些進(jìn)展。
也有一些人，比如我，認(rèn)為我們應(yīng)該利用近年構(gòu)建的工具創(chuàng)建類似于人類推理方式的功能，這實際上與基于搜索的純邏輯系統(tǒng)相去甚遠(yuǎn)。
腦啟發(fā)計算時代的到來
如何創(chuàng)建類似于人類推理的功能？
Yoshua Bengio：注意力機(jī)制將計算聚焦于某些元素，一組計算。人類就是這樣的，這是意識處理（conscious processing）的重要部分。當(dāng)你意識到某事時，你會著重某些元素，或者某個想法，然后再轉(zhuǎn)到另一個想法上。這與標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)差別很大，后者是大規(guī)模并行處理。注意力機(jī)制幫助我們在計算機(jī)視覺、翻譯和記憶方面實現(xiàn)巨大進(jìn)步，但是我認(rèn)為這只是另一種風(fēng)格的腦啟發(fā)計算的開端。
這并不表示我們解決了問題，我認(rèn)為我們具備了足夠多的工具可以開始解決問題了。這并不表示會很容易。2017 年我寫了一篇論文《The Consciousness Prior》來解釋這一問題。我的幾個學(xué)生正在研究這一主題，我認(rèn)為這將是一項長期工程。
還有哪些人類智能的其他方面是您想在 AI 中復(fù)制的嗎？
Yoshua Bengio：這就要談到神經(jīng)網(wǎng)絡(luò)的想象能力了：推理、記憶和想象是人腦思維的三個方面。當(dāng)你回憶過去或者暢想未來時，你就是在推理。如果你預(yù)測未來會發(fā)生一些不好的事情，你會作出一些改變，這就是規(guī)劃過程。這一過程也涉及記憶，因為你需要回顧已知的事實進(jìn)而做出判斷。你從現(xiàn)在和過去中選出相關(guān)聯(lián)的事實。
注意力是其中的關(guān)鍵模塊。比如我正在翻譯一本書。在翻譯每一個單詞時，我都要仔細(xì)查看書中的一小部分內(nèi)容。注意力允許你遠(yuǎn)離大量無關(guān)細(xì)節(jié)，專注于相關(guān)的內(nèi)容。選擇相關(guān)元素，這就是注意力所做的事情。
那么對機(jī)器學(xué)習(xí)而言，這對應(yīng)怎樣的過程呢？
Yoshua Bengio：你不用告訴神經(jīng)網(wǎng)絡(luò)需要注意什么，這就是它的神奇之處。神經(jīng)網(wǎng)絡(luò)能夠自學(xué)，學(xué)習(xí)應(yīng)對一組可能元素中的每一個元素賦予多少注意力或權(quán)重。
學(xué)習(xí)如何學(xué)習(xí)
您最近關(guān)于因果關(guān)系的研究與此有何關(guān)聯(lián)？
Yoshua Bengio：推理所使用的高級概念很可能是因果變量。你不會基于像素推理，而是基于「門」、「門把手」、「開」、「關(guān)」這樣的概念進(jìn)行推理。因果關(guān)系對于機(jī)器學(xué)習(xí)的未來發(fā)展非常重要。
這與深度學(xué)習(xí)中更關(guān)注人類思維的另一個主題相關(guān)。系統(tǒng)泛化（systematic generalization）是人類泛化已知概念的能力，這樣才能以從未見過的新方式連接這些概念。目前，機(jī)器學(xué)習(xí)無法做到這一點。因此你常常遇到與在特定數(shù)據(jù)集上訓(xùn)練模型有關(guān)的問題。假如你在一個國家中訓(xùn)練，然后到另一個國家部署，你需要泛化和遷移學(xué)習(xí)。如何訓(xùn)練神經(jīng)網(wǎng)絡(luò)，使其遷移至新環(huán)境后能夠繼續(xù)良好運(yùn)轉(zhuǎn)或者快速適應(yīng)呢？
獲取這種適應(yīng)性的關(guān)鍵是什么？
Yoshua Bengio：元學(xué)習(xí)是現(xiàn)在很熱的一個話題，元學(xué)習(xí)即學(xué)習(xí)如何學(xué)習(xí)。1991 年我就該主題寫過一篇論文《Learning a synaptic learning rule》，但直到最近我們才有足夠的算力來實現(xiàn)它。元學(xué)習(xí)的計算成本很高。其思路是：要想泛化至新環(huán)境，你必須練習(xí)對新環(huán)境的泛化。看起來很簡單，連孩童都一直在做這件事。小孩從一個房間到另一個房間時，環(huán)境不是靜止的，而是變化的。此時，小孩訓(xùn)練自己來快速適應(yīng)環(huán)境。為了高效訓(xùn)練，他們利用過去獲得的知識碎片。我們正在理解這項能力，并構(gòu)建工具來復(fù)制它。
對深度學(xué)習(xí)的一個批評是：需要海量數(shù)據(jù)。如果你只為一項任務(wù)訓(xùn)練模型的話，那么這話屬實。但是小孩都可以基于非常少的數(shù)據(jù)學(xué)習(xí)，他們利用之前學(xué)到的東西。但更重要的是，他們利用適應(yīng)和泛化的能力。
「這些想法還不能用于工業(yè)」
這些想法會很快應(yīng)用于現(xiàn)實世界嗎？
Yoshua Bengio：不會。這些都是很基礎(chǔ)的研究問題。我們?nèi)蕴幱谘芯侩A段。我們可以對這些想法進(jìn)行 debug，轉(zhuǎn)移到新的假設(shè)，但它們無法在短時間內(nèi)用于工業(yè)界。
不過，對于工業(yè)界關(guān)心的兩個實際問題，這項研究或許可以提供幫助。一個問題是構(gòu)建能夠適應(yīng)環(huán)境變化的穩(wěn)健系統(tǒng)。另一個問題是：如何構(gòu)建自然語言處理系統(tǒng)、對話系統(tǒng)和虛擬助手？當(dāng)前最優(yōu)的深度學(xué)習(xí)系統(tǒng)存在的問題是：基于海量數(shù)據(jù)訓(xùn)練得到，但無法真正理解所處理的語言。Gary Marcus 等人借此表示：「這可以證明深度學(xué)習(xí)無用?！苟裎疫@樣的人會反駁：「有意思，我們來解決這個難題吧。」
物理、語言和常識
聊天機(jī)器人如何才能變得更好？
Yoshua Bengio：最近，grounded language learning 吸引了大家的注意力。其想法是：AI 系統(tǒng)不應(yīng)僅從文本中學(xué)習(xí)，還應(yīng)該學(xué)習(xí)世界的運(yùn)轉(zhuǎn)方式以及如何用語言描述世界。問問自己：如果一個孩子只通過文本與世界交互，那他能夠理解世界嗎？我認(rèn)為很難。
這就涉及意識和無意識知識了，后者即我們知道但無法命名的東西。直觀物理即是一例。兩歲的小孩能夠理解直觀物理，即使他們不知道牛頓定理，也能理解重力等概念。現(xiàn)在很多人嘗試構(gòu)建可與世界交互并發(fā)現(xiàn)物理學(xué)基本規(guī)律的系統(tǒng)。
為什么對物理學(xué)的基本把握有助于對話？
Yoshua Bengio：語言的問題通常在于系統(tǒng)無法真正理解單詞所指的復(fù)雜性。以 Winograd Schema 挑戰(zhàn)賽中的句子為例，要想理解它們，你必須捕捉物理知識。有很多句子類似于「Jim wanted to put the lamp into his luggage, but it was too large.」（吉姆想把臺燈放進(jìn)行李箱，但臺燈太大了。）你知道如果物體太大無法放進(jìn)行李箱，那么第二個小句的主語「it」一定指的是這個物體（而不是行李箱）。你可以通過單詞溝通這類知識，但這與「The typical size of a piece of luggage is x by x.」無關(guān)。
我們需要能夠理解世界的語言理解系統(tǒng)。目前，AI 研究者正在尋找捷徑，但是還不夠。AI 系統(tǒng)還需要掌握世界如何運(yùn)轉(zhuǎn)的模型。
