用于「欺騙」神經(jīng)網(wǎng)絡(luò)的對(duì)抗樣本（adversarial example）是近期計(jì)算機(jī)視覺，以及機(jī)器學(xué)習(xí)領(lǐng)域的熱門研究方向。只有了解對(duì)抗樣本，我們才能找到構(gòu)建穩(wěn)固機(jī)器學(xué)習(xí)算法的思路。本文中，UC Berkeley 的研究者們展示了兩種對(duì)抗樣本的制作方法，并對(duì)其背后的原理進(jìn)行了解讀。
通過神經(jīng)網(wǎng)絡(luò)進(jìn)行暗殺——聽起來很瘋狂吧？也許有一天，這真的可能上演，不過方式可能與你想象中不同。顯然，加以訓(xùn)練的神經(jīng)網(wǎng)絡(luò)能夠駕駛無人機(jī)或操作其他大規(guī)模殺傷性武器。但是，即便是無害的（現(xiàn)在可用的）網(wǎng)絡(luò)——例如，用于駕駛汽車的網(wǎng)絡(luò)——也可能變成車主的敵人。這是因?yàn)?，神?jīng)網(wǎng)絡(luò)非常容易被「對(duì)抗樣本（adversarial example）」攻擊。
在神經(jīng)網(wǎng)絡(luò)中，導(dǎo)致網(wǎng)絡(luò)輸出不正確的輸入被稱為對(duì)抗樣本。我們最好通過一個(gè)例子來說明。讓我們從左邊這張圖開始。在某些神經(jīng)網(wǎng)絡(luò)中，這張圖像被認(rèn)為是熊貓的置信度是 57.7%，且其被分類為熊貓類別的置信度是所有類別中最高的，因此網(wǎng)絡(luò)得出一個(gè)結(jié)論：圖像中有一只熊貓。但是，通過添加非常少量的精心構(gòu)造的噪聲，可以得到一個(gè)這樣的圖像（右圖）：對(duì)于人類而言，它和左圖幾乎一模一樣，但是網(wǎng)絡(luò)卻認(rèn)為，其被分類為「長臂猿」的置信度高達(dá) 99.3%。這實(shí)在太瘋狂了！
上圖源自： Explaining and Harnessing Adversarial Examples，Goodfellow et al
那么，對(duì)抗樣本如何進(jìn)行暗殺呢？想象一下，如果用一個(gè)對(duì)抗樣本替換一個(gè)停車標(biāo)志——也就是說，人類可以立即識(shí)別這是停車標(biāo)志，但神經(jīng)網(wǎng)絡(luò)不能?，F(xiàn)在，如果把這個(gè)標(biāo)志放在一個(gè)繁忙的交叉路口。當(dāng)自動(dòng)駕駛汽車接近交叉路口時(shí)，車載神經(jīng)網(wǎng)絡(luò)將無法識(shí)別停車標(biāo)志，直接繼續(xù)行駛，從而可能導(dǎo)致乘客死亡（理論上）。
以上只是那些復(fù)雜、稍顯聳人聽聞的例子之一，其實(shí)還會(huì)有更多利用對(duì)抗樣本造成傷害的例子。例如，iPhone X 的「Face ID」解鎖功能依賴神經(jīng)網(wǎng)絡(luò)識(shí)別人臉，因此容易受到對(duì)抗性攻擊。人們可以通過構(gòu)建對(duì)抗圖像，避開 Face ID 安全功能。其他生物識(shí)別安全系統(tǒng)也將面臨風(fēng)險(xiǎn)：通過使用對(duì)抗樣本，非法或不合宜的內(nèi)容可能會(huì)繞開基于神經(jīng)網(wǎng)絡(luò)的內(nèi)容過濾器。這些對(duì)抗樣本的存在意味著，含有深度學(xué)習(xí)模型的系統(tǒng)實(shí)際上有極高的安全風(fēng)險(xiǎn)。
為了理解對(duì)抗樣本，你可以把它們想象成神經(jīng)網(wǎng)絡(luò)的「幻覺」。既然幻覺可以騙過人的大腦，同樣地，對(duì)抗樣本也能騙過神經(jīng)網(wǎng)絡(luò)。
上面這個(gè)熊貓對(duì)抗樣本是一個(gè)有針對(duì)性的 (targeted) 例子。少量精心構(gòu)造的噪聲被添加圖像中，從而導(dǎo)致神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行了錯(cuò)誤的分類。然而，這個(gè)圖像在人類看來和之前一樣。還有一些無針對(duì)性 (non-targeted) 的例子，它們只是簡單嘗試找到某個(gè)能蒙騙神經(jīng)網(wǎng)絡(luò)的輸入。對(duì)于人類來說，這種輸入看起來可能像是白噪聲。但是，因?yàn)槲覀儧]有被限制為尋找對(duì)人而言類似某物的輸入，所以這個(gè)問題要容易得多。
我們可以找到將近所有神經(jīng)網(wǎng)絡(luò)的對(duì)抗樣本。即使是那些最先進(jìn)的模型，有所謂「超人類」的能力，也輕微地受此問題困擾。事實(shí)上，創(chuàng)建對(duì)抗樣本非常簡單。在本文中，我們將告訴你如何做到。用于開始生成你自己的對(duì)抗樣本的所有所需代碼等資料都可以在這個(gè) github 中找到：https://github.com/dangeng/Simple_Adversarial_Examples
上圖展示了對(duì)抗樣本的效果
MNIST 中的對(duì)抗樣本
這一部分的代碼可以在下面的鏈接中找到（不過閱讀本文并不需要下載代碼）：https://github.com/dangeng/Simple_Adversarial_Examples
我們將試著欺騙一個(gè)普通的前饋神經(jīng)網(wǎng)絡(luò)，它已經(jīng)在 MNIST 數(shù)據(jù)集上經(jīng)過訓(xùn)練。MNIST 是 28×28 像素手寫數(shù)字圖像的數(shù)據(jù)集，就像下面這樣：
6 張 MNIST 圖像并排擺放
【責(zé)任編輯：龐桂玉 TEL：（010）68476606】