賈浩楠 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
在遷移學習任務中，一直存在這樣的問題：
目標域由于沒有標簽，常常導致分界面附近混淆較多的數(shù)據(jù)。
中科院計算所的在讀研究生崔書豪等，提出了一種新的解決方法：批量核范數(shù)最大化 （Batch Nuclear-norm Maximization，BNM）。
在典型的標簽不足場景下(如半監(jiān)督學習等)，BNM可以有效地提升學習效果。
并且，大量實驗表明，BNM的性能要優(yōu)于目前主流的一些方法，并且搭配起來使用，效果也很不錯。
這篇論文已被接收為CVPR 2020 Oral。
主要思路類別預測的判別性與多樣性同時指向批量響應矩陣的核范數(shù)，這樣就可以最大化批量核范數(shù)來提高遷移問題中目標域的性能。
可以通過分析批量類別響應組成的批量矩陣A，嘗試從判別性和遷移性進行優(yōu)化。
判別性
所謂判別性，指的是預測類別的過程是否堅定。比如對于二類問題的響應：1、[0.9,0.1]判別性較高2、[0.6,0.4]判別性較低。
常見的方法采用最小化熵來得到較高的判別性。我們發(fā)現(xiàn)矩陣A的F范數(shù)與熵有著相反的單調(diào)性，從而可以通過最大化A的F范數(shù)來提升判別性。
多樣性
多樣性可以近似表達為批量矩陣中預測的類別數(shù)量，即預測的類別數(shù)量多則響應多樣性大。
考慮不同類別響應的線性相關(guān)性，如果兩個響應屬于不同類別，那么響應會差別較大線性無關(guān)，如果屬于相同類別則近似線性相關(guān)：1、[0.9,0.1]與[0.1,0.9]線性無關(guān)2、[0.9,0.1]與[0.8,0.2]近似線性相關(guān)。
那么預測類別數(shù)也就是矩陣中最大的線性無關(guān)向量數(shù)，即矩陣的秩。
BNM
核范數(shù)是矩陣奇異值的和，在數(shù)學上有兩點結(jié)論：
1、核范數(shù)與F范數(shù)相互限制界限2、核范數(shù)是矩陣秩的凸近似
所以類別預測的判別性與多樣性同時指向矩陣的核范數(shù)，我們可以最大化矩陣核范數(shù)（BNM）來提升預測的性能。
比如上圖中，如果使用熵最小化（EntMin）和BNM來優(yōu)化，當熵相同的時候，使用BNM優(yōu)化更容易使得核范數(shù)更大，從而預測對擁有較少數(shù)量的類別（綿羊）。
實現(xiàn)
在常用的框架Pytorch與Tensorflow中，均可通過一行代碼實現(xiàn)BNM。
Pytorch:
TensorFlow：
應用
我們將BNM應用到三個標簽不足的場景中：半監(jiān)督學習、領(lǐng)域適應和開放域物體識別。
實驗表明，在半監(jiān)督學習中可以提升現(xiàn)有方法；在領(lǐng)域適應中BNM約束明顯優(yōu)于EntMin，并且單一的BNM約束可以達到與現(xiàn)有方法相近的性能，如下圖：
在開放域物體識別中單一的BNM約束超過有著冗雜損失函數(shù)的UODTN，達到SOTA性能，如下圖：
同時在開放域物體識別中，我們統(tǒng)計了隨機采樣的批量響應中未知類所占比例，如圖：
我們發(fā)現(xiàn)BNM確實可以保持未知類所占比例，從而保障整體預測的類別數(shù)量與準確性，從而保持多樣性。
此方法主要針對的是缺少標簽場景下分界面附近數(shù)據(jù)密度較大的問題，對于遷移相關(guān)的任務有著較為普遍的改善價值。
作者介紹論文作者包括中科院計算所學生崔書豪，卓君寶；計算所副研究員王樹徽，李亮；國科大講席教授黃慶明和華為諾亞方舟實驗室田奇博士。
本文第一作者崔書豪，2018年本科畢業(yè)于清華大學自動化系，現(xiàn)在是中科院計算所VIPL實驗室二年級碩士生，研究方向為深度領(lǐng)域適應學習與開放域?qū)W習技術(shù)。指導老師王樹徽，長期從事跨模態(tài)、跨域分析推理技術(shù)研究
值得一提的是，崔書豪以第一作者向CVPR 2020提交了兩篇論文，另一篇是Gradually Vanishing Bridge for Adversarial Domain Adaptation，目前也被接收。
傳送門論文原址：https://arxiv.org/pdf/2003.12237.pdf
第二篇CVPR:https://arxiv.org/abs/2003.13183
BNM項目Github主頁：https://github.com/cuishuhao/BNM
崔書豪知乎：https://zhuanlan.zhihu.com/p/121507249
— 完 —
量子位 QbitAI · 頭條號簽約
關(guān)注我們，第一時間獲知前沿科技動態(tài)
