本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。
TensorFlow 2.0正式發(fā)布沒(méi)幾天，PyTorch 1.3今天也上線了。
一個(gè)瘋狂強(qiáng)調(diào)“易用性”，一個(gè)整出了移動(dòng)端部署。老將和新秀都卯足了勁。
畢竟，機(jī)器學(xué)習(xí)框架的世界，局勢(shì)變化過(guò)于迅猛，稍不注意就會(huì)被搶了地盤(pán)。
一年前，TensorFlow還是各大頂會(huì)論文選擇的主流框架，如今頂會(huì)幾乎成了PyTorch的天下。
CVPR 2019，只提到PyTorch的論文有280篇，只提到TensorFlow的論文有125篇，但這還不是懸殊最大的一場(chǎng)會(huì)議。
有網(wǎng)友 (@programmerChilli) 說(shuō)，雖然知道大批研究者逃離TF擁抱PT：
但我絕對(duì)想不到漲幅能到這種地步。
那么，PyTorch的優(yōu)勢(shì)到底在哪里？
PyTorch一路凱歌，對(duì)TensorFlow經(jīng)營(yíng)多年的格局又有怎樣的沖擊。
這一次，一位來(lái)自康奈爾大學(xué)的少年Horace He，用一份詳盡的調(diào)查報(bào)告，對(duì)現(xiàn)狀進(jìn)行了總結(jié)，也為潛在入門(mén)者提供了方向：
PyTorch制霸學(xué)界
報(bào)告開(kāi)頭就提到：目前的大背景是，大量研究人員從TensorFlow轉(zhuǎn)投PyTorch。
但大家未必知道，這勢(shì)頭來(lái)得多猛烈。來(lái)看2018年與2019年的各大頂會(huì)對(duì)比吧：
△ 被擋住的ICML是32.5%
表格列出了CVPR、NAACL、ACL、ICLR、ICML這五大頂會(huì)上，僅提到PyTorch/僅提到TensorFlow的論文數(shù)量。
2018年，PyTorch五項(xiàng)數(shù)據(jù)全部低于TensorFlow。
2019年，PyTorch五個(gè)數(shù)字全部超越TensorFlow。
PyTorch每項(xiàng)數(shù)據(jù)的增幅，都在192%到450%之間，漲勢(shì)十分兇猛。
其中，以自然語(yǔ)言處理(NLP) 的頂會(huì)NAACL(450%) 和ACL(290%) 最為顯著；在視覺(jué)頂會(huì)CVPR上也有大幅增長(zhǎng) (240%) 。
相比之下，TensorFlow有三項(xiàng)數(shù)據(jù)下滑。其中NAACL數(shù)據(jù)下降幅度達(dá)到了38.2%，而這里正是PyTorch飛躍式增長(zhǎng)的地方。
此消彼長(zhǎng)，PyTorch只用了一年，便把弱勢(shì)變成了壓倒性優(yōu)勢(shì)：
280:125 (CVPR) ，兩倍有余。
66:21 (ACL) ，三倍有余。
103:33 (NAACL) ，三倍有余。
在語(yǔ)言和視覺(jué)頂會(huì)上，PyTorch的主導(dǎo)地位最明顯。這跟上文提到的漲幅是吻合的。
如果還有人把PyTorch當(dāng)做一個(gè)新秀，試圖在TensorFlow主導(dǎo)的世界里，劃出一片自己的地盤(pán)，那么數(shù)據(jù)告訴他們，已經(jīng)不是這樣了。
雖然，看上去TensorFlow還有兩項(xiàng)數(shù)據(jù)在增長(zhǎng)，但其實(shí)只有ICML的漲幅 (32.5%) ，還跟得上會(huì)議總錄取論文數(shù)的增長(zhǎng)。
也就是說(shuō)，在另外四場(chǎng)會(huì)議上，TensorFlow已經(jīng)開(kāi)始衰退了。
為何研究人員愛(ài)PyTorch？
一是簡(jiǎn)單。它和NumPy比較像，風(fēng)格很Python，能輕易和Python生態(tài)集成起來(lái)。
比如，你只要把一個(gè)pdb斷點(diǎn)扔進(jìn)PyTorch模型里，它直接就能用了。
相比之下，在TensorFlow模型里面debug的話，便會(huì)復(fù)雜得多了。
二是API好。比起TensorFlow的API，大多數(shù)研究人員更偏愛(ài)PyTorch的API。PyTorch設(shè)計(jì)得更科學(xué)；而TensorFlow要在各種API之間切換，令人操作不便：
‘layers’ -> ‘slim’ -> ‘estimators’ -> ‘tf.keras’
三是性能。雖然PyTorch的動(dòng)態(tài)圖 (Dynamic Graphs) 提供的優(yōu)化空間比較小，但許多用戶都反饋說(shuō)PyTorch的速度不亞于TensorFlow，甚至比對(duì)方還快。
雖然，沒(méi)有嚴(yán)格測(cè)試數(shù)據(jù)表明到底誰(shuí)更快，但至少TensorFlow并沒(méi)有明顯的優(yōu)勢(shì)。
這樣，再加上前兩點(diǎn)，足夠讓許多研究人員擁抱PyTorch了。
TensorFlow在研究領(lǐng)域會(huì)怎樣？
就算今后TensorFlow變得像PyTorch一樣友好，PyTorch的地盤(pán)也已經(jīng)很大了。
這就是說(shuō)，PyTorch的代碼實(shí)現(xiàn)更容易找到，人們也更有動(dòng)力發(fā)表PyTorch的代碼給大家用，跟別人合作的話隊(duì)友也可能會(huì)傾向PyTorch。
所以，遷回TensorFlow 2.0這件事，大概率不會(huì)進(jìn)展很快。
當(dāng)然，谷歌和DeepMind內(nèi)部研究還是會(huì)用TensorFlow。他們的研究成果，大概也給了一部分研究人員，繼續(xù)用TensorFlow的信心。
不過(guò)Horace He聽(tīng)說(shuō)，谷歌內(nèi)部也有許多研究人員，渴望逃離TensorFlow了。
另一方面，PyTorch主導(dǎo)地位越來(lái)越強(qiáng)，谷歌研究人員可能和整個(gè)社區(qū)之間產(chǎn)生隔閡：他們很難在外部研究的基礎(chǔ)上搭建自己的應(yīng)用，外面的研究人員也很難借鑒谷歌的代碼。
最后，TensorFlow 2.0能不能挽回一些研究人員，還需要時(shí)間來(lái)觀察。Eager Execution一定是個(gè)吸引人的點(diǎn)，而Keras API就不一定了。
TensorFlow守住工業(yè)界
雖然在各個(gè)開(kāi)發(fā)者社區(qū)，“PyTorch真香”論聲勢(shì)浩大，現(xiàn)在又在頂會(huì)數(shù)據(jù)上實(shí)力壓倒TensorFlow，但其實(shí)，在工業(yè)界，TensorFlow仍具優(yōu)勢(shì)。
比如，根據(jù)Medium博主Jeff Hale的統(tǒng)計(jì)結(jié)果，2019年，TensorFlow在線上招聘啟事中擁有1541個(gè)新增職位，而PyTorch有1437個(gè)。
從arXiv的論文數(shù)量來(lái)看，TensorFlow也仍然占據(jù)首位，只是領(lǐng)先優(yōu)勢(shì)在縮小。
一方面，TensorFlow的誕生早于PyTorch，工業(yè)界對(duì)新鮮事物的追逐，不像學(xué)術(shù)界那樣熱切，使用TensorFlow已成行業(yè)慣性。
并且，許多企業(yè)的代碼都是基于TensorFlow搭建的，想要遷移到PyTorch上，并非易事。
另一方面，相比于PyTorch，TensorFlow本身就是為工業(yè)界量身打造的。
相比于研究實(shí)驗(yàn)，工業(yè)界會(huì)有更多的限制和要求，比如：
· 不用Python。Python在服務(wù)器上運(yùn)行時(shí)開(kāi)銷太大，有些公司承受不來(lái)。
· 可移動(dòng)性。移動(dòng)二進(jìn)制文件中沒(méi)法嵌入Python解釋器。
· 服務(wù)。無(wú)停機(jī)更新，模型間無(wú)縫切換，可預(yù)測(cè)時(shí)間的批處理，等等等等。
TensorFlow在這些方面顯然比PyTorch做得好得多。比如，訓(xùn)練好模型，然后使用TF Lite進(jìn)行部署，是目前最可靠的生產(chǎn)管道之一。
有網(wǎng)友舉了個(gè)例子：
TensorFlow能夠?qū)⒛Ｐ蛯?dǎo)出到coreml Android模型中，也能很容易地將其轉(zhuǎn)移到GCP（谷歌云端平臺(tái)）環(huán)境等任何形式的生產(chǎn)環(huán)境中。
相比之下，PyTorch的部署有些讓人頭禿：模型無(wú)法導(dǎo)出到非Python環(huán)境，無(wú)法優(yōu)化，無(wú)法在移動(dòng)設(shè)備上運(yùn)行（隨著PyTorch 1.3的發(fā)布，無(wú)法在移動(dòng)端部署的問(wèn)題已經(jīng)得到解決）。
況且，TensorFlow還有Keras這個(gè)好伙伴呢。
不過(guò)，也有網(wǎng)友認(rèn)為，PyTorch在工業(yè)界取得主導(dǎo)地位，只是時(shí)間問(wèn)題。
畢竟在2018年的頂會(huì)上，TensorFlow還是主流呢。僅僅一年時(shí)間，王座就已易主。
△Medium博主Jeff Hale統(tǒng)計(jì)
“融合”趨勢(shì)
PyTorch勢(shì)頭猛烈，但TensorFlow也沒(méi)有坐以待斃。
一個(gè)有趣的現(xiàn)象是，現(xiàn)在，這兩個(gè)機(jī)器學(xué)習(xí)框架呈現(xiàn)出了“融合”的趨勢(shì)。
十一假期，TensorFlow 2.0正式登場(chǎng)，進(jìn)一步整合TensorFlow和Keras，增強(qiáng)易用性，官方表示，這是一個(gè)快速、可擴(kuò)展、可投入生產(chǎn)的靈活而強(qiáng)大的平臺(tái)。
Keras的作者François Chollet甚至說(shuō)：“TensorFlow 2.0是一個(gè)來(lái)自未來(lái)的機(jī)器學(xué)習(xí)平臺(tái)，它改變了一切。”
在默認(rèn)的eager execution模式下，TensorFlow 2.0能提供PyTorch eager模式下的大部分有點(diǎn)，比如易用性、可調(diào)試性等。
并且，針對(duì)TensorFlow的API過(guò)于復(fù)雜這個(gè)問(wèn)題，2.0版本也提供了更易用的API。模型的訓(xùn)練和serving都無(wú)縫集成在了基礎(chǔ)框架中。
PyTorch這邊，2018年底引入了JIT編譯器和“TorchScript”，增加圖形功能。
就在今天，PyTorch 1.3發(fā)布，新增移動(dòng)端部署、量化和命名張量等功能。
機(jī)器學(xué)習(xí)框架未來(lái)的游戲規(guī)則會(huì)如何改變，還真令人期待呢。
FB谷歌雙料實(shí)習(xí)生
最后，介紹下這份詳細(xì)報(bào)告的作者：
Horace He，來(lái)自康奈爾大學(xué)，是2016年入學(xué)的本科生。
自從上了大學(xué)，他每個(gè)暑假都在大廠實(shí)習(xí)：2017年是Facebook實(shí)習(xí)軟件工程師，2018年是谷歌的實(shí)習(xí)軟件工程師，2019年在Facebook做PyTorch實(shí)習(xí)生。
另外，少年還是VSCodeVim(標(biāo)星6.2k) 的主要貢獻(xiàn)者之一：
那么，TensorFlow和PyTorch，你會(huì)pick誰(shuí)？
【責(zé)任編輯：張燕妮 TEL：（010）68476606】