?燃財經(jīng)（ID:rancaijing）原創(chuàng)
作者 | 金玙璠 蘇琦
編輯 | 魏佳
“科技改變追星生活?！?/p>
近日，B站上出現(xiàn)了多個鹿晗AI換臉的視頻，因為換臉后的人臉輪廓、表情非常自然，加上鹿晗本人顏值出挑，很多網(wǎng)友自稱成了鹿晗的AI粉。
B站截圖
這些視頻多由UP主制作并上傳，時長約2-4分鐘左右。
與此同時，日前同樣因為AI換臉被推上熱搜的古裝網(wǎng)劇《三千鴉殺》迎來大結(jié)局。劇中被換臉的角色“青青”就沒這么幸運了，不但沒有AI粉，自開播以來就因“技術(shù)太差”被網(wǎng)民“群嘲”是車禍現(xiàn)場，“五分錢換臉”“畫面有點詭異”“一個人毀了整部劇”等評論充斥在彈幕和微博評論中。
《三千鴉殺》中的AI換臉效果呈現(xiàn)
片方換臉的原因是，劇中“青青”一角的飾演者劉露因大鬧公共場所被拘留，如今替代劉露飾演青青一角的演員是張鼎鼎。但呈現(xiàn)出的效果差強人意，角色換臉后的五官明顯大于常人，表情生硬，臉部邊緣還出現(xiàn)了模糊、扭曲的情況。
“片方想要挽回‘劣跡藝人’造成的損失可以理解，但是處理方式過于低劣。如果選擇AI換臉，至少也要達到之前B站up主‘換臉哥’混剪的效果，結(jié)果呈現(xiàn)出來的是美圖秀秀的水平，面部扭曲、表情生硬、脖子和頭顏色完全分離?！痹谟耙曅袠I(yè)工作6年的陳傾對燃財經(jīng)表示。
AI換臉并不是首次應用在國產(chǎn)影視劇中，2019年播出的《封神演義》《光榮時代》《長安十二時辰》以及剛剛完結(jié)的《時光與你都很甜》中，都使用了該技術(shù)，但效果不盡如人意。
簡單來說，這是一種先通過視頻/圖片采集一位演員的面部表情，再通過轉(zhuǎn)換編碼給另一位演員“換臉”的技術(shù)。此前這項技術(shù)進入公眾視野，是2019年B站up主“換臉哥”將94版《射雕英雄傳》中朱茵的臉替換成楊冪，以及陌陌旗下的ZAO App在朋友圈掀起的“換臉”風潮。
多位業(yè)內(nèi)人士對燃財經(jīng)表示，《三千鴉殺》中的換臉效果的確不太理想，但背后不是只有技術(shù)原因這么簡單。這次影視劇中被“群嘲”的AI換臉操作與ZAO相比，為何效果不佳？AI換臉成本如何？自娛自樂效果尚可，一商用就“露怯”，這項技術(shù)是否真的有應用市場？
? 《三千鴉殺》背后的換臉團隊應該是在DeepFake開源算法的基礎上做了一些優(yōu)化，但在表情和動作，尤其是臉部邊緣處理上存在一些問題，所以用戶覺得效果僵硬；
? ZAO是開卷考試，所有題目都已經(jīng)做過，爛熟于胸；而影視劇中的AI換臉屬于閉卷考，做的題目都是沒學過的，只是利用原來學過的一些知識和經(jīng)驗去重做一遍，效果差距自然很大；
? 目前市場上AI換臉的價格大概是1.5萬元/分鐘，手動換臉的價格在十幾萬元/分鐘，即便是簡單的內(nèi)容，最低市場報價也要在5-6萬元/分鐘；
? 很少有公司單做AI換臉這一項業(yè)務，因為研發(fā)成本沒有其他的落地項目來攤銷，盈利很難。
AI換臉技術(shù)最早出現(xiàn)在2017年，也被叫做“深度偽造技術(shù)”(DeepFake)，簡單來說，就是通過人工智能深度學習技術(shù)將視頻中出現(xiàn)的人臉替換成另一張臉。這一技術(shù)的鼻祖是一位名叫“DeepFake”的開發(fā)者。同年，他將這項技術(shù)開源，他的名字也就成了AI換臉技術(shù)的統(tǒng)稱。
智能互動視頻播放器技術(shù)平臺極鏈科技Video++聯(lián)合創(chuàng)始人董慧智告訴燃財經(jīng)，DeepFake這套算法的弱點就在于，臉部邊緣的處理，尤其是在較為夸張的臉部表情處理上，還沒有做過深度處理，因此每家公司在實際使用中都要自己做一些優(yōu)化處理。
他從《三千鴉殺》的換臉效果判斷，“背后的換臉團隊應該是在DeepFake開源算法的基礎上做了一些優(yōu)化，只是優(yōu)化得不是特別好，在表情和動作，尤其是臉部邊緣處理上還是存在一些問題，因此從用戶角度來看效果確實比較僵硬”。
《三千鴉殺》因角色AI換臉在微博被“群嘲”
此次AI換臉的效果，也被眾多用戶拿來與曾經(jīng)火爆一時的換臉工具ZAO進行對比。
2019年8月30日，“僅需一張照片，出演天下好戲”的ZAO App上線，它也是基于DeepFake算法演變出的產(chǎn)品之一。
ZAO App的功能介紹
在瑞萊智慧RealAI產(chǎn)品負責人唐家渝看來，“其實ZAO的大部分視頻臉部邊緣處理得也不是很好，估計是它的建模過程學習到的特征也不是特別好?！?/p>
ZAO的效果雖然看起來略好一些，但也不代表技術(shù)一定更優(yōu)，因為兩者使用場景不同，難度不同。
“AI技術(shù)的核心在于訓練的過程，訓練后的模型應用于同一領域，很多算法的準確度可以接近100%，這是AI有優(yōu)勢的地方；但缺點是與人類相比，AI的聯(lián)想能力較弱，沒有訓練過的內(nèi)容幾乎不會?！倍壑钦f。
眾所周知，ZAO里可供用戶換臉的影視劇片段是特定場景，也就是說，技術(shù)難度相對較小。董慧智分析，ZAO背后需要訓練的時間比較長，需要選定視頻庫中的片段，對其中男女主角的臉部進行長時間的學習和訓練，不斷調(diào)參，經(jīng)過線下預處理再上線，用戶的使用效果自然不錯。
而影視劇中的臨時換臉難度更大，需要在短時間內(nèi)，對一個未經(jīng)訓練的影視劇進行AI批量換臉。董慧智對燃財經(jīng)表示，AI分訓練和推理兩個階段，前期訓練的過程很長，可能要一到兩周甚至幾個月，而一次推理過程也就是幾百毫秒。因此一般情況下，提供技術(shù)的AI公司受限于成本和時間要求，只能用有限的樣本來訓練模型，推理時卻面對的是海量多樣化的視頻，效果不是特別理想。
在董慧智看來，兩者難度的差異相當于，ZAO是開卷考試，所有題目都已經(jīng)做過，爛熟于胸；而影視劇中的AI換臉屬于閉卷考，做的題目都是沒學過的，只是利用原來學過的一些知識和經(jīng)驗去重做一遍，效果差距自然很大。
據(jù)唐家渝介紹，影視劇AI換臉的效果與劇中人物的角度正面與否、光照條件有直接關(guān)系。也就是說，如果采用比較前沿的算法，上述兩個條件較好的情況下，數(shù)據(jù)采集充分，最終建模的效果會比較好，肉眼基本難以分辨，除非場景的復雜度較高，比如臉部被一片樹葉遮擋，這就需要后期的人工修復了。
“我看劇(《三千鴉殺》)中有的片段，人物都是相對正面的角度，光線看起來也還不錯，在這樣的情況下，換臉面部依舊沒有貼合，說明技術(shù)確實一般。”唐家渝說。
那我們看到的B站up主“換臉哥”以及“AI鹿晗”的作品，還有很多好萊塢作品為何能夠以假亂真呢？
“有點炫技的意思?！倍壑钦J為B站up主“換臉哥”的作品（將94版《射雕英雄傳》中朱茵的臉替換成楊冪），應該是經(jīng)過后期人工處理的，效仿好萊塢一些特效軟件，人工干預、時間長、造價高。
94版《射雕英雄傳》中朱茵的臉替換成楊冪
那么，AI公司如果接到影視劇換臉的任務后進行重新訓練和應用是否可以？答案是可以，但要保證訓練的速度足夠快。“這樣做很不經(jīng)濟，相當于每造一幢小房子，就要請國際頂尖設計師來設計一遍，造價太高了。”董慧智補充道。
在好萊塢電影史上，“換臉”技術(shù)早就被廣泛應用于影視劇中，甚至創(chuàng)造出一個虛擬的真人出來，當然造價也是高得驚人。
最具代表性的要數(shù)2015年的《速度與激情7》，直接讓去世的主演保羅·沃克“復活”了。據(jù)此前外媒報道，只用CGI（計算機合成圖像）技術(shù)一項，就將這部電影的制作成本從原計劃的2億美金提升至了2.5億美金。
2019年上映的電影《雙子殺手》更是將CGI技術(shù)向前推了一步，創(chuàng)造出一個減齡至23歲的威爾·史密斯，與真人版51歲的威爾·史密斯進行近身搏斗。
這不是單純的對男主角威爾·史密斯進行面部“減齡”，而是從肌膚、骨骼、眼睛、牙齒光澤各個方面進行再造。
《雙子殺手》中真假威爾·史密斯近身搏斗的場景
要實現(xiàn)這樣的效果，首先需要數(shù)據(jù)準備，通過傳感器收集演員不同的臉部姿態(tài)、角度、表情以及光照的臉部圖像，其次需要進行專門的數(shù)據(jù)處理，通過電腦進行數(shù)字維度上的轉(zhuǎn)換，最后依照計算機系統(tǒng)對人臉表情變化的特征點，在虛擬形象上重構(gòu)。當然，在制作部門建模的時候參考了大量威爾·史密斯年輕時拍過的電影畫面。
這一場真假威爾·史密斯的近身搏斗，只有4分鐘的戲份，卻需要后期團隊花九個月的時間調(diào)整和完善，難度之大、成本之高可想而知。據(jù)說光是這個CGI人物的制作費用就是威爾·史密斯片酬的2倍。
在成本方面，此前有媒體報道，目前市場上AI換臉的價格大概是1.5萬元/分鐘，手動換臉的價格在十幾萬元/分鐘，即便是簡單的內(nèi)容，最低市場報價也要在5-6萬元/分鐘。
唐家渝從不同角度拆分AI換臉的成本，一方面是算力的成本，需要有高性能、一定數(shù)量的GPU，硬件的價格比較高；另一方面是拍攝、收集各種照片以及建模的成本；此外，事后處理一些遮擋情況也需要一定的人工成本。
手動P圖換臉的成本自然更高。“如果我現(xiàn)在是影視制作方，演員出了問題，我肯定不會找手動換臉。1秒的畫面一般有23-30幀，每一幀都要手動換，成本太高了?！?/strong>唐家渝表示。
也就是說，目前國內(nèi)影視行業(yè)一旦遇到需要替換演員的突發(fā)情況，AI換臉相比手動換臉，是成本可控的挽救方式。
《三千鴉殺》中的AI換臉效果呈現(xiàn)
據(jù)娛樂資本論矩陣號河豚影視檔案報道，《三千鴉殺》背后的AI換臉技術(shù)提供方，是一家受到資本市場認可，估值已達幾十億元的公司，但并不主營影視類項目，因此也不擅長做影視劇中的AI換臉。
“很少有公司單做AI換臉這一項，盈利很難，因為研發(fā)成本沒有其他的落地項目來攤銷?！?/strong>董慧智告訴燃財經(jīng)，“拖后腿”的因素，除了成本、技術(shù)成熟度之外，還有供需雙方對AI換臉技術(shù)的理解、預期相差較大。
“不光用戶，包括影視劇的制作方、導演，對AI換臉技術(shù)都沒有那么了解，他們因為覺得‘既然ZAO都做得那么好了’，而對影視劇換臉的期望值過高。”他認為這也是制約行業(yè)發(fā)展的很重要的因素。
但總得來說，董慧智介紹，AI換臉技術(shù)在行業(yè)中主要有兩大商業(yè)化模式。
一種是向大的視頻平臺和制作方輸出技術(shù)，類似于定制開發(fā)，收取的是授權(quán)費+維護費，這種方式成本高，定價也高，一般都是百萬量級；另一種是按單次需求的工作量（要換多少張臉，一共多少秒）收費，一般是影視劇制作方提出換臉需求，技術(shù)公司去實現(xiàn)。
具體到極鏈科技Video++，董慧智透露，“AI換臉”只是公司數(shù)十款產(chǎn)品中的一個，如此一來，80%的研發(fā)成本是共用的，邊際成本也就更低。
而想要擴大商業(yè)化范圍，隱私問題是一個繞不開的話題。先前紅極一時的ZAO，就是用戶因上傳的照片無法撤掉而擔憂信息泄露、遭遇詐騙等問題，紛紛棄用。
與ZAO類似，極鏈科技Video++的商業(yè)化方向之一是面向C端用戶的技術(shù)解決方案，即讓用戶上傳自己照片，和自己的idol演對手戲。董慧智對燃財經(jīng)透露，這一方面可以與影視劇的播放平臺直接合作，也可以鏈接大平臺的粉絲社區(qū)，未來有一定的商業(yè)價值，當然，也會吸取ZAO的前車之鑒?！癦AO最大的問題是把臉部圖像保存下來，才有了隱私侵權(quán)問題，我們會注意避免這個問題?！?/p>
除此之外，極鏈科技Video++還有兩個商業(yè)化方向是，用人臉做emoji表情以及對短視頻/直播中人物的再創(chuàng)作。
后者應用需求在B站伴隨同人創(chuàng)作而崛起，一般而言，是將短視頻/直播中的人物替換成動漫臉、GIF表情包等。這一方向還在2018年的國內(nèi)掀起了一股“虛擬主播”的熱潮，因為媒體、教育、醫(yī)療、娛樂、客服等多個領域和場景，無一不適用，于是搜狗、科大訊飛、斗魚等大公司都進場試水。
此次疫情期間應用的AI主播
唐家渝提供了另一個商用方向。
眾所周知，DeepFake的開源降低了AI換臉的技術(shù)門檻，但與之相應的黑產(chǎn)也快速生長，各種換臉情色視頻和軟件教程層出不窮，在國內(nèi)已經(jīng)形成了一個上游提供軟件及技術(shù)、中游提供視頻、照片定制、下游售賣成品視頻，甚至有的商家做的是全產(chǎn)業(yè)鏈的生意。
越來越多的人開始抵制AI換臉，其風險在于經(jīng)過AI換臉的合成照片、合成視頻是人類僅憑肉眼無法識別的，部分甚至無法通過單一技術(shù)模型鑒別，很容易被當作真實信息進行再次傳播。因為除了DeepFake，最常使用的AI換臉算法還有FaceSwap和Face2Face，不同算法生成的結(jié)果千差萬別。
那么“反黑”，也就是通過使用鑒別器算法來打假，就是個不錯的商業(yè)化方向。國外最負盛名的是一家總部位于阿姆斯特丹的創(chuàng)業(yè)公司Deeptrace，在國內(nèi)，RealAI是最早涉及這一領域的公司，去年底正式上線了針對Deepfake的深度偽造視頻檢測工具。目前，RealAI已經(jīng)在金融行業(yè)做出反欺詐的解決方案，主要應用于信貸風控領域。
總體來說，影視行業(yè)是目前AI換臉技術(shù)更容易落地的場景，但眼下需求有限。隨著機器學習算法的快速學習與進化，AI換臉相關(guān)從業(yè)者要做的是，在燒錢的電影特效和人人取之可用的入門級App之間，尋找性價比和安全性最高的商用領地。
*題圖來源于Bilibili Up主AI王子。應受訪者要求，文中陳傾為化名。
