人妻少妇乱子伦精品_日韩人妻潮喷视频网站_日本最新最全无码不卡免费_日韩AV无码中文

當前位置: 首頁 > 科技新聞 >

5秒內克隆你的聲音,并生成任何內容,這個開源

時間:2021-09-02 15:37來源:網絡整理 瀏覽:
開源前線(ID:OpenSourceTop) 猿妹整編綜合自:https://github.com/babysor/MockingBird大

開源前線(ID:OpenSourceTop) 猿妹整編

綜合自:https://github.com/babysor/MockingBird


大家應該都知道聲音克隆技術,通俗的來說就是借助深度學習算法,可以完全模擬某個人的聲音,而且由機器合成的語音連情緒都能夠完美表達出來,基本可以以假亂真,只要不見面,你根本就察覺不出來向你發(fā)出聲音的知識一個機器。


語音克隆最大的創(chuàng)新之一是減少創(chuàng)建語音所需的原始數據量。過去,該系統(tǒng)需要數十甚至數百小時的音頻。但是,今天猿妹要和大家分享的這個工具5秒鐘就可以克隆成功,這個工具名叫——MockingBird。


5秒內克隆你的聲音,并生成任何內容,這個開源工具細思極恐


MockingBird已經登上Github熱榜,收獲3.5K的Star,累計分支 303(Github地址:https://github.com/babysor/MockingBird


MockingBird具有如下特性:

支持普通話并使用多種中文數據集進行測試適用于 pytorch,已在 1.9.0 版本(最新于 2021 年 8 月)中測試,GPU Tesla T4 和 GTX 2060支持 Windows + Linux僅使用新訓練的合成器(synthesizer)就有良好效果,復用預訓練的編碼器/聲碼器


MockingBird如何使用


MockingBird的安裝要求如下:

首先,MockingBird需要Python 3.7 或更高版本安裝 PyTorch安裝 ffmpeg。運行pip install -r requirements.txt 來安裝剩余的必要包。安裝 webrtcvad 用 pip install webrtcvad-wheels。


接著,你需要使用數據集訓練合成器:

下載 數據集并解壓:確保您可以訪問 train 文件夾中的所有音頻文件(如.wav)使用音頻和梅爾頻譜圖進行預處理:python synthesizer_preprocess_audio.py 可以傳入參數 --dataset {dataset} 支持 adatatang_200zh, magicdata, aishell3預處理嵌入:python synthesizer_preprocess_embeds.py /SV2TTS/synthesizer訓練合成器:python synthesizer_train.py mandarin /SV2TTS/synthesizer當你在訓練文件夾 synthesizer/saved_models/ 中看到注意線顯示和損失滿足您的需要時,請轉到下一步。


5秒內克隆你的聲音,并生成任何內容,這個開源工具細思極恐


5秒內克隆你的聲音,并生成任何內容,這個開源工具細思極恐

使用預先訓練好的合成器,如果沒有設備或者不想慢慢調試,可以使用網友貢獻的模型。


5秒內克隆你的聲音,并生成任何內容,這個開源工具細思極恐


訓練聲碼器

預處理數據: python vocoder_preprocess.py 訓練聲碼器: python vocoder_train.py mandarin


啟動工具箱

然后你可以嘗試使用工具箱:python demo_toolbox.py -d

推薦內容