作者：SoonYau
選自：Medium
Edge AI 仍然很新，許多人并不確定他們的項目應該選擇哪種硬件平臺。
今天，我們將比較幾個領先且新興的平臺。
自2012年開始的深度學習熱潮以來，英偉達憑借其 GPU 一直占據著人工智能芯片的主導地位。盡管它們耗電量大、噪音大、價格昂貴（因為比特幣淘金熱），但沒有其他選擇，我們不得不容忍。大約3年前，Google 宣布他們設計了 Tensor Processing Unit（TPU）來加速數據中心的深度學習推理速度。這引發(fā)了老牌科技公司和初創(chuàng)企業(yè)紛紛推出專門針對數據中心和 edge 的人工智能芯片。
我們今天要談的是 edge AI 的平臺。那么，edge AI 到底是什么？邊緣人工智能（edge AI）這個術語是從邊緣計算（edge computing）中借用的，它指的是在數據源附近進行的計算。在人工智能的世界里，它通常意味著數據中心或是你龐大的計算機中沒有發(fā)生的任何事情。這包括物聯(lián)網、移動電話、無人駕駛飛機、自動駕駛汽車等。正如你所看到的，它們的實際尺寸差別很大，而且有許多供應商。
因此，我們將把重點放在小型平臺上，這些平臺能夠舒適地裝入口袋，個人和小型公司可以購買和使用。英偉達在以下基準比較中的競爭做得很好，我們有英特爾神經電腦棒、谷歌 Edge TPU 和它自己的 Jetson Nano。
在評估實時部署的人工智能模型和硬件平臺時，我首先要看它們的速度。在計算機視覺任務中，基準通常以每秒幀數（FPS）為單位進行測量。通常來說，數字越大性能越好，對于實時視頻流，您至少需要10 fps的視頻才能看起來平滑。Nvidia 執(zhí)行了一些基準測試，您可以在 https://developer.Nvidia.com/embedded/jetson-nano-dl-inference-benchmarks 中找到結果。在基準測試中有很多應用，其中最常見的兩個是分類和目標檢測。在計算上，分類是最簡單的任務，因為它只需要對圖像進行一次預測，例如蘋果或桔子。但檢測任務的要求更高，因為它需要檢測多個對象及其類的位置，例如多輛車和行人，這正是需要硬件加速的應用程序。
在理解了這兩個應用程序的含義之后，我們現(xiàn)在可以查看基準測試結果（稍后我將解釋 DNR ）。Jetson Nano 的數字很適合實時推斷，讓我們用它們作為基線。Intel Neural Computer Stick 2（這里我們稱之為 NCS2）可以使用 MobileNet-v2 進行每秒30幀的分類，這還是不錯的。然而，它真的很難在 11fps 的速度下進行目標檢測。順便說一下，NCS2 是一個 USB 存儲棒，在這種情況下，它需要與外部主機 Raspberry Pi3 一起使用。如果使用更強大的計算機，基準數字可能會更高。如果我們不使用 UCS2 來研究 Raspberry Pi3 的數字，它能夠以 2.5fps 的速度進行分類推理，這對愛好者或玩具項目來說都是不錯的。回到 UCS2，我認為 10fps 左右的幀速率對于實時目標跟蹤來說可能不夠快，尤其是對于高速運動，它可能會丟失很多目標，你需要非常好的跟蹤算法來補償這一點。當然，我們并不完全信任基準測試結果。通常情況下，該公司會將其手工優(yōu)化的軟件與競爭對手的開箱即用的軟件進行比較。
現(xiàn)在讓我們把注意力轉向 Google Edge TPU。對于公司來說，將優(yōu)秀競爭對手的業(yè)績納入報告是很不尋常的。Edge TPU 可以執(zhí)行 130fps 的分類，這是 Nano 的兩倍！對于目標檢測，邊緣 TPU 也更快，但僅在 48fps 與 39fps 時稍快。幾天前我拿到了一個 Edge TPU 板，我運行了一個隨我而來的演示，這就是我得到的 75 FPS！我還沒有進入代碼看神經網絡圖像的大小，這對推理速度有很大的影響，但演示肯定看起來非常順利，F(xiàn)PS 令人印象深刻！
物理尺寸是重要的因素，它必須足夠小，以適應邊緣設備。開發(fā)板包含一些可能不會出現(xiàn)在生產模塊中的外圍設備，例如以太網、USB插座，但開發(fā)板為我們提供了有關大小的好主意，同時也指示了功耗。下圖顯示了實際的開發(fā)板（我只有 NCS1，還沒有收到 Coral USB）。如果我們從中間開始，Coral Edge TPU 開發(fā)板正好是信用卡大小，您可以將其用作衡量大小的參考。
開發(fā)者價格和生產模塊尺寸
● NCS2 — $99, 72.5mm x 27mm
● Edge TPU USB — $74.99, 65mm x 30mm
● Edge TPU Dev Board — $149.99(開發(fā)), 40 x 48mm
● Jetson Nano — $129 / $99(開發(fā)), 45mm x 70mm
Jetson Nano 和 Edge TPU dev 都使用 5V 電源，前者的電源規(guī)格為 10W。我找不到 Edge TPU 的編號，但從目前 2–3A 處 5A 的規(guī)格來看，我想它應該在同一個電源支架中。但是，Edge TPU 板中的散熱器要小得多，而且在目標檢測演示期間它不會一直運行。再加上邊緣TPU高效的硬件架構，它的功耗應該比 Jetson Nano 低很多。我認為，由于這一艱巨的挑戰(zhàn)，英偉達的開發(fā)工具包定價低至99美元。谷歌還沒有宣布其生產模塊的價格，但我估計它將與 Jetson Nano 競爭。
另一方面，兩個 USB3.0 棒有相似的大小，NCS2 雖然盡管性能較低但價格更高，這是否意味著英特爾是末日？別著急，軟件可以扭轉戰(zhàn)局。
WINDOWS 支持
如您所知，U盤將需要連接到主機系統(tǒng)，如果您的系統(tǒng)運行 Windows，那么 NCS2 是您的唯一選擇。故事結束了，您現(xiàn)在可以停止閱讀了。
TPU 的局限性
雖然 Edge TPU 在性能和規(guī)模方面似乎最具競爭力，但它也是軟件方面的最大限制。它只支持 Ubuntu 作為主機系統(tǒng)，但最大的挑戰(zhàn)在于機器學習框架。他們只支持一個ML框架，即 Tensorflow （不必猜測它的正確性，你知道 Tensorflow 是谷歌的嗎？）實際上，不，技術上它被稱為 Tensorflow Lite，它是一種支持有限數量神經網絡層的變體。更糟糕的是，它甚至不支持完整的 Tensorflow Lite，而只支持量化為8位整數（INT8）的模型！這與 NCS2 不同，NCS2 除了 INT8 還支持 FP16（16位浮點）。
這意味著什么？傳統(tǒng)上，深度學習模型是在 FP32 中訓練的。一般來說，它們可以很容易地轉換成FP16，而不會造成精度的損失。然而，這不是 INT8 的情況，在那里訓練后的轉換通常會給你災難性的準確性。你必須在訓練中加入量化。這意味著你不能使用預先訓練過的 FP32 人工智能模型，必須在模型中添加一些層，然后從頭開始訓練。由于增加了訓練層，訓練時間也會比平時長。如果你想了解更多關于量化的知識，你可以閱讀我的博客。谷歌確實提供了一些經過預先訓練的模型，你可以在其中進行微調并節(jié)省大量時間，但不幸的是，只有少數計算機視覺模型可以供你選擇。這就是為什么英偉達的 Edge TPU 基準中有這么多 DNR 的原因。這是英特爾和英偉達做得更好的地方。英特爾有很多經過預先培訓的型號，您可以從中選擇（https://software.intel.com/en-us/openvino-toolkit/documentation/pretrained-models ）。有趣的是，它包括 resnet50-binary-0001，它使用二進制卷積層或通俗地說，1位層。英特爾的 OpenVINO 允許從 Tensorflow、Caffe、MxNet、Kaldi 和 ONNX 轉換模型。
開發(fā)者價格和生產模塊尺寸
作為人工智能硬件的先驅，Nvidia 的軟件是最通用的，因為它的 TensorRT 支持包括 MATLAB 在內的大多數 ML 框架。EdgeTPU 和 NCS2 設計用于支持計算層的某些子集（主要用于計算機視覺任務），但 Jetson Nano 本質上是一個 GPU，它可以完成大多數計算，而它的 big brother 桌面 GPU 只能完成較慢的計算。盡管如此，如果您的應用程序涉及到一些非計算機視覺模型，例如遞歸網絡，或者您使用許多自定義層開發(fā)自己的模型，那么在將經過訓練的模型移植到嵌入式部署時，使用 Jetson 系列會更安全，以避免令人不快的意外。Nvidia 還提供 DeepStream SDK，允許多個視頻流和 Isaac 機器人引擎進行路徑規(guī)劃和自主導航。
現(xiàn)在我們已經概述了這些平臺的優(yōu)缺點，哪些平臺應該用于哪些應用程序？它們都有能力運行計算機視覺人工智能，但以下分別是我認為最適合它們的應用程序，還將提到它們的一些獨特的硬件功能。
英特爾 NCS2
優(yōu)點：支持 Windows，部署速度快，機型選擇好
缺點：推理速度相對較慢，價格較高
最好的應用程序是信息亭、ATM、運行 Windows 的銷售點系統(tǒng)。它允許非常容易和快速的 AI 升級到現(xiàn)有系統(tǒng)。這對業(yè)余愛好者和小批量項目也有好處。
Edge TPU
優(yōu)點：性能卓越，配有 Wifi 和加密引擎
缺點：不支持有限的培訓資源、人工智能模型和軟件庫，如 OpenCV。
雖然價格是最高的，但這其中包括完整的系統(tǒng)，如 Wifi 和加密引擎，使其成為消費電子和物聯(lián)網設備，如智能相機在家的理想選擇。由于它是鎮(zhèn)上最新的孩子，沒有太多的資源（培訓材料，人工智能模型，教程）可供使用，這對消費電子企業(yè)來說更有意義，因為他們可以承擔更多的研發(fā)成本。
英偉達 Jetson Nano
優(yōu)點：良好的軟件生態(tài)系統(tǒng)和資源，額外的軟件庫
缺點：體積稍大
這對無人駕駛飛機、玩具、吸塵器等自主車輛來說是理想的選擇。它是一個通用的人工智能平臺，因此在其他平臺不擅長的領域，選擇 Nano 是安全的。
Edge AI 已經到來，所以我對未來硬件的預測是什么。一個明顯的趨勢是使用較低的比特寬度，這種情況將繼續(xù)發(fā)生。目前任何低于8位的都不能給出很好的精度，但這是一個活躍的研究領域，硬件公司應該準備好迎接算法研究的突破。
計算機視覺作為第一個被深度學習徹底改變的領域，我們看到所有上述平臺都非常傾向于用于計算機視覺的前向卷積神經網絡。隨著 Alexa 等基于語音的智能系統(tǒng)的興起，我發(fā)現(xiàn) edge 的語音 AI 芯片還有一個空白。
原文鏈接：https://towardsdatascience.com/battle-of-edge-ai-nvidia-vs-google-vs-intel-8a3b87243028
本文由頭條號「黑胡桃實驗室」敲制，歡迎非商業(yè)轉載，轉載請帶上頭條號名稱及原文鏈接，并在文章開頭明顯位置注明原文地址、原文作者、譯文地址和譯者，以表示對作者和譯者的感謝。
TensorFlow 學習資源
由黑胡桃實驗室和TensorFlow團隊工程師共同開發(fā)的TensorFlow 速成課程已免費開放給大家學習 ！請大家使用電腦版訪問 https://blackwalnut.tech/tfboost/introduce 按個人中心的任務一步一步完成學習，最終提交TensorFlow案例可獲得學習認證證書！
