AI初創公司Mipsology正在與Xilinx合作，據說打算讓FPGA依靠一個附加命令取代AI加速器中的GPU。Mipsology的“zero effort”軟件Zebra可以轉換GPU代碼，使其能在FPGA上的Mipsology AI計算引擎中運行，同時無需改寫任何代碼或進行重新訓練。

近日，Xilinx宣布，將向Zebra數據中心交付最新版本的Alveo U50卡。Zebra已經支持在其他Xilinx板（包括Alveo U200和Alveo U250）上安裝加速接口。

Xilinx最新版本的Alveo U50數據中心加速卡，與Mipsology的Zebra軟件一樣，能轉換GPU AI代碼，同時在FPGA上運行（圖片來源：Xilinx）

“Zebra加速Alveo卡的能力，讓CPU和GPU加速器望塵莫及。”Xilinx營銷副總裁Ramine Roane表示：“通過與Zebra的結合，Alveo U50能適應靈活的AI工作量并且滿足其性能需求，讓任何工作部署達到高效率和低延遲的效果。”

即插即用

過去，對于非專業人士而言，FPGA編程的難度人盡皆知，但是Mipsology希望FPGA能像CPU或GPU一樣，即插即用。這樣做能讓從其他種類加速器轉換到FPGA的過程更簡單。

Mipsology首席執行官Ludovic Larzul表示：“觀察（Mipsology）的最佳方法是，采用FPGA的軟件，來使它們透明化，就像Nvidia使用Cuda CuDNN來使GPU對AI用戶完全透明一樣。”

更重要的是，因為這一過程無需重新訓練模型，所以非專業人士也能完成，他們無需具備完備的AI專業知識或FPGA技能。

“便捷很重要。因為當您查看其他人的AI項目時，他們通常無法訪問AI團隊所設計的神經網絡。”Larzul表示：“一般情況下，如果有人要安裝一個機器人系統或一個視頻監視系統……他們會邀請其他團隊或其他第三方來開發和訓練神經網絡。一旦他們獲得了訓練好的模型，他們便不會去改變它，因為是他們沒有專業知識做支撐。”

Zebra堆棧 該技術適用于數據中心、邊緣和嵌入式應用程序（圖片來源：Mipsology）

Versus Xilinx

Xilinx為什么在已經擁有自己的神經網絡加速器引擎（XDNN）的情況下，還會支持第三方軟件？

Larzul說：“原因總結起來就兩句話，第一句是我們能做得更好；另一句話是我們的產品的確有用。”

Mipsology在Zebra中擁有屬于自己的計算引擎，該引擎支持客戶現有的卷積神經網絡（CNN）模型。而它與XDNN不同。Larzul表示XDNN支持大量演示，但不太適合定制神經網絡。他還表示，Mipsology讓定制網絡占了上風，而讓XDNN的使用看起來很“艱難”。盡管在應用程序中，XDNN不受GPU的影響，擁有一定的競爭力，但Zebra旨在通過性能、成本和便捷等優勢，讓FPGA能夠抵擋住GPU的正面沖擊。

Zebra堆棧的具體細節 目的是通過盡可能隱藏硬件,讓FPGA成為AI加速器中GPU或CPU更便捷的替代品（圖片來源：Mipsology）

Larzul說，成本是大多數客戶放棄GPU方案的原因。

“他們希望降低硬件成本，但不想重新設計神經網絡。”他說：“因為我們能夠透明地替換GPU，所以這樣（避免了）一筆非經常性的費用，同時也無需重新訓練或修改神經網絡。”

Larzul表示：FPGA安全可靠，部分原因是因為它們在芯片產業不具有攻擊性，而且通常比其他加速器（包括GPU在內）的運行溫度更低。這對于長期維護成本高的數據中心來說尤為重要。

“總成本不僅僅只包括電路板上的花銷。”Larzul說：“為確保系統正常運行還需要另外支付一筆費用。”

Larzul還表示，Zebra還致力于加強FPGA在性能競爭力。盡管FPGA通常比其他加速器提供的TOPS（每秒兆級的操作）更少，但Zebra精心設計的計算引擎讓TOPS的使用更高效。

Ludovic Larzul (圖片來源：Mipsology)

他說：“大多數ASIC初創企業在加速AI的過程中都忘記了一件事，就是他們其實是在做一塊很大的芯片，可以容納更多的TOPS。但是他們沒有考慮到如何在這塊芯片上高效地繪制網絡。”他還指出，與擁有6倍量TOPS的GPU相比，基于FPGA的Zebra引擎每秒能夠處理的圖像數量卻更多。

這些是如何實現的呢？盡管Larzul沒有透露具體細節，但他確實說過FPGA不依賴重新訓練，原因是因為這樣做會大大降低精確度，從而使得芯片達不到要求。由于同樣的原因，他們也不使用極限分層（低于8位）。

Zebra引擎加快了CNN的速度，目前雖然大多數CNN都用于圖像和視頻處理應用程序，但是Zebra也可以應用到使用類似數學概念的BERT（Google自然語言處理模型）中。Zebra的更新換代可能會涵蓋其他類型的神經網絡，包括LSTM（長期短期記憶）和RNN（遞歸神經網絡），但是從數學角度來看，因為RNN更加多樣，所以這一設想很難實現。

來自EVE的團隊

Mipsology成立于2015年，在法國有一個約30人的研發團隊。同時它在加利福尼亞設有一個辦事處，主要負責業務發展。該公司已獲得總計700萬美元的資金，其中有200萬美元是2019年法國政府創新大賽所獲得的獎金。

Mipsology的核心團隊來自EVE，它是一家生產ASIC仿真器的公司。2012年該公司因其具備生產ZeBu（Zero Bug）硬件輔助驗證產品的能力，被Synopsys收購，當時該公司是Cadence鈀金驗證平臺的競爭對手。Larzul認為，EVE技術受到幾乎所有主流ASIC公司的青睞，它在設計周期內能驗證ASIC。該技術依賴于數千個連接在一起的FPGA，來重現ASIC行為。

Mipsology 正在申請12項專利，并且達成了與Xilinx的緊密合作。同時能與第三方加速器卡兼容，這些第三方加速器卡包括Western Digital小型（SFF U.2）卡和Vega-4001等。

聯系：highspeedlogic

QQ ：1224848052

微信：HuangL1121

郵箱：1224848052@qq.com

網站：http://www.mat7lab.com/

網站：http://www.hslogic.com/

微信掃一掃：