白皮書

FPGA 加速的 NVMe 儲存解決方案

使用 BittWare 250 系列加速器

概述

近年來，向基於 NAND 快閃記憶體的儲存的遷移以及非易失性記憶體高速 ® （NVMe™）的引入為技術公司提供了更多不同方式“做存儲”的機會1。即時數字業務的快速增長和多樣性要求這種創新來實現新產品和服務。

介紹

近年來，向基於 NAND 快閃記憶體的儲存的遷移以及非易失性記憶體高速 ® （NVMe™）的引入使技術公司以不同的方式“做存儲”的機會成倍^增加1。即時數字業務的快速增長和多樣性要求這種創新來實現新產品和服務。因此，新的存儲產品順應了更高頻寬、更低延遲以及減少佔用空間和總擁有成本的趨勢 - 對於依賴大型基礎設施的公司來說，這是關鍵改進。最近的市場報告²預測，NVMe市場將以約15%的複合年增長率增長，到2020年達到570億美元。NVMe市場不斷發展，並在三個領域尋求進一步的技術創新：

存儲虛擬化可提高靈活性和安全性
靠近存儲數據的當地語系化數據處理
用於優化基礎架構的分解存儲³

2018年3月，BittWare發佈了250系列FPGA產品，該產品提供創新的解決方案來滿足存儲市場的需求。該 250 系列產品採用賽靈思 ® UltraScale+ ™ FPGA 和 MPSoC，在單晶片中提供 ASIC 級功能，滿足存儲行業的技術需求 ⁶。通過將NVMe與可重構邏輯FPGA和MPSoC相結合，BittWare正在提供一類新的存儲產品，在快速發展的市場中具有關鍵的差異化優勢;Xilinx 器件的靈活性和可重配置性保證了基於 20 的解決方案能夠保持最新狀態，因為 NVMe 標準隨著時間的推移整合了新功能⁵。

本應用說明介紹了BittWare的250系列FPGA和支援MPSoC的加速器產品如何用於幫助客戶為下一代物聯網和雲基礎設施構建高性能、可擴展的NVMe基礎設施。

NVMe 路線圖

自 2011 年 NVMe 成立以來，NVMe 聯盟一直非常活躍。事實上，NVMe協定目前正在從單獨規範中定義的三個角度發展。除了基本的 NVMe 規範外，NVMe 管理介面（NVMe-MI）還詳細介紹了如何管理通信和設備（設備發現、監控等），NVMe over Fabric （NVMe-oF）驅動如何通過網路與非易失性存儲進行通信，以將協定呈現為與傳輸無關的⁹。

隨著時間的推移，隨著來自各行各業的更多用戶開始採用NVMe，新使用者描述了他們對新功能的需求，併為規範引入了新的想法。NVMe協議的採用仍在增長，並且正在產生創新。硬體和軟體公司正在尋找新的方法來獲得記憶體，通過引入新的外形尺寸，創造新產品和設備等。NVMe生態系統的重點是為使用者提供擴展到數據中心或超大規模基礎設施的方法，協定規範將繼續朝著這個方向發展⁹。

2019年將發佈NVMe基本規範的修訂版1.4，這將改善數據延遲，對非易失性數據的高性能訪問以及多個主機之間數據共用的便利性。NVMe使用者，特別是雲供應商所期待的功能之一是IO確定性，它將提高IOs¹⁰並行執行期間的服務品質。通過將後台維護任務的影響限制在最低限度並控制干擾鄰居的影響，IO 確定性功能將在訪問非易失性數據時為使用者提供一致的延遲。另一種方法是前面討論的開放通道體系結構11。使用第二種方法，主機接管一些管理功能，只有數據傳輸到存儲硬體。在這種配置中，驅動器與主機的物理介面僅限於高速數據通道，沒有邊帶通道。此示例顯示了 NVMe 規範中任何更改的影響和相關性，並突出顯示了對靈活 NVMe 硬體基礎架構的要求。

隨著基礎、MI 和以上結構規範的新版本在未來幾個月內發佈，NVMe 使用者將受益於靈活的基礎，可以適應新的 NVMe 要求。250 系列 FPGA 和 MPSoC 產品不僅提供了這種靈活性，而且還解決了當今客戶面臨的挑戰，並為他們提供了即時的競爭優勢。

為什麼選擇FPGA？

BittWare 的 FPGA 和 MPSoC 產品採用最新的 Xilinx UltraScale+ 技術，可滿足日益關注 NVMe 的數據中心的需求。三十多年來，FPGA為多個行業提供了可程式設計硬體解決方案，並廣泛用於解決汽車、廣播、醫療和軍事市場的計算和嵌入式系統問題。同時，近年來，FPGA製造商對這一成熟技術進行了最新和最大的集成系統設計改進。

Xilinx UltraScale+ FPGA 和 MPSoC 產品採用 16 奈米製程，通過提供高速架構、嵌入式 RAM、時鐘和 DSP 處理來提高系統性能。此外，Xilinx 器件還引入了更快的收發器技術（高達 32.75 Gb/s），以實現與網路或 PCIe 結構的更高輸送量連接。憑藉其大量的串行收發器通道，UltraScale+ 產品可以同時連接到多個PCIe介面，並為主機 CPU 提供數據卸載介面。在某些情況下，通過用FPGA或MPSoC替換PLX開關，CPU可以卸載其部分處理並釋放用於其他操作。FPGA 和 MPSoC 的可程式設計邏輯還在系統中提供了確定性和低延遲介面，在某些用例中可以提供明顯的競爭優勢。

最近的FPGA系列現在還包括設備結構中的嵌入式低功耗微處理器。UltraScale+ MPSoC 通過將需要軟體和可程式設計邏輯的應用組合到單個封裝中，滿足了這些應用的需求。例如，Xilinx Zynq UltraScale+ ZU19EG 具有兩個處理單元，一個四核 ARM Cortex-A53 和一個實時雙核 ARM Cortex-R5，此外還有一個圖形處理單元 ARM Mali-400™ MP2，適用於具有混合計算需求的應用。ZU19EG MPSoC 器件是一款非常通用的晶片，特別適合結構上的 NVMe 或開放通道實施，其中可程式設計邏輯為存儲數據提供低延遲確定性路徑，ARM 內核執行複雜的數據包控制操作或替換無 CPU 嵌入式系統中的主機 CPU。

在過去的幾年中，BittWare一直處於存儲行業的最前沿，並通過開發基於NVMe技術的產品為其創新增長做出了貢獻。BittWare認識到FPGA可以減少I / O瓶頸，併為NVMe固態驅動器提供直接的高速確定性路徑。早在2015年，BittWare就與Xilinx和IBM合作開發了創新的NoSQL資料庫解決方案¹²。250 系列 FPGA 和 MPSoC 板以這款初始產品的成功為基礎，為伺服器存儲背板增加了更深、更快的板載記憶體、網路連接、片上系統和布線選項等功能。

空標題

250 FPGA 和 MPSoC 產品系列

250 FPGA和MPSoC產品線包括三個FPGA適配器，即250S+，250-U2和250-SoC，它們連接到各種行業標準外形，如PCIe插槽，OCuLink/Nano-Pitch，SlimSAS，MiniSAS HD，U.2存儲背板等。250 系列產品可直接載入現有基礎架構的 PCIe 結構中，以便直接低延遲訪問 NVMe 儲存設備。

250S+ 直連加速器

該系列的第一個加速器是 250S+。這款 FPGA 加速器採用賽靈思 UltraScale+ Kintex 15P FPGA 和四個板載四通道 1TB M.2 NVMe 驅動器（總共 4TB 非易失性快閃記憶體），外形扁平 8 通道半高半長 PCIe 兼容。或者，對於只想在其系統中引入 FPGA 計算並且已經有可用儲存的客戶，M.2 板載連接器可以使用 Molex 低損耗高速佈線技術連接到 OCuLink/Nano-Pitch 或 MiniSAS HD NVMe 背板。KU15P FPGA擁有1，143K系統邏輯單元、1，968個DSP切片和70.6 Mb嵌入式記憶體，是UltraScale+ Kintex FPGA系列中最大的器件，為實現增值功能提供了大量可配置資源。板載 DDR4 記憶體庫允許對更深的數據向量進行額外緩衝。

250S+ 有兩種配置：

多達 4 個 M.2 NMVe 固態硬碟在卡上耦合到賽靈思 FPGA
OCuLink 分支布線使 250S+ 成為大規模擴展記憶體的一部分

這種緊湊的高密度存儲節點為主機需要高速讀取或寫入數據到NVMe驅動器的應用程式提供了一體化解決方案。板載 FPGA 裝置可以有效地編排和處理進出儲存的數據流，將驅動器呈現為一個或多個命名空間或實現 RAID 功能。250S+ 可用作直接連接加速器（DAA）來虛擬化存儲，允許 NVMe SSD 與多個虛擬機共用，從而在主機 CPU 和 NVMe SSD 之間提供一層隔離和安全性。FPGA 的可程式設計邏輯還提供了對數據進行內聯分組、壓縮或加密的選項，對驅動器訪問頻寬和延遲的影響很小;例如，Xilinx 的糾刪碼 IP 引入的 90ns 延遲可以忽略不計，與基於 CPU 的實現方案相比，原始性能遠遠優於此。250S+ 還解決了檢查點重啟或突發緩衝區緩存用例;為虛擬化和獨立的 AI 和 IoT 環境提供簡單的緩存解決方案。

直連加速器（DAA）

虛擬化 NVMe 儲存並在多個虛擬機之間共用
隔離 NVMe 儲存以提高主機 CPU 和 NVMe 固態硬碟之間的安全性
250S+ 和 250-SoC

250-U2 代理直列式加速器

250系列的第二個成員是250-U2。該加速器板採用賽靈思超大規模+ Kintex 15P FPGA（與250S+相同）和一組DDR4記憶體，採用2.5英寸U.2驅動器外形。與 250S+ 不同，250-U2 沒有任何板載 SSD 直接連接到 FPGA。該加速器的新穎設計使其能夠安裝在沒有專用PCIe插槽的系統中的現有U.2儲存背板中，從而在現有標準U.2 NVMe儲存旁邊提供額外的計算能力。這款 250-U2 產品充當代理在線加速器（PIA）的角色。

250-U2 可以執行內聯壓縮、加密和散列，還可以執行更複雜的功能，例如糾刪碼、重複數據刪除、字串/圖像搜索或資料庫排序/連接/過濾。根據應用的計算需求，背板群體將顯示用於 NVMe 驅動器的不同比率的 250-U2 板。250-U2 與存儲一起位於U.2背板中，具有與利用NVMe-MI規範的任何其他標準U.2 NVMe驅動器相同的維護選項。由於 250-U2 處理節點和存儲都直接連接到主機伺服器的 PCIe 結構，因此 DMA 數據流量可以完全繞過 CPU 和全域記憶體，從而使用 SPDK 等技術優化端點到端點的數據傳輸。使用 RDMA 或點對點 DMA 解決方案，數據直接在 NVMe 端點之間流動，完全繞過 CPU。這些直接連接到FPGA和MPSoC可程式設計邏輯的介面顯著降低了訪問延遲（Lusinsky，201721）。或者，此硬體平臺的另一個用例是作為卸載計算引擎，非常適合FPGAaaS可擴展基礎設施。

代理線上加速器（PIA）

對本地 NVMe 儲存資料執行低延遲、高頻寬處理
多種主機外形 8 通道 PCIe 適配器或 2.5“ U.2
250S+ 和 250-U2

250 SoC，用於結構上的NVMe

該系列的第三款加速器 250-SoC 採用 Xilinx UltraScale+ Zynq 19EG MPSoC，可通過兩個 QSFP28 埠（25Gbps 線速支援 100GbE ）連接到網路結構，或通過 16 通道 PCIe 3.0 主機介面和四個 8 通道 OCuLink 連接器連接到 PCIe 結構。ZU19EG 是該系列中最大的器件，具有 1，143K 系統邏輯單元、1，968 個 DSP 切片和 70.6 Mb 嵌入式記憶體。設備封裝中的嵌入式 ARM 處理和圖形單元為具有混合處理要求的產品創造了理想的平臺。

250-SoC 硬體多功能性允許從網路直接訪問存儲，並支援 NVMe-over-Fabric。NVMe-oF 是下一代 NVMe 協定，用於通過網路結構分解存儲並遠端管理存儲;與 SAS 相比，NVMe-oF 還提供了額外的靈活性，可以按需設置網路陣列。分解存儲或EJBOF（乙太網快閃記憶體）硬體可降低數據中心的存儲成本、佔用空間和功耗。

Xilinx Zynq MPSoC 晶片為嵌入式系統提供了更大的靈活性。MPSoC 板可以獨立於主機 CPU 運行作業系統及其完整軟體堆疊。憑藉其支援多達兩個 100GbE 連接埠和板載 MPSoC 的高頻寬網路功能，250-SoC 無需外部網路介面卡（NIC）和 NVMe-oF 應用的外部處理器13。基於 FPGA 的 NVMe-oF 基礎設施的實現簡單且性能卓越，因為數據僅通過硬體路徑，從而提供低且可預測的延遲解決方案。

NVMe-over-Fabric （NVMEoF）

數據中心網路結構上的NVMe幀的低延遲和高輸送量
250-SoC

250-SoC 為存儲行業提供了一系列靈活的解決方案。250S+ 和 250-SoC 透過針對直連加速器用例來滿足虛擬化和提高安全性的需求。250-U2 和 250S+ 作為代理內聯加速器可輕鬆插入現有基礎設施，為 NVMe 儲存提供低延遲和高頻寬本地數據計算。最後，250-SoC 支援 NVMe-over-Fabric 作為一種純硬體的創新方法，用於分解存儲，同時支援最新一代 NVMe 協定。隨著NVMe市場的持續增長，FPGA和MPSoC解決方案將解決NVMe產品的應用挑戰。

NVMe 應用程式

NVMe技術為存儲帶來了顛覆性創新，並對數據中心基礎設施產生了深遠的影響。該協定的特性使NVMe成為設計涉及存儲的新產品或應用程式時的首選。

資料庫加速等企業應用需要低延遲以及高頻寬的 4K 或 8K 數據寫入傳輸速率，這兩個要求完全符合 NVMe 協議的優勢。這些特徵使 NVMe 率先實現重做日誌，例如，存儲許多事務記錄的案例，以及資料庫發生故障時的未來重放。對於此用例，250S+ 將高達 4TB 的 NVMe 儲存直接帶到 FPGA 可重構結構的邊緣，在那裡事務記錄以高速收集到 SSD 上，準備重放¹⁴。

NVMe 還緩解了虛擬化基礎架構的挑戰，並簡化了 VM（虛擬機）、無狀態 VM 和 SRIOV 的實施，其中 IO 是最常見的瓶頸。在無狀態 VM 用例中，IT 經理需要鎖定企業使用者不修改的操作系統映像。使用者只需修改其數據，操作系統映射在 NVMe 儲存中保持不變;用戶之間的隱私和安全至關重要。對於此類 IT 基礎架構，NVMe 儲存由多個用戶共用。250S+ 是實現此應用的一體化平臺。每個 1TB 物理驅動器都由 FPGA IP 劃分，因此每個使用者都可以隔離並安全地訪問其操作系統映像和數據。虛擬機監控程式管理對驅動器部分的直接訪問，而無需模擬驅動程式，從而為此IO綁定應用程式提供更好的性能。

“大數據”市場也為結合存儲和處理的智慧NVMe產品帶來了機會，因為它正在從批處理方法轉向實時處理方法。Map Reduce問題正在轉向即時分析而不是批處理，因此，他們需要一個新的存儲層，它比GFS後端快得多。現在在IT基礎架構中看到的儲存分層將很少訪問和低速的冷存儲與非常快的SSD，NVMe或NVM記憶體分開。在此用例中，所有數據都記錄在 GDFS 中，但隨後將其移動到具有更快記憶體的計算節點。實施 NVMe-over-Fabric 的 250-SoC 滿足了這兩個要求，因為它可以訪問高速存儲和高性能計算功能。

深度學習行業與分析世界有著相似的需求。用於深度學習的新一代加速器，即GPGPU、TPU和FPGA;這些設備需要大記憶體頻寬來匹配晶元的計算能力。訓練操作消耗大量此類高輸送量數據，通常為數^TB15。最近的研究表明，FPGA結構可以加速某些網路類型的訓練操作。因此，將存儲和計算引擎組合到一個硬體平臺上可以減少延遲，從而隨著訓練數據集的增加而允許更多的重新訓練週期¹⁶。

在 HPC 領域，250S+ 的本地存儲和 250-SoC 的遠端版本具有多種應用，如檢查點/重啟、突發緩衝區、分散式文件系統或從調度程式緩存作業數據。通過在靠近 FPGA 結構上的存儲運行演算法，FPGA 應用的佔用空間仍然很低，同時充分利用存儲並保持 CPU 空閒用於其他處理作業。而不是簡單地儲存數據或使用主機CPU來壓縮或加密記憶體中的資料庫，其中千兆位元組的數據保存在易失性記憶體中，但需要定期備份到快閃記憶體中。基於 FPGA 的系統可以處理這些數據快照，以便永久存儲到基於 NVMe 的大型記憶體陣列中。對於這種類型的操作，MPSoC 特別適合對用戶數據執行更複雜的操作。

最後，在物聯網領域，需要在物聯網閘道上進行數據過濾和預處理，其中發生聚合以及對數據進行加密接收后，FPGA 通過加密或壓縮等位操作即時處理數據流，並使用 250S+ 將數據存儲在板上，或使用有線 250S+ 或 250-SoC 以輸入頻寬將其傳遞到存儲背板。 FPGA也是區塊鏈計算的首選平臺。區塊鏈技術為物聯網閘道帶來了差異化，提供了一種自適應和安全的方法來維護物聯網設備的用戶隱私偏好¹⁷.

BittWare的能力

二十多年來，BittWare説明行業專家在其基礎設施中引入FPGA，以設計，開發和優化工作負載。在此期間，BittWare計算和網路解決方案為包括HPC，金融，基因組學和嵌入式計算在內的各個行業的客戶提供競爭優勢。BittWare結合了硬體、軟體和系統設計專業知識，以指導客戶在其產品中最大限度地發揮FPGA技術的優勢。

在 250 加速器系列中，BittWare 選擇了各種 Xilinx UltraScale+ 器件和 PCIe 外形，為存儲基礎架構架構師提供完整的解決方案。這些加速器通過上一代 100GbE 和 PCIe 3.0 高速介面將 Xilinx 器件的可程式設計邏輯直接連接到基礎設施網路和 PCIe 交換矩陣。此外，使用BittWare母公司Molex的功能，250系列提供了連接現有硬體的高度靈活性。Molex是超高速低損耗電纜和互連解決方案的行業領導者。

結論

NVMe已經並仍在快速改變存儲行業。這種新的高輸送量存儲技術為 IT 基礎架構提供了靈活的儲存解決方案。與上一代存儲相比，NVMe 不僅提供卓越的數據寫入和讀取頻寬，還利用了現有數據中心的當前 PCIe 和網路結構。隨著 NVMe 變得越來越流行，行業創新者正在推出支援 NVMe 的新產品。所有基本數據中心設備都在更新以支援 NVMe;NVMe 儲存背板現在是新常態。

基於 FPGA 的 NVMe 產品允許計算與硬體級別的儲存合併，以達到更高的應用性能。借助 FPGA，可重構邏輯的處理通過高輸送量和低延遲管道直接連接到存儲。由於這些特性，數據可以流經FPGA並實時處理。此外，通過使用FPGA處理，CPU內核可以自由地執行只能在處理器上運行的其他任務。借助 MPSoC，系統可以使用其他功能，並在設備上結合高速數據處理和控制，從而有可能自主運行。

基於BittWare FPGA和MPSoC的儲存產品旨在滿足實際應用的需求，並解決IT基礎設施經理的挑戰。BittWare提供了250個產品系列的生產途徑。

引用

麥克道爾S.（2018）。2018年存儲行業：對未來一年的預測。福布斯。檢索於2018年6月4日，來自：https://www.forbes.com/sites/moorinsights/2018/01/24/storage-industry-2018-predictions-for-the-year-to-come
艾哈邁德M.（2017）。基於 NVMe 的存儲設計中值得關注的四個趨勢。電子設計。檢索於2018年6月8日，來自：https://www.electronicproducts.com/Computer_Peripherals/Storage/Four_trends_to_watch_in_NVMe_based_storage_designs.aspx
G2M 研究（2018）.G2M 研究 NVMe 生態系統市場規模報告。G2M研究。檢索於2018年6月6日，來自：http://g2minc.com/g2m-research-nvme-ecosystem-market-sizing-report
梅塔N.（2015）。提升性能並與 UltraScale+ 產品群組整合。賽靈思。檢索於2018年6月8日，來自：https://www.xilinx.com/support/documentation/white_papers/wp471-ultrascale-plus-perf.pdf
Allen D.， & Metz J. （2018a）.NVMe的演變和未來。亮談。檢索自： https://www.brighttalk.com/webcast/12367/290529
努西奇（2017）。為您的SSD提供更高的速度 - NVME有望在未來取代SATA和SAS。在軌道上。檢索於2018年6月8日，來自：https://www.ontrack.com/blog/2017/09/15/nvme-replace-sata-sas/
阿茲黑德A.（2017）。存儲簡報：NVMe 與 SATA 和 SAS。電腦週刊.檢索於2018年6月8日，來自：https://www.computerweekly.com/feature/Storage-briefing-NVMe-vs-SATA-and-SAS
羅林斯D.（2017）。NVMe PCIe SSD 的商業案例。美光網站。檢索自： https://www.micron.com/about/blogs/2017/july/the-business-case-for-nvme-pcie-ssds
Allen D.， & Metz J. （2018b）.關於NVMe技術的地平線：關於NVMe網路廣播的演變和未來的問答。NVM 快遞。檢索自： https://nvmexpress.org/on-the-horizon-for-nvme-technology-qa-on-the-evolution-and-future-of-nvme-webcast/
馬哈蘭·（2018）. 雲SSD定製的NVMe可選功能綜述.希捷博客。檢索自： https://blog.seagate.com/intelligent/a-review-of-nvme-optional-features-for-cloud-ssd-customization/
馬丁B.（2017）。I/O 確定性及其對數據中心和超大規模應用程式的影響。2017年快閃記憶體峰會。檢索自： https://www.flashmemorysummit.com/English/Collaterals/Proceedings/2017/20170808_FB11_Martin.pdf
萊布索S.（2016）。IBM和Nallatech在聖約瑟的OpenPOWER峰會上演示了CAPI Flash。Xcell每日博客。檢索於2018年6月4日，來自：https://forums.xilinx.com/t5/Xcell-Daily-Blog/IBM-and-Nallatech-demo-CAPI-Flash-at-OpenPOWER-Summit-in-San/ba-p/691256
薩卡利·（2017）. 使用 FPGA 加速基於 NVMe-oF 的存儲網络.快閃記憶體峰會。檢索於2018年6月7日，來自：https://www.flashmemorysummit.com/English/Collaterals/Proceedings/2017/20170810_FW32_Sakalley.pdf
羅林斯法學博士（N.D.）。重做紀錄文件和備份。維克森林大學。檢索自： http://users.wfu.edu/rollins/oracle/archive.html
Wahl M.，Hartl D.，Lee W.，Zhu X.，Menezes E.，& Tok W. H. （2018）。如何使用 FPGA 進行深度學習推理，對數 TB 的航空圖像執行土地覆被測繪。微軟博客。
泰希D.（2018）。管理 AI：GPU 和 FPGA，為什麼它們對人工智慧很重要。福布斯。檢索自： https://www.forbes.com/sites/davidteich/2018/06/15/management-ai-gpu-and-fpga-why-they-are-important-for-artificial-intelligence/#6bf2ff171599
Cha S. C.， Chen J. F.， Su C.， & Yeh K. H. （2018）.物聯網中基於 BLE 的設備的區塊鏈連接閘道。IEEE Access.檢索自： https://ieeexplore.ieee.org/document/8274964/
奧爾康（2017）。Hot Chips 2017：我們將在今年看到PCIe 4.0，在2019年看到PCIe 5.0。湯姆的硬體。檢索於2018年6月8日，來自：https://www.tomshardware.com/news/pcie-4.0-5.0-pci-sig-specfication,35325.html
考菲爾德 L. （2018）。Project Denali 為雲規模應用程式定義靈活的 SSD。Azure Microsoft.檢索於2018年6月6日，來自：https://azure.microsoft.com/en-us/blog/project-denali-to-define-flexible-ssds-for-cloud-scale-applications/
伊斯梅爾N.（2017）。快閃記憶體存儲：改變存儲行業。信息時代。檢索於2018年6月4日，來自：http://www.information-age.com/flash-storage-transforming-storage-industry-123465174/
盧辛斯基 R. （2017）。關於融合乙太網（RoCE）上的 RDMA 的 11 個神話。電子設計。檢索於2018年6月9日，來自：http://www.electronicdesign.com/industrial-automation/11-myths-about-rdma-over-converged-ethernet-roce
米勒R.（2017）。IBM的新型Power9晶元是為人工智慧和機器學習而構建的。技術緊縮。檢索於2018年6月8日，來自：https://techcrunch.com/2017/12/05/ibms-new-power9-chip-architected-for-ai-and-machine-learning/
彭訴（2015）。16nm UltraScale+ 系列，由 Victor Peng，Xilinx 執行副總裁兼總經理設計。檢索於2018年6月8日，來自：https://www.xilinx.com/video/fpga/16nm-ultrascale-plus-series.html
維德 K. （2018）.微軟為數據中心硬體存儲和安全創建了行業標準。Azure 博客。檢索自： https://azure.microsoft.com/en-us/blog/microsoft-creates-industry-standards-for-datacenter-hardware-storage-and-security/
檢索自： https://blogs.technet.microsoft.com/machinelearning/2018/05/29/how-to-use-fpgas-for-deep-learning-inference-to-perform-land-cover-mapping-on-terabytes-of-aerial-images/