參考設計
面向AI金融交易模型的MAU加速器
超低延遲、高輸送量機器學習推理
Myrtle.ai MAU 加速器非常適合金融服務中的一系列應用,部署場景從主機託管到離線,作為 IP 提供,可在最新的 FPGA 上運行。
市場數據預測
量化交易
演算法交易
什麼是 MAU 加速器IP?
該IP旨在整合到您現有的軟體堆疊中,支援浮點、塊浮點、腦浮點和整數格式的各種位深度。在流行框架中開發的現有模型可以使用 ONNX OSI 格式導入。
好處
- 確定性單推理延遲 ~9us
- 高精度 FP16 精度
- 可以在單個平臺上託管多個模型
- 低功耗(< 100W) for integration in co-location servers
系統示例
點擊縮放
性能示例
- Acceleration of a trading algorithm, using an LSTM-based neural network model with ~10k parameters, achieves a latency of <1µs per timestep, a throughput of over 700k timesteps per second and a capacity of 150 models per accelerator card.
- 加速具有 2 個 LSTM 層和 ~3M 參數以及 20 個時間步長的小型 64 節點堆疊 LSTM 模型可實現 9μs 的推理延遲。
關於 Myrtle.ai
Myrtle.ai 在使用FPGA加速器卡對ML模型(如RNN和LSTM網路)進行高效硬體加速方面擁有豐富的經驗。這些旨在為具有非常嚴格的延遲限制的推理工作負載實現最高輸送量和最低成本。
交付
開源參考模型和 PyTorch 中的導出腳本
用於推理的應用程式代碼範例
MAU 加速器推理 API 的 C 和 Python 綁定
FPGA 比特流和原始程式碼(適用條件)
專為BittWare硬體設計
MAU 加速器參考設計可在一系列採用英特爾和賽靈思 FPGA 的 BittWare 產品上運行。對於部署,我們建議使用超高密度TeraBox 1401B,帶有四個卡和一個AMD EPYC CPU。
獲取有關MAU性能的更多詳細資訊!
請求召開會議,深入瞭解MAU加速器IP如何為您的組織工作!
我們將分享的材料預覽:
“*”表示必填欄位