对推论的反思

新的解决方案为GPU提供了更好的替代方案
数字人脑的人工智能

在GPU上部署AI推理提供了众所周知的比CPU更高的性能,但它并不总是最好的选择。近年来,以人工智能为重点的ASIC甚至FPGA的进步为数据中心和边缘用例提供了更多选择。

想讨论各种选项,包括定制卡和开始使用开发工具包吗?我们的技术销售团队已准备好与您联系!请填写表格,我们会给你答复。

数据中心的优势

  • 需要实时、批量1的处理?我们基于Groq的人工智能加速器在这里简直比GPU更适合,因为在芯片的设计中,处理流程更加精简。
  • 需要扩展到大批量(10多个或100多个节点)?转移到更大数量的GPU会出现扩展效率低下的问题。相反,基于Groq人工智能芯片的解决方案具有近乎线性的扩展性,同时保持低延迟,并有效地作为一个大型计算核心,而不是一个芯片和核心的网络。

边缘的优势

  • 由于延迟对边缘人工智能至关重要,我们的合作伙伴EdgeCortix已经创建了一个硬件(基于FPGA和ASIC)和软件的组合,以解决低延迟推理问题。
  • EdgeCortix芯片的每瓦性能比GPU高很多倍,包括在低于10瓦的功率范围内。

格鲁克确定型流程

 

为数据中心提供可重复、可扩展、超低延迟的推理。

EdgeCortix功率效率

 

与边缘优化的GPU相比,每瓦特每秒的推理能力提高3倍至8倍

联系我们以了解更多

无论你是在寻找一个可扩展的数据中心解决方案,还是需要在边缘地区获得最大的效率,请联系BittWare,开始吧