BittWare合作伙伴计划成员

GroqChip

实时AI加速

一个为超低延迟应用而设计的确定性ML推理芯片。

新产品:从 Mouser 购买 GroqCard™ Accelerator!

主要特点

完全决定性的处理器

可预测的和可重复的性能,没有运行间的变化

230MB的片上存储器

大型全局可共享SRAM,用于高带宽、低延迟地访问模型参数,不需要外部存储器

高达80TBs的片上内存带宽

为带宽敏感的应用提供大规模的并发和数据
并行性

9个RealScale™芯片对芯片连接器

近乎线性的多服务器和多机架扩展能力,不需要外部交换机

端到端的片上保护

通过对整个GroqChip™数据路径的纠错码(ECC)保护,提高了正常运行时间和可靠性

PCIe Gen4 x16接口

工业标准接口中高达31.5GB/s的双向带宽,用于快速设备和网络连接

准备好开始了吗?

BittWare提供了几种获得Groq AI推理的途径,无论你是在开发中还是准备部署:

GroqCard

GroqCard™加速器

可通过 Mouser 随时提供。

TeraBoxTM

带有预装卡的高密度服务器和全面的保证。

男子手持定制卡概念图

定制设计

BittWare有30多年提供定制的解决方案和形式。

预备,设置,完成。保证低延迟。

在机器学习推理方面,GPU存在效率低下的问题,导致延迟、硅资源使用率低和性能不可预测。Groq专门设计了其人工智能深度学习芯片,以提供可预测的、高效的、低延迟的推理,并可轻松引入您当前的工作流程。

易于整合和按规模建造

GroqCard是一款双宽PCIe规格的ML加速器,集成起来非常方便。GroqWare套件采用软件定义硬件的方法,为您的PyTorch、TensorFlow和ONNX训练的深度学习模型提供了便捷的部署路径。

可扩展性是GroqCard的核心特征,9个RealScale芯片间的连接确保了多张卡的部署与一张卡一样高效。内部软件定义的网络提供了可预测、可重复的性能,没有运行间的差异。

通过以下方式简化编程

GroqWare™套件

GroqWare套件是一个全面的、多功能的软件堆栈,旨在加速各种HPC和ML工作负载。该套件由Groq™ Compiler、Groq API和Utilities组成,通过开源驱动程序/运行时和对行业标准AI/ML框架的支持,简化了部署实施。

GroqFlow™工具链(包含在GroqWare套件中)使一行Pytorch或TensorFlow代码能够通过一个完全自动化的工具链导入和转换现有模型,从而在Groq硬件上运行。

查看您的程序在GroqChip上的运行情况

 

什么是GroqChip™处理器?

一款从头开始的可扩展处理器 以加速AI、ML和HPC工作负载。

革命性的、完全确定性的GroqChip处理器是可扩展性能的核心。GroqChip为加速人工智能、ML和HPC工作负载而从头构建,它减少了数据移动,实现了可预测的低延迟性能,无瓶颈。这种独立的芯片可以灵活地集成到计算密集型应用中。

该架构比GPU简单得多,而且是以软件为先的设计,使其更容易编程,并以较低的延迟提供可预测的性能。

关键应用

金融

科学与政府

工业类

石油和天然气

GroqCard

PCIe卡规格

形状因素

双宽、全高、3/4长度的PCI Express Gen4 x16适配器

业绩

高达750个TOPs,188 TFLOPs(INT8,FP16 @900 MHz)。

记忆

每个芯片有230MB的SRAM

高达80TB/s的片上内存带宽

芯片缩放

多达9个RealScale™芯片到芯片的连接器

数字化

INT8, INT16, INT32 & TruePoint™技术 MXM: FP32
VXM: FP16, FP32

权力

最大:375W;TDP:275;典型:240W

找PCIe?

设计+制造 来自Molex公司的BittWare

BittWare可以为你的部署设计和制造合适的外形尺寸。 

准备购买吗?

该产品可从 Mouser Electronics 在线订购。 请在贸泽网站上询价:

准备好获取更多信息了吗?

请填写表格,与我们联系,了解有关Groq实时AI加速的详细信息。