主要特点
完全决定性的处理器
可预测的和可重复的性能,没有运行间的变化
230MB的片上存储器
高达80TBs的片上内存带宽
为带宽敏感的应用提供大规模的并发和数据
并行性
9个RealScale™芯片对芯片连接器
近乎线性的多服务器和多机架扩展能力,不需要外部交换机
端到端的片上保护
通过对整个GroqChip™数据路径的纠错码(ECC)保护,提高了正常运行时间和可靠性
PCIe Gen4 x16接口
工业标准接口中高达31.5GB/s的双向带宽,用于快速设备和网络连接
准备好开始了吗?
BittWare提供了几种获得Groq AI推理的途径,无论你是在开发中还是准备部署:
GroqCard™加速器
可通过 Mouser 随时提供。
TeraBoxTM
带有预装卡的高密度服务器和全面的保证。
定制设计
BittWare有30多年提供定制的解决方案和形式。
预备,设置,完成。保证低延迟。
在机器学习推理方面,GPU存在效率低下的问题,导致延迟、硅资源使用率低和性能不可预测。Groq专门设计了其人工智能深度学习芯片,以提供可预测的、高效的、低延迟的推理,并可轻松引入您当前的工作流程。
易于整合和按规模建造
GroqCard是一款双宽PCIe规格的ML加速器,集成起来非常方便。GroqWare套件采用软件定义硬件的方法,为您的PyTorch、TensorFlow和ONNX训练的深度学习模型提供了便捷的部署路径。
可扩展性是GroqCard的核心特征,9个RealScale芯片间的连接确保了多张卡的部署与一张卡一样高效。内部软件定义的网络提供了可预测、可重复的性能,没有运行间的差异。
通过以下方式简化编程
GroqWare™套件
GroqWare套件是一个全面的、多功能的软件堆栈,旨在加速各种HPC和ML工作负载。该套件由Groq™ Compiler、Groq API和Utilities组成,通过开源驱动程序/运行时和对行业标准AI/ML框架的支持,简化了部署实施。
GroqFlow™工具链(包含在GroqWare套件中)使一行Pytorch或TensorFlow代码能够通过一个完全自动化的工具链导入和转换现有模型,从而在Groq硬件上运行。
查看您的程序在GroqChip上的运行情况
关键应用
金融
科学与政府
工业类
石油和天然气
PCIe卡规格
形状因素
双宽、全高、3/4长度的PCI Express Gen4 x16适配器
业绩
高达750个TOPs,188 TFLOPs(INT8,FP16 @900 MHz)。
记忆
每个芯片有230MB的SRAM
高达80TB/s的片上内存带宽
芯片缩放
多达9个RealScale™芯片到芯片的连接器
数字化
INT8, INT16, INT32 & TruePoint™技术 MXM: FP32
VXM: FP16, FP32
权力
最大:375W;TDP:275;典型:240W
准备好获取更多信息了吗?
请填写表格,与我们联系,了解有关Groq实时AI加速的详细信息。
"*"表示必填项目