비트웨어 파트너 프로그램 회원

GroqChip

실시간 AI 가속

초저지연 애플리케이션을 위해 설계된 결정론적 ML 추론 칩입니다.

신규: 마우저의 GroqCard™ 가속기를 구매하세요!

주요 기능

완전 결정론적 프로세서

실행 간 변동 없이 예측 가능하고 반복 가능한 성능 제공

230MB의 온다이 메모리

외부 메모리 없이도 모델 파라미터에 대한 고대역폭, 저지연 액세스를 위해 전 세계적으로 공유 가능한 대용량 SRAM을 제공합니다.

최대 80TB의 온-다이 메모리 대역폭

대역폭에 민감한 애플리케이션을 위한 대규모 동시성 및 데이터
병렬 처리

9개의 RealScale™ 칩 투 칩 커넥터

외부 스위치 없이도 선형에 가까운 멀티 서버 및 멀티 랙 확장성 제공

엔드투엔드 온칩 보호

전체 GroqChip™ 데이터 경로에서 오류 수정 코드(ECC) 보호로 가동 시간 및 안정성 향상

PCIe Gen4 x16 인터페이스

빠른 디바이스 및 네트워크 연결을 위한 업계 표준 인터페이스에서 최대 31.5GB/s의 양방향 대역폭 제공

시작할 준비가 되셨나요?

비트웨어는 개발 중이거나 배포 준비가 완료된 경우 Groq AI 추론을 얻을 수 있는 여러 경로를 제공합니다:

GroqCard

GroqCard™ 액셀러레이터

마우저를 통해 가용성을 확보할 수 있을 때 준비하세요.

TeraBox™

카드가 사전 통합된 고밀도 서버와 포괄적인 보증을 제공합니다.

맞춤 카드 컨셉 이미지를 들고 있는 남자

맞춤형 디자인

비트웨어는 30년 이상 맞춤형 솔루션과 폼 팩터를 제공해 왔습니다.

준비, 설정, 완료. 짧은 지연 시간 보장.

머신 러닝 추론의 경우 GPU는 지연 시간, 낮은 실리콘 리소스 사용량, 예측할 수 없는 성능으로 이어지는 비효율성으로 인해 어려움을 겪습니다. Groq은 현재 워크플로우에 쉽게 도입할 수 있는 예측 가능하고 효율적이며 지연 시간이 짧은 추론을 제공하도록 AI 딥 러닝 칩을 특별히 설계했습니다.

손쉬운 통합 및 확장형 구축

GroqCard는 번거로움 없이 통합할 수 있는 이중 폭 PCIe 폼 팩터 ML 가속기입니다. GroqWare 제품군은 소프트웨어 정의 하드웨어 접근 방식을 따르기 때문에 PyTorch, TensorFlow 및 ONNX로 학습된 딥 러닝 모델을 쉽게 배포할 수 있는 경로를 제공합니다.

확장성은 9개의 RealScale 칩 간 연결을 통해 여러 카드를 하나의 카드처럼 효율적으로 배포할 수 있는 GroqCard의 핵심 기능입니다. 내부 소프트웨어 정의 네트워크는 실행에 따른 변동 없이 예측 가능하고 반복 가능한 성능을 제공합니다.

다음을 사용하여 프로그래밍 간소화

GroqWare™ 제품군

GroqWare Suite는 다양한 HPC 및 ML 워크로드를 가속화하도록 설계된 포괄적이고 다재다능한 소프트웨어 스택입니다. Groq™ 컴파일러, Groq API, 유틸리티로 구성된 이 제품군은 오픈 소스 드라이버/런타임과 업계 표준 AI/ML 프레임워크 지원으로 배포 구현을 간소화합니다.

GroqFlow™ 툴 체인(GroqWare 제품군에 포함)을 사용하면 한 줄의 파이토치 또는 텐서플로우 코드만으로 완전 자동화된 툴 체인을 통해 기존 모델을 가져와 변환하여 Groq 하드웨어에서 실행할 수 있습니다.

GroqChip을 통해 이동하는 프로그램 보기

 

GroqChip™ 프로세서란 무엇인가요?

처음부터 확장 가능한 프로세서로 설계되어 AI, ML, HPC 워크로드를 가속화하도록 설계된 확장형 프로세서입니다.

혁신적인 완전 결정론적 GroqChip 프로세서는 확장 가능한 성능의 핵심입니다. 처음부터 AI, ML, HPC 워크로드를 가속화하도록 설계된 GroqChip은 병목 현상 없이 예측 가능한 저지연 성능을 위해 데이터 이동을 줄입니다. 이 독립형 칩은 컴퓨팅 집약적인 애플리케이션에 유연하게 통합할 수 있습니다.

이 아키텍처는 GPU보다 훨씬 간단하며 소프트웨어 우선으로 설계되어 프로그래밍이 더 쉽고 지연 시간이 짧고 예측 가능한 성능을 제공합니다.

주요 애플리케이션

금융

과학 및 정부

산업

석유 및 가스

GroqCard

PCIe 카드 사양

폼 팩터

듀얼 폭, 전체 높이, ¾ 길이 PCI Express Gen4 x16 어댑터

성능

최대 750 TOP, 188 TFLOPs (INT8, FP16 @900MHz)

메모리

칩당 230MB SRAM

최대 80TB/s의 온-다이 메모리 대역폭

칩 스케일링

최대 9개의 RealScale™ 칩 투 칩 커넥터

숫자

INT8, INT16, INT32 및 TruePoint™ 기술 MXM: FP32
VXM: FP16, FP32

파워

최대: 375W; TDP: 275; 일반: 240W

PCIe를 찾고 계신가요?

설계 + 제조 Molex의 자회사인 비트웨어(BittWare)

비트웨어는 배포에 적합한 폼 팩터를 설계하고 제조할 수 있습니다. 

구매할 준비가 되셨나요?

이 제품은 마우저 일렉트로닉스에서 온라인으로 주문할 수 있습니다. 마우저 웹사이트에서 견적을 요청하세요:

자세한 정보를 확인할 준비가 되셨나요?

양식을 작성하여 Groq 실시간 AI 가속에 대한 자세한 내용을 문의하세요.