추론에 대해 다시 생각하기
GPU를 대체할 수 있는 새로운 솔루션
GPU에 AI 추론을 배포하면 CPU에 비해 성능이 향상되는 것으로 잘 알려져 있지만, 항상 최선의 선택은 아닙니다. 최근 몇 년 동안 AI에 초점을 맞춘 ASIC과 FPGA의 발전으로 데이터센터와 엣지 사용 사례 모두에 더 많은 옵션이 제공되고 있습니다.
커스텀 카드와 개발 키트 시작하기 등의 옵션에 대해 문의하고 싶으신가요? 유니티 기술 영업팀에서 연락드릴 준비가 되어 있습니다! 양식을 작성해 주시면 연락드리겠습니다.
데이터센터의 이점
- 실시간 배치 사이즈 1 처리가 필요하신가요? 칩 설계의 처리 흐름이 보다 간소화되어 있는 Groq AI 기반 가속기가 GPU보다 더 적합합니다.
- 대규모 (10~100개 노드)로 확장해야 하나요? 더 많은 수의 GPU로 이동하면 확장 비효율성으로 인해 어려움을 겪게 됩니다. 대신, Groq AI 칩 기반 솔루션은 거의 선형에 가까운 확장성을 제공하면서 지연 시간을 낮추고 칩과 코어의 네트워크가 아닌 하나의 대규모 컴퓨팅 코어처럼 효과적으로 작동합니다.
Edge의 이점
- 엣지 AI에는 지연 시간이 매우 중요하므로, 파트너인 EdgeCortix는 짧은 지연 시간의 추론을 해결하기 위해 하드웨어(FPGA 기반 및 ASIC)와 소프트웨어의 조합을 개발했습니다.
- EdgeCortix 칩은 10와트 미만의 전력 범위에서 GPU보다 몇 배 더 높은 와트당 성능을 제공합니다.
