推論再考
GPUに代わる新しいソリューション
GPU上でAI推論を展開することで、CPUよりも性能が向上することはよく知られているが、それが常に最良の選択肢とは限らない。近年、AIに特化したASICやFPGAまでもが進歩し、データセンターとエッジの両方のユースケースで選択肢が増えた。
カスタムカードや開発キットを含むオプションについてご相談ですか？当社のテクニカル・セールス・チームがお受けいたします！フォームにご記入ください。
データセンターにおける利点
- リアルタイムでバッチサイズ1の処理が必要ですか？当社のGroq AIベースのアクセラレーターは、チップの設計においてより合理的な処理フローを実現するため、GPUよりも単純により適しています。
- 大容量（10ノードまたは100ノード）へのスケーリングが必要ですか？GPUの数を増やすと、スケーリングの非効率性に悩まされます。その代わりに、Groq AIチップベースのソリューションは、低レイテンシを維持しながら、ほぼ直線的なスケーリングを実現し、チップやコアのネットワークに対して1つの大きなコンピュートコアとして効果的に機能します。
エッジの利点
- エッジAIにとってレイテンシーは非常に重要であるため、当社のパートナーであるEdgeCortix社は、低レイテンシーの推論に対応するハードウェア（FPGAベースとASICの両方）とソフトウェアの組み合わせを開発した。
- EdgeCortixチップは、10ワット以下の電力範囲も含め、GPUの何倍も高いワットあたりの性能を提供する。
