推論再考

GPUに代わる新しいソリューション
デジタル人間の脳の人工知能

GPU上でAI推論を展開することで、CPUよりも性能が向上することはよく知られているが、それが常に最良の選択肢とは限らない。近年、AIに特化したASICやFPGAまでもが進歩し、データセンターとエッジの両方のユースケースで選択肢が増えた。

カスタムカードや開発キットを含むオプションについてご相談ですか?当社のテクニカル・セールス・チームがお受けいたします!フォームにご記入ください。

データセンターにおける利点

  • リアルタイムでバッチサイズ1の処理が必要ですか?当社のGroq AIベースのアクセラレーターは、チップの設計においてより合理的な処理フローを実現するため、GPUよりも単純により適しています。
  • 大容量(10ノードまたは100ノード)へのスケーリングが必要ですか?GPUの数を増やすと、スケーリングの非効率性に悩まされます。その代わりに、Groq AIチップベースのソリューションは、低レイテンシを維持しながら、ほぼ直線的なスケーリングを実現し、チップやコアのネットワークに対して1つの大きなコンピュートコアとして効果的に機能します。

エッジの利点

  • エッジAIにとってレイテンシーは非常に重要であるため、当社のパートナーであるEdgeCortix社は、低レイテンシーの推論に対応するハードウェア(FPGAベースとASICの両方)とソフトウェアの組み合わせを開発した。
  • EdgeCortixチップは、10ワット以下の電力範囲も含め、GPUの何倍も高いワットあたりの性能を提供する。

Groq 決定論的フロー

 

データセンターのための反復可能でスケーラブルな超低遅延推論

エッジコーティックスの電力効率

 

エッジに最適化されたGPUと比較して、ワットあたり毎秒3倍から8倍の推論能力

お問い合わせ

スケーラブルなデータセンター・ソリューションをお探しのお客様も、エッジにおける最大限の効率性をお求めのお客様も、BittWare !