テンストーレントのGalaxy Blackhole AIサーバーがイベントホライズンを脱出

Tenstorrent は火曜日に、Galaxy Blackhole AI 計算プラットフォームの一般提供を開始したと発表した。 同スタートアップの各 6U システムには、昨秋にレビューした Blackhole アクセラレーターが 32 基も搭載されている。これらのチップは、合計帯域幅 100 Tbps の高密度イーサネットメッシュ（Ethernet mesh）によって相互接続されている。 Tenstorrent によると、Galaxy システム全体では GDDR6 が 1 TB、メモリ帯域幅が 16 TB/s、高密度 FP8 演算性能が 23 petaFLOPS を実現しており、システム価格はわずか 11 万ドルである。 これを比較すると、Nvidia の 8 ウェイ DGX シリーズはより高速で大容量ではあるものの、その価格は同価格の 3 倍から 5 倍に達する。 しかし、Tenstorrent のメッシュネットワークは単一ノードに限定されない。Google の TPU や Amazon の Trainium2 クラスターと同様に、システムを追加してテンソル並列処理とパイプライン並列処理の比率を調整することで、より大規模なモデルや高いスループット、あるいはよりインタラクティブなユーザー体験をサポートできるよう拡張可能である。 Tenstorrent の基本となる Galaxy Supercluster は 44 万ドルで、Blackhole システムが 4 基搭載されているが、このアーキテクチャは最大 32 ノード、チップ数では 1000 基以上に対応可能である。 Tenstorrent のシニアフェローである Jasmina Vasiljevic は、ハードウェアを初めて実際に触った時点からソフトウェアスタックが大幅に改善されたと語っています。その当時、モデルのサポートは非常に限定的であり、動作するものもまだハードウェア向けに最適化されていませんでした。この不一致により、私たちのテストでは一般的にパフォーマンスのスケーリングが悪化する結果となりました。 現在では状況が変わり、数ヶ月前にチップのパフォーマンスを実際には低下させたにもかかわらず、新しいモデルのポートだけでなく、パフォーマンス向上にも多大な努力が払われたと伝えられています。 少なくとも DeepSeek V3 については、Tenstorrent は自社の 4 ノード構成 Blackhole Galaxy スーパークラスターが、10 万トークン（約 166 ページ分のテキストに相当）のプロンプトを 4 秒未満で処理できると主張しています。 一方、システムはユーザーあたり毎秒最大 300 トークンを生成可能であり、近い将来のソフトウェア改良を通じてこれを 350 に引き上げる見込みだと伝えられています。 Tenstorrent はこれらのテストで使用されたバッチサイズを明記していませんが、これは AI システムが生産環境でどのようにスケーリングするかを評価する上で重要な指標です。単一ユーザーに対して毎秒 350 トークンを達成するのは、そのパフォーマンスを 32 または 64 にスケールさせることと比較すると、それほど印象的なものではありません。 Tenstorrent は、スループットと相互運用性の要件に応じて、プラットフォーム上でバッチ 8 から最大 64 まで効果的にスケール可能であると述べています。 - 一枚のチップで全てを支配する時代は終わり：TPU 8 を持つ Google は AI 軍拡競争での勝利を目指している - NVIDIA 以外の相互接続クラブが、v1.0 シリコン出荷前に 2.0 仕様を実現 - アリババは 47 万個の AI チップを生産したが、それらが劣っていることを認め、今後もそうである可能性があると認めた - NVIDIA の Groq 搭載 LPX およびその他の新ラックシステムの解読 大規模言語モデルに加え、Tenstorrent は Galaxy Blackhole を動画生成のための理想的なプラットフォームとして位置付けています。4 ノードのスーパークラスター上で、同社はリアルタイムよりも速く 720p の動画を生成できると述べています。 Vasiljevic 氏は、Moonshot AI の Kimi K2 などのさらなるフロンティアモデルも開発中であり、新しいモデルをプラットフォームに継続的に導入するために、最適化されたカーネル記述用の Python ベースのプログラミングインターフェースを開発したと語りました。 「Hugging Face 上のモデルの 90% は Tenstorrent で動作します」と同社はリリースで記しました。これは大きな主張であり、私たちはこれを検証することを楽しみにしています。 購入前に試したい場合は、Tenstorrent のハードウェアは Cirrascale、Equinix、日本の ai& など、複数の大規模データセンター、コロケーション、およびネオクラウドプロバイダによって採用されています。同チップスタートアップは 5 月 1 日の TT-Deploy イベントでさらに多くの情報を共有すると予想されます。®

テンストーレントのGalaxy Blackhole AIサーバーがイベントホライズンを脱出

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト