読み込み中…
2件の記事
MiniMax が開発したスパースアテンションアーキテクチャは、グループ固有の Top-k ブロック選択を用いて、モデル品質を維持しつつ 109B モデルで 1M トークンの推論計算量を約 30 倍削減し、GQA と同等のパフォーマンスを達成しました。
Together AIのカーネル研究チームは、FlashAttentionやThunderKittensの開発者であり、GPUハードウェアと本番環境のAIとの間のギャップを埋める役割を果たしている。