ページを読み込み中…
ページを読み込み中…
3件の記事
Berkeley AI Research は CUDA から MLX への移行知見を基に、Apple Silicon で FlashAttention や Mamba を高速化する手法 K-Search を発表した。
MiniMax が開発したスパースアテンションアーキテクチャは、グループ固有の Top-k ブロック選択を用いて、モデル品質を維持しつつ 109B モデルで 1M トークンの推論計算量を約 30 倍削減し、GQA と同等のパフォーマンスを達成しました。
Together AIのカーネル研究チームは、FlashAttentionやThunderKittensの開発者であり、GPUハードウェアと本番環境のAIとの間のギャップを埋める役割を果たしている。