Simon Willison Blog の「Pasted File Editor」ツール紹介

ミニマックスが109BパラメータMoEモデル向けに開発したスパースアテンション手法「MSA」を発表

中国のAI企業ミニマックスは、長文コンテキストにおける計算コストを削減する新手法「MiniMax Sparse Attention（MSA）」を開発し、109BパラメータのMoEモデルで実証した。同社はさらに推論用カーネルをオープンソース化し、生産環境向けモデル「MiniMax-M3」もリリースした。

[AINews] GLM-5.2：世界最高峰のフロントエンドコーディングモデル、推測型デコーディングのための IndexShare を発表

Z.ai は週末に「GLM-5.2」をリリースし、この新モデルが世界最高のフロントエンドコーディング性能を持つと主張した。また、推測型デコーディング技術の向上を目指す「IndexShare」という仕組みも紹介された。

パッキングシーケンス、GQA、ALiBi、SwiGLU、因果アテンションを用いたメモリ効率的なTransformerの構築方法（xFormers活用）

MarkTechPost は、GPU上で高速かつメモリ効率の高いTransformerモデルを構築するための実践的ツールキット「xFormers」の使用法を紹介しています。記事では、標準的な実装との比較を通じて、因果マスクやパッキングシーケンス、グループ化クエリアテンション（GQA）、カスタムALiBi位置バイアスなどの技術を組み合わせ、訓練可能なGPTスタイルのモデルを実装する方法を解説します。