Loop Transformer の技術的考察と RDMA 設計の経験談

記事の3ポイント

1. 1

   Loop Transformer の理論的根拠

   著者は計算機体系構造（命令と記憶の視点）、情報論（トークンごとの新情報量に応じた算力配分）、および TDA による分析から、Attention に反復処理（ループ）を取り入れる必要性を説いている。

2. 2

   KV Cache の削減効果

   Loop Transformer を用いることで、モデルの層数を増やす代わりにループ回数を増やす構成が可能となり、KV Cache の保存量を大幅に削減し、特に KV Cache 容量が限られる環境での大規模推論を可能にする。

3. 3

   10T パラメータモデルへの適用戦略

   著者は 10T モデルの実現において、FFN 層の重みを抑えつつループアテンションやハイパー接続を活用し、メモリバウンドな層を最小化して活性化パラメータを 100B〜150B に制限する設計思想を示唆している。