#モデル効率化のAIニュース

4件の記事

パラメータ・計算量・深さを統制したアテンションのみトランスフォーマーの制御研究

研究者らが、パラメータ数や学習 FLOPs を標準トランスフォーマーと一致させ、フィードフォワードネットワークを除去した SAN の必要性を検証する実験を行った。

Alibabaが公開したオープンソースモデルQwen3.6-35B-A3Bは、350億パラメータのうち3つだけを同時に活性化させるが、GoogleのGemma 4-31Bよりもコーディングと推論のベンチマークで優れた性能を示した。

研究者らが、小規模言語モデル（SLM）の知識容量の限界と事実誤認の問題を指摘し、外部情報源へのアクセスによる改善策を提案した。

アリババが新AIモデルQwen 3.5を発表。競合モデルと同等性能を低コストで提供し、AI市場の競争激化を示唆。