Llama

自己蒸留でコード生成性能向上

Apple Machine Learning2026年7月16日subject

Apple Machine Learning は、検証器や教師モデルを不要とする単純な自己蒸留（SSD）手法により、コード生成モデルの性能が劇的に向上することを実証した。

ミラ・ムラティのシンキングマシーンズラボ、カスタマイズ可能なモデル重みに基づく人間中心 AI の技術的根拠を提示

MarkTechPost2026年7月12日developer

Mira Murati が率いる Thinking Machines Lab は、中央集権的なモデルの限界を指摘し、人間の判断を拡張する分散型・カスタマイズ可能で、価値観が重みに埋め込まれた AI の構築に向けた技術的ロードマップを発表した。

LLM を明確に解説する面白い論文 5 選

KDnuggets2026年6月3日subject

KDnuggets は、LLM の複雑な仕組みを理解するための基礎となる 5 つの重要な研究論文（Transformer、Few-Shot Learning など）を紹介し、初心者から上級者までが体系的に学習できる道筋を示している。

2年で4つのMTIAチップ：数十億人のAI体験をスケーリング

Meta AI2026年3月11日subject

Meta は Broadcom と共同開発する独自 AI チップ「MTIA」の第 3 世代以降（300〜500 シリーズ）を 2026-27 年に展開し、大規模モデルへの対応とコスト削減を加速させる戦略を発表した。

Mamba-3：推論専用SSMの登場

Together AI Blog2026年3月17日competitor

Together AIと学術機関の共同研究により、推論効率を最優先設計とした新しい状態空間モデル「Mamba-3」が公開され、1.5BスケールでTransformerであるLlama-3.2-1Bを上回る速度を実現した。

Aurora：推論効率を向上させるオープンソース強化学習フレームワーク

Together AI Blog2026年3月31日subject

Together AIは、推論トレースからリアルタイムで学習しドラフトモデルを継続的に更新するRLベースのオープンソースフレームワーク「Aurora」を公開し、静的な推論加速の限界を超える自律型最適化を実現した。

Gemma 4とオープンモデルの成功要因

Interconnects2026年4月4日subject

2026年の飽和したオープンモデル市場において、ベンチマークだけでなくライセンスやツールリング、ファインチューニング容易性など多角的な評価基準を提示し、エージェント時代におけるオープンモデルの真価とビジネス活用への課題を分析している。

Import AI 454: アライメント研究の自動化、中国モデルの安全性調査、HiFloat4

Import AI2026年4月20日developer

HuaweiのHiFloat4がMXFP4を上回る精度を示す一方、AnthropicはAI安全研究の自動化手法を提示し、中国のハードウェア最適化と西側の安全プロセス革新という二つの重要な潮流が浮き彫りになった。

知っておくべきこと：マスク言語モデルは驚くほど優れたゼロショット学習者である

Answer.AI2025年2月10日competitor

Answer.AI は、従来のタスク固有ヘッドを廃し、事前学習時のマスク言語モデリング（MLM）ヘッド自体でゼロショット分類や推論を行う「ModernBERT-Large-Instruct」を発表し、小規模モデルでも大規模モデルに匹敵する性能を示した。

Amazon SageMaker AIのサーバーレスモデルカスタマイズでエージェントツール呼び出しを加速

AWS Machine Learning Blog2026年4月7日developer

AWSはAmazon SageMaker AIのサーバーレスモデルカスタマイズ機能を用いた強化学習手法（RLVR）により、AIエージェントのツール呼び出し精度を大幅に向上させ、実運用での信頼性向上とインフラ管理負荷の軽減を実現した。