#モデルアーキテクチャのAIニュース

5件の記事

AI モデルにおける二重利用知識のオフスイッチ

GRAM（勾配誘導型補助モジュール）は、1 つのモデルで複数のフィルタリング済みモデルを訓練する利点を実現し、二重利用知識専用の削除可能なコンパートメントを提供することで、学習後に特定の知識部分を削除可能にし、モデル安全性の枠組みを強化します。

OpenAIのチーフサイエンティスト、Jakub Pachocki氏は、GPT-5.5の公開を踏まえ、近年のAI開発速度を「予想以上に遅い」と評価し、中期的な大幅な性能向上を保証した。

著者が記事や講演、LLM-Galleryで使用するLLMアーキテクチャの図面作成ワークフローを公開した。公式技術文書から始めるが、最近の論文は詳細不足のため、公開されたモデル重みから推測する手法を説明している。

著者が2024年下半期（7月〜12月）のAI研究をまとめ、専門家混合モデルや大規模言語モデルの精度に関する新たなスケーリング法則など多様なトピックを紹介している。

著者が2024年のAI研究のハイライト記事の草稿を完成させた。今年は特に生産的な年であり、専門家混合モデルから新しいLLMスケーリング則まで多様なトピックを扱うが、本記事ではLLM研究に焦点を当てている。