#モデルアーキテクチャのAIニュース

4件の記事

OpenAIチーフサイエンティスト「AI進歩は予想以上に遅い」、今後の大幅な飛躍を約束

OpenAIのチーフサイエンティスト、Jakub Pachocki氏は、GPT-5.5の公開を踏まえ、近年のAI開発速度を「予想以上に遅い」と評価し、中期的な大幅な性能向上を保証した。

著者が記事や講演、LLM-Galleryで使用するLLMアーキテクチャの図面作成ワークフローを公開した。公式技術文書から始めるが、最近の論文は詳細不足のため、公開されたモデル重みから推測する手法を説明している。

著者が2024年下半期（7月〜12月）のAI研究をまとめ、専門家混合モデルや大規模言語モデルの精度に関する新たなスケーリング法則など多様なトピックを紹介している。

著者が2024年のAI研究のハイライト記事の草稿を完成させた。今年は特に生産的な年であり、専門家混合モデルから新しいLLMスケーリング則まで多様なトピックを扱うが、本記事ではLLM研究に焦点を当てている。