Grok-1のオープンリリース
本文の状態
日本語全文を表示中
詳細モードで約2分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
xAI News
3140億パラメータのMixture-of-ExpertsモデルGrok-1の重みとアーキテクチャを公開しました。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
オープンソース大規模言語モデル「Grok-1」の公開に関する要約
2024年3月17日、イーロン・マスク氏が創業した人工知能企業xAIは、自社開発した大規模言語モデル「Grok-1」の基盤モデルの重み（パラメータ）とアーキテクチャを一般公開した。このリリースは、高度なAI技術の透明性とオープンな発展を促進することを目的としている。
公開されたGrok-1の主要な技術的特徴は以下の通りである。
第一に、その規模の大きさで、パラメータ数は3140億に達する。第二に、モデル構造として「Mixture-of-Experts（専門家の混合）」方式を採用している。この方式では、入力されるトークン（単語片）ごとに、全パラメータのうち25%のみが活性化して処理を行う。これにより、膨大な規模のモデルでありながら、推論時の計算効率をある程度維持している。
第三に、このモデルは2023年10月にxAIが独自のトレーニングスタック（JAXとRustを基盤としたカスタム技術）を用いて、一から訓練を完了させた「基盤モデル」である点が強調されている。これは、会話や質問応答などの特定のタスクに最適化するための「ファインチューニング」が施されていない、生の状態のモデルであることを意味する。
公開の条件として、モデルの重みとアーキテクチャは「Apache 2.0」ライセンスの下で提供される。これは商用利用も含めた比較的寛容なオープンソースライセンスであり、研究者や開発者がモデルを自由に使用、改変、配布できることを示している。実際にモデルを使用するための具体的な手順は、GitHubリポジトリ（github.com/xai-org/grok）で公開されている。
このリリースの意義は、従来の大規模言語モデル開発が巨大企業の内部に閉じていた状況に対し、極めて大規模なモデルの設計詳細をオープンソースとして公開した点にある。これにより、学術界や独立した開発者コミュニティが、最先端レベルの大規模モデルの内部構造を検証し、安全性の研究やさらなる改良を加える道が開かれた。xAIは、責任あるAIの発展には透明性が不可欠であるとの立場から、このオープンリリースに踏み切ったとみられる。
原文を表示
Open Release of Grok-1 | xAIMarch 17, 2024Open Release of Grok-1
We are releasing the weights and architecture of our 314 billion parameter Mixture-of-Experts model Grok-1.
We are releasing the base model weights and network architecture of Grok-1, our large language model. Grok-1 is a 314 billion parameter Mixture-of-Experts model trained from scratch by xAI.
This is the raw base model checkpoint from the Grok-1 pre-training phase, which concluded in October 2023. This means that the model is not fine-tuned for any specific application, such as dialogue.
We are releasing the weights and the architecture under the Apache 2.0 license.
To get started with using the model, follow the instructions at github.com/xai-org/grok.
Base model trained on a large amount of text data, not fine-tuned for any particular task.
314B parameter Mixture-of-Experts model with 25% of the weights active on a given token.
Trained from scratch by xAI using a custom training stack on top of JAX and Rust in October 2023.
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み