Grok-2 ベータ版リリース
xAI はチャット、コーディング、推論能力で既存の最先端モデルを凌駕する「Grok-2」および軽量版「Grok-2 mini」のベータ版を公開し、LMSYS ベンチマークで Claude 3.5 Sonnet や GPT-4-Turbo を上回る成績を記録した。
キーポイント
ベンチマークでの首位獲得
Grok-2 は LMSYS Chatbot Arena の総合 Elo スコアにおいて、Claude 3.5 Sonnet および GPT-4-Turbo を上回る成績を記録し、業界トップクラスの性能を示した。
推論とツール使用能力の強化
情報取得（RAG）を活用した推論や、欠落情報の特定・無関係な投稿の除外など、複雑なタスクにおけるツール使用能力が大幅に向上している。
多様な専門分野での高パフォーマンス
数学（MATH）、科学（GPQA）、一般知識（MMLU）に加え、視覚的推論（MathVista）やドキュメント QA（DocVQA）においても最先端レベルの性能を発揮する。
製品化とアクセス拡大
Grok-2 と Grok-2 mini は現在 X 上でベータ版として利用可能であり、今月後半には企業向け API も提供開始される予定である。
Grok-2 と Grok-2 mini の新機能
Premium ユーザー向けに、テキストとビジョン理解に優れた最先端モデル「Grok-2」と、速度と品質のバランスが良い軽量モデル「Grok-2 mini」が提供されます。
エンタープライズ API の展開
今月中に開発者向けに新 API プラットフォームをリリースし、低遅延な多地域推論や、MFA 認証などの強化されたセキュリティ機能を備えます。
X アプリでの統合と進化
リアルタイム情報へのアクセスが可能になり、検索機能の強化や投稿の深い分析など、AI を活用した新機能が X アプリに順次導入されます。
影響分析・編集コメントを表示
影響分析
この発表は、xAI が OpenAI や Anthropic のような既存の巨大テック企業に対抗しうる実力を持つことを示す決定的な証拠となり、大規模言語モデル（LLM）市場における競争激化に拍車をかける。特に推論能力と視覚タスクでの飛躍的な進歩は、専門業務や複雑な分析を要する領域への AI 導入を加速させる可能性が高い。
編集コメント
Grok-2 のベンチマーク結果は、単なる数値の向上ではなく、実社会での複雑な推論タスクに対する信頼性の確立を示唆しており、業界のパラダイムシフトを予感させる重要な転換点です。
Grok-2 ベータ版リリース
私たちは新しいGrok-2およびGrok-2 miniモデルを発表します。
私たちは、以前のモデルGrok-1.5から大きく前進し、チャット、コーディング、推論における最先端の能力を備えたGrok-2の早期プレビューを公開できることを嬉しく思います。同時に、Grok-2の小さくとも有能な兄弟モデルであるGrok-2 miniを紹介します。Grok-2の初期バージョンは、"sus-column-r"という名前でLMSYSリーダーボードでテストされました。このブログ投稿時点で、それはClaude 3.5 SonnetとGPT-4-Turboの両方を上回る性能を示しています。
Grok-2とGrok-2 miniは現在、𝕏上でベータ版として提供されており、今月下旬にはエンタープライズAPIを通じて両モデルを利用可能にします。
Grok-2言語モデルとチャット能力
私たちはGrok-2の初期バージョンを"sus-column-r"という名前で、人気のある競合言語モデルベンチマークであるLMArena.ai Chatbot Arenaに導入しました。それはLMSYSリーダーボードにおいて、総合Eloスコアの点でClaudeとGPT-4の両方を上回っています。
Chatbot Arenaにおける総合ELOスコア 
Chatbot Arenaにおける競合モデルに対するGrok-2の勝率 
Grokの応答品質 内部的には、私たちはモデルを評価するために同様のプロセスを採用しています。私たちのAIチューターは、Grokとの実際のインタラクションを反映する様々なタスクにわたって私たちのモデルと関わります。各インタラクションの間、AIチューターにはGrokによって生成された2つの応答が提示されます。彼らは私たちのガイドラインに概説された特定の基準に基づいて、優れた応答を選択します。私たちは、指示に従うことと正確で事実に基づいた情報を提供すること、という2つの主要分野におけるモデルの能力の評価に焦点を当てました。Grok-2は、検索されたコンテンツを用いた推論と、不足情報の正確な特定、一連の出来事の推論、無関係な投稿の破棄などのツール使用能力において、著しい改善を示しています。
私たちは、推論、読解、数学、科学、コーディングを含む一連の学術的ベンチマークでGrok-2モデルを評価しました。Grok-2とGrok-2 miniの両方は、以前のGrok-1.5モデルに比べて著しい改善を示しています。それらは、大学院レベルの科学知識（GPQA）、一般知識（MMLU、MMLU-Pro）、数学競技問題（MATH）などの分野で、他の最先端モデルと競合する性能レベルを達成しています。さらに、Grok-2は視覚ベースのタスクにおいて優れており、視覚的数学推論（MathVista）および文書ベースの質問応答（DocVQA）で最先端の性能を提供します。
Claude 3.5 Sonnet†
- GPT-4-TurboおよびGPT-4oのスコアは2024年5月リリースのものです。
† Claude 3 OpusおよびClaude 3.5 Sonnetのスコアは2024年6月リリースのものです。
‡ Grok-2のMMLU、MMLU-Pro、MMMUおよびMathVistaは0-shot CoTを使用して評価されました。
§ MATHについては、maj@1の結果を示しています。
¶ HumanEvalについては、pass@1ベンチマークスコアを報告しています。
𝕏でのリアルタイム情報を伴うGrokを体験
過去数ヶ月間、私たちは𝕏プラットフォーム上のGrokを継続的に改善してきました。本日、私たちは再設計されたインターフェースと新機能を備えた、Grok体験の次の進化形を紹介します。
Grok miniを表示したXアプリのGrokページ 
ミームの写真とGrokの説明 
コーディング質問に対するGrokの応答 
𝕏プレミアムおよびプレミアム+ユーザーは、2つの新しいモデル、Grok-2とGrok-2 miniにアクセスできるようになります。Grok-2は、テキストと視覚理解の両方における高度な能力を備え、𝕏プラットフォームからのリアルタイム情報を統合した私たちの最先端AIアシスタントであり、𝕏アプリ内のGrokタブを通じてアクセスできます。Grok-2 miniは、速度と回答品質のバランスを提供する、私たちの小さくとも有能なモデルです。前身モデルと比較して、Grok-2はより直感的で、方向付けが可能であり、答えを求める、執筆で協力する、コーディングタスクを解決するなど、幅広いタスクにわたって多用途です。Black Forest Labsとの協力により、私たちは彼らのFLUX.1モデルを実験して、𝕏上のGrokの能力を拡張しています。プレミアムまたはプレミアム+の加入者の方は、Grok-2をベータテストするために、必ず最新バージョンの𝕏アプリに更新してください。
エンタープライズAPIを使用してGrokで構築
私たちはまた、今月下旬に新しいエンタープライズAPIプラットフォームを通じて、開発者向けにGrok-2とGrok-2 miniをリリースします。私たちの近日公開予定のAPIは、世界中での低遅延アクセスのためのマルチリージョン推論デプロイメントを可能にする、新規特注の技術スタック上に構築されています。私たちは、必須の多要素認証（例：Yubikey、Apple TouchID、またはTOTPの使用）、豊富なトラフィック統計、および高度な課金分析（詳細なデータエクスポートを含む）などの強化されたセキュリティ機能を提供します。さらに、チーム、ユーザー、課金管理を既存の社内ツールやサービスに統合できる管理APIを提供します。今月下旬のローンチ時に通知を受け取るには、私たちのニュースレターにご登録ください。
Grok-2とGrok-2 miniは𝕏上で展開されています。私たちは、Grokによって強化された検索機能、𝕏投稿に関するより深い洞察の獲得、改善された返信機能など、AI駆動の一連の機能へのそれらの応用に非常に興奮しています。間もなく、私たちはマルチモーダル理解のプレビューを、𝕏およびAPI上のGrok体験の中核部分としてリリースします。
2023年11月にGrok-1を発表して以来、xAIは最高の才能密度を持つ少数精鋭のチームによって推進され、並外れたペースで前進してきました。私たちはGrok-2を導入し、AI開発の最前線に自らを位置づけました。私たちの焦点は、新しい計算クラスターを用いて中核的な推論能力を進歩させることにあります。今後数ヶ月で共有すべき多くのさらなる開発があります。私たちは、人類の未来にとって最も影響力のある革新を構築することに専念する、私たちの小さく焦点を絞ったチームに加わる個人を探しています。こちらのポジションに応募してください。
原文を表示
Grok-2 Beta Release | xAIAugust 13, 2024Grok-2 Beta Release
We announce our new Grok-2 and Grok-2 mini models.
We are excited to release an early preview of Grok-2, a significant step forward from our previous model Grok-1.5, featuring frontier capabilities in chat, coding, and reasoning. At the same time, we are introducing Grok-2 mini, a small but capable sibling of Grok-2. An early version of Grok-2 has been tested on the LMSYS leaderboard under the name "sus-column-r." At the time of this blog post, it is outperforming both Claude 3.5 Sonnet and GPT-4-Turbo.
Grok-2 and Grok-2 mini are currently in beta on 𝕏, and we are also making both models available through our enterprise API later this month.
Grok-2 language model and chat capabilities
We introduced an early version of Grok-2 under the name "sus-column-r" into the LMArena.ai Chatbot Arena, a popular competitive language model benchmark. It outperforms both Claude and GPT-4 on the LMSYS leaderboard in terms of its overall Elo score.
Overall ELO scores on Chatbot Arena Win Rate of Grok-2 Against Competing Models on Chatbot Arena Grok's response quality Internally, we employ a comparable process to evaluate our models. Our AI Tutors engage with our models across a variety of tasks that reflect real-world interactions with Grok. During each interaction, the AI Tutors are presented with two responses generated by Grok. They select the superior response based on specific criteria outlined in our guidelines. We focused on evaluating model capabilities in two key areas: following instructions and providing accurate, factual information. Grok-2 has shown significant improvements in reasoning with retrieved content and in its tool use capabilities, such as correctly identifying missing information, reasoning through sequences of events, and discarding irrelevant posts.
We evaluated the Grok-2 models across a series of academic benchmarks that included reasoning, reading comprehension, math, science, and coding. Both Grok-2 and Grok-2 mini demonstrate significant improvements over our previous Grok-1.5 model. They achieve performance levels competitive to other frontier models in areas such as graduate-level science knowledge (GPQA), general knowledge (MMLU, MMLU-Pro), and math competition problems (MATH). Additionally, Grok-2 excels in vision-based tasks, delivering state-of-the-art performance in visual math reasoning (MathVista) and in document-based question answering (DocVQA).
Claude 3.5 Sonnet†
- GPT-4-Turbo and GPT-4o scores are from the May 2024 release.
† Claude 3 Opus and Claude 3.5 Sonnet scores are from the June 2024 release.
‡ Grok-2 MMLU, MMLU-Pro, MMMU and MathVista were evaluated using 0-shot CoT.
§ For MATH, we present maj@1 results.
¶ For HumanEval, we report pass@1 benchmark scores.
Experience Grok with real-time information on 𝕏
Over the past few months, we've been continuously improving Grok on the 𝕏 platform. Today, we're introducing the next evolution of the Grok experience, featuring a redesigned interface and new features.
X App Grok page with Grok mini Photo of a meme and Grok's explanation Grok's response to a coding question 𝕏 Premium and Premium+ users will have access to two new models: Grok-2 and Grok-2 mini. Grok-2 is our state-of-the-art AI assistant with advanced capabilities in both text and vision understanding, integrating real-time information from the 𝕏 platform, accessible through the Grok tab in the 𝕏 app. Grok-2 mini is our small but capable model that offers a balance between speed and answer quality. Compared to its predecessor, Grok-2 is more intuitive, steerable, and versatile across a wide range of tasks, whether you're seeking answers, collaborating on writing, or solving coding tasks. In collaboration with Black Forest Labs, we are experimenting with their FLUX.1 model to expand Grok’s capabilities on 𝕏. If you are a Premium or Premium+ subscriber, make sure to update to the latest version of the 𝕏 app in order to beta test Grok-2.
Build with Grok using the Enterprise API
We are also releasing Grok-2 and Grok-2 mini to developers through our new enterprise API platform later this month. Our upcoming API is built on a new bespoke tech stack that allows multi-region inference deployments for low-latency access across the world. We offer enhanced security features such as mandatory multi-factor authentication (e.g. using a Yubikey, Apple TouchID, or TOTP), rich traffic statistics, and advanced billing analytics (incl. detailed data exports). We further offer a management API that allows you to integrate team, user, and billing management into your existing in-house tools and services. Join our newsletter to get notified when we launch later this month.
Grok-2 and Grok-2 mini are being rolled out on 𝕏. We are very excited about their applications to a range of AI-driven features, such as enhanced search capabilities, gaining deeper insights on 𝕏 posts, and improved reply functions, all powered by Grok. Soon, we will release a preview of multimodal understanding as a core part of the Grok experience on 𝕏 and API.
Since announcing Grok-1 in November 2023, xAI has been moving at an extraordinary pace, driven by a small team with the highest talent density. We have introduced Grok-2, positioning us at the forefront of AI development. Our focus is on advancing core reasoning capabilities with our new compute cluster. We will have many more developments to share in the coming months. We are looking for individuals to join our small, focused team dedicated to building the most impactful innovations for the future of humanity. Apply to our positions here.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み