QIMMA：品質重視のアラビア語LLMリーダーボード

Back to Articles QIMMAはモデル評価の前にベンチマーク（benchmark）を検証し、報告されるスコアがLLM（Large Language Model）におけるアラビア語の真の実力を反映していることを保証します。 アラビア語LLMの評価を追ってきた方なら、おそらく次のような緊張感に気づいているでしょう。ベンチマークやリーダーボード（leaderboard）の数は急速に拡大していますが、私たちは本当に測定したいものを正確に測れているのでしょうか？ 私たちはQIMMA قمّة（アラビア語で「頂上」を意味）を構築し、この問いに体系的に答えました。既存のアラビア語ベンチマークをそのまま集約してモデルを実行するのではなく、評価の実施前に厳格な品質検証パイプライン（quality validation pipeline）を適用しました。その結果は重々しいものでした。広く使用され高く評価されているアラビア語ベンチマークでさえ、評価結果を静かに歪める可能性のある体系的な品質問題を含んでいることが判明しました。 この記事では、QIMMAとは何か、どのように構築されたか、どのような問題が見つかったか、そしてデータをクリーンアップした後のモデルランキングがどうなるかを順を追って解説します。 🔍 問題点：アラビア語NLP（Natural Language Processing）評価の断片化と未検証状態 アラビア語は多様な方言や文化的文脈を持つ4億人以上の人々によって話されていますが、アラビア語NLP評価の状況は依然として断片化しています。この取り組みを推進した主な痛みポイント（pain points）は以下の通りです： 翻訳に伴う問題。多くのアラビア語ベンチマークは英語からの翻訳です。これにより分布のシフト（distributional shifts）が生じます。英語では自然に感じられる質問が、アラビア語では不自然になったり文化的にズレたりし、ベンチマークデータがアラビア語の実際の使用状況を十分に代表できなくなります。 品質検証の欠如。ネイティブアラビア語のベンチマークでさえ、厳格な品質チェックなしに公開されることがよくあります。アノテーション（注釈）の不一致、不正解なゴールドアンサー（gold answers）、エンコーディングエラー（encoding errors）、正解ラベル（ground-truth labels）における文化的バイアスが、確立されたリソースで文書化されています。 再現性のギャップ（reproducibility gaps）。評価スクリプトやサンプルごとの出力結果が公開されることは稀であり、結果の監査や先行研究の発展を困難にしています。 カバレッジの断片化。既存のリーダーボードは孤立したタスクや限られたドメインをカバーしており、モデルの包括的な評価を困難にしています。 既存のプラットフォームに対するQIMMAの位置関係を説明するために： | リーダーボード | オープンソース | ネイティブアラビア語 | 品質検証 | コード評価 | 公開出力 | |---|---|---|---|---|---| | OALL v1 | ✅ | 混合 | ❌ | ❌ | ✅ | | OALL v2 | ✅ | ほぼ | ❌ | ❌ | ✅ | | BALSAM | 部分的 | 50% | ❌ | ❌ | ❌ | | AraGen | ✅ | 100% | ❌ | ❌ | ❌ | | SILMA ABL | ✅ | 100% | ✅ | ❌ | ✅ | | ILMAAM | 部分的 | 100% | ✅ | ❌ | ❌ | | HELM Arabic | ✅ | 混合 | ❌ | ❌ | ✅ | | ⛰ QIMMA | ✅ | 99% | ✅ | ✅ | ✅ | QIMMAは、オープンソース、主にネイティブアラビア語のコンテンツ、体系的な品質検証、コード評価（code evaluation）、サンプルごとの公開推論出力（per-sample inference outputs）という5つの特性をすべて組み合わせた唯一のプラットフォームです。 ⛰ QIMMAの内容は？ QIMMAは、14のソースベンチマークから109のサブセットを統合し、7つのドメインにまたがる52,000件以上のサンプルからなる統一された評価スイート（evaluation suite）を構築しています。 Domain Benchmarks Task Types CulturalAraDiCE-Culture, ArabCulture, PalmXMCQ STEMA rabicMMLU, GAT, 3LM STEMMCQ LegalArabLegalQA, MizanQAMCQ, QA MedicalMedArabiQ, MedAraBenchMCQ, QA SafetyAraTrustMCQ Poetry & LiteratureFannOrFlopQA Coding3LM HumanEval+, 3LM MBPP+Code この設計において際立つのは以下の点です： 99%がネイティブアラビア語コンテンツです。唯一の例外はコード評価（code evaluation）であり、これは本質的に言語に依存しません。 コード評価を含む初のアラビア語リーダーボードです。QIMMAはHumanEval+およびMBPP+のアラビア語適応版を統合しており、アラビア語の問題文を用いてコーディング能力を評価可能にしています。 ドメインとタスクの多様性。QIMMAは、教育、ガバナンス（統治）、医療、創造的表現、ソフトウェア開発といった実世界の能力領域を評価します。 🔬 The Quality Validation Pipeline これがQIMMAの方法的な中核です。単一のモデルを実行する前に、すべてのベンチマーク（benchmark）のすべてのサンプルに対して多段階検証パイプライン（multi-stage validation pipeline）を適用しました。 Stage 1: Multi-Model Automated Assessment すべてのサンプルは、2つの最先端の大規模言語モデル（LLM）によって独立して評価されました： Qwen3-235B-A22B-Instruct DeepSeek-V3-671B アラビア語能力は高いものの学習データ構成が異なる2つのモデルを選択し、単独よりも統合された判断の方がより堅牢になるようにしました。 各モデルは、10点満点のルーブリック（rubric）に基づいてサンプルを採点し、各基準に対してバイナリスコア（0または1）を付与します： いずれかのモデルが7/10未満のスコアをつけたサンプルは除外されます。両方のモデルが除外に同意したサンプルは直ちにドロップされます。ただし、片方のモデルのみがサンプルをフラグ付けした場合、それはステージ2の人間によるレビュー（human annotation and review）に進みます。 Stage 2: Human Annotation and Review フラグ付けされたサンプルは、文化的・方言的な習熟度を備えたアラビア語ネイティブスピーカーによってレビューされます。人間の注釈担当者は以下の点について最終判断を下します： 文化的文脈と地域的なばらつき 方言のニュアンス 主観的解釈 自動評価（automated assessment）では見逃されがちな微妙な品質上の問題 文化的に敏感なコンテンツについては、アラブ地域間で「正解」が実際に異なる場合があるため、複数の視点が考慮されます。 ⚠️ What We Found: Systematic Quality Problems このパイプラインは、ベンチマーク全体にわたって繰り返される品質上の問題を明らかにしました。それは孤立したエラーではなく、ベンチマークの当初の構築方法におけるギャップを反映した体系的なパターンです。 By the Numbers Benchmark Total Samples Discarded Discard Rate ArabicMMLU 14,163 436 3.1% MizanQA1,769412.3% PalmX3,001250.8% MedAraBench4,960330.7% FannOrFlop6,984430.6% ArabCulture3,48270.2% MedArabiQ49910.2% GAT13,9861~0.0% 3LM STEM2,6091~0.0% AraDiCE-Culture18000.0% ArabLegalQA7900.0% AraTrust52200.0% Taxonomy of Issues Found ⚖️ Answer Quality False or mismatched gold indices, factually wrong answers, missing or raw text answers. 📄 テキストおよびフォーマットの品質（Text & Formatting Quality） 破損または判読不能なテキスト、スペルミスや文法エラー、重複するサンプル。 💬 文化的感受性（Cultural Sensitivity） 多様なコミュニティに対するステレオタイプの強化や画一的な一般化。 🤝 正解回答の準拠性（Gold Answer Compliance） 正解回答と評価プロトコルとの不一致。 💻 コードベンチマーク：異なる品質作業の形態（Code Benchmark: A Different Kind of Quality Work） コードベンチマークには別の介入が必要でした。サンプルを破棄するのではなく、3LMによるHumanEval+およびMBPP+のアラビア語版における問題文を精査し、タスク識別子、参照ソリューション、テストスイートは完全にそのまま残しました。 修正率は顕著なものでした： | ベンチマーク | 総プロンプト数 | 修正済み | 未変更 | 修正率 | |---|---|---|---|---| | 3LM HumanEval+ | 164 | 145 | 19 | 88% | | 3LM MBPP+ | 378 | 308 | 70 | 81% | 修正は以下の5つのカテゴリに分類されました： 言語的洗練（Linguistic refinement）：自然な現代標準アラビア語および一貫した命令形スタイルへの正規化 明確さの向上（Clarity improvements）：曖昧な指示や不明確な制約の修正 一貫性の正規化（Consistency normalization）：数学用語、句読点、例のフォーマットの一貫化 構造的修正（Structural corrections）：壊れた三重引用符文字列、インデントエラー、破損したテキストフラグメントの修正 意味的洗練（Semantic refinements）：範囲が包含か除外かの明確化、タスクの意図の保持 ⚙️ 評価設定（Evaluation Setup） 評価フレームワーク（Evaluation Framework） QIMMAは、一貫性、多言語コミュニティでの採用実績、再現性を理由に、LightEval、EvalPlus、FannOrFlopを評価フレームワークとして採用しています。 タスク別指標（Metrics by Task Type） | タスクタイプ | 指標 | ベンチマーク | |---|---|---| | MCQ（複数選択問題） | 正規化対数尤度精度（Normalized Log-Likelihood Accuracy） | AraDiCE-Culture, ArabicMMLU, ArabCulture, PalmX, 3LM STEM, MedArabiQ, GAT, MedAraBench, AraTrust | | 複数選択MCQ（Multi-select MCQ） | 正解選択肢の確率質量（Probability Mass on Gold Choices） | MizanQA | | 生成型Q&A（Generative QA） | F1 BERTスコア（AraBERT v02） | MedArabiQ, ArabLegalQA, FannOrFlop | | コード（Code） | Pass@k | 3LM HumanEval+, 3LM MBPP+ | プロンプトテンプレート（Prompt Templates） QIMMAは質問形式ごとにプロンプティングを標準化し、6つのテンプレートタイプを使用します： MCQ：汎用複数選択問題 · MCQ-C：文脈付き複数選択問題 · MCQ-I：特定指示付き複数選択問題（GAT類推/完成） · QA：汎用自由記述Q&A · QA-C：文脈付きQ&A · QA-F：穴埋め式Q&A すべてのプロンプトはアラビア語で記述されています。MizanQAおよびArabCultureについては、元の論文からベンチマーク固有のシステムプロンプトを維持しています。 🏆 リーダーボード結果（Leaderboard Results） | ランク | モデル | 平均 | AraDiCE-Cul | ArabicMMLU | ArabCulture | PALMX | 3LM STEM | AraTrust | MizanQA | MedArabiQ | ArabLegalQA | GAT | MedAraBench | HumanEval+ | MBPP+ | FannOrFlop | |---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| | 🥇 1 | Qwen/Qwen3.5-397B-A17B-FP8 | 68.06 | 82.78 | 77.54 | 61.75 | 83.91 | 88.67 | 90.04 | 73.36 | 47.30 | 54.94 | 55.89 | 47.97 | 67.68 | 76.72 | 44.33 | | 🥈 2 | Applied-Innovation-Center/Karnak | 66.20 | 73.33 | 80.94 | 53.49 | 81.40 | 93.10 | 89.08 | 55.92 | 55.78 | 71.58 | 61.06 | 54.19 | 33.54 | 64.55 | 58.91 | 🥉 3位 inceptionai/Jais-2-70B-Chat 65.81 78.89 81.29 83.24 83.73 87.96 90.23 71.78 52.79 69.60 51.67 50.89 19.51 43.65 56.13 #4位 Qwen/Qwen2.5-72B-Instruct 65.75 77.22 73.78 63.83 77.77 87.55 88.51 63.49 50.06 70.74 55.90 44.19 37.20 72.75 57.51 #5位 Applied-Innovation-Center/AIC-1 65.37 73.33 72.02 77.52 76.11 88.13 90.61 56.36 53.75 68.96 62.11 50.78 28.05 69.58 47.83 #6位 Qwen/Qwen3.5-122B-A10B 64.84 74.44 73.17 37.78 81.46 86.18 86.97 64.01 47.04 55.11 50.90 52.49 65.24 72.43 60.54 #7位 Sakalti/Ultiima-72B 64.49 78.33 72.28 68.79 76.75 83.70 89.08 60.44 44.58 69.12 46.91 42.25 39.02 74.07 57.56 #8位 meta-llama/Llama-3.3-70B-Instruct 63.96 77.22 71.57 78.05 77.95 88.28 85.63 67.44 56.25 64.00 51.13 54.86 27.44 71.16 24.43 #9位 Qwen/Qwen2.5-32B-Instruct 63.26 70.56 68.76 75.80 72.07 81.03 85.82 53.78 48.08 69.27 56.94 36.51 34.15 72.75 93.10 #10位 FreedomIntelligence/AceGPT-v2-32B-Chat 61.14 76.67 70.62 79.79 74.46 84.88 86.97 63.89 49.96 71.46 56.04 47.32 23.78 54.50 15.56 サイズとパフォーマンスの関係 大規模言語モデル（LLM）46モデルからなる全リーダーボード全体を通して、明確ではあるが不完全なサイズとパフォーマンスの相関関係が見られます。ただし、興味深い例外も存在します： アラビア語専門モデルは、パラメータ数が同等のマルチリンガルモデルを上回ることが多い インストラクションチューニング済みモデルは、Qwen3を除き、ベースモデルを一貫して上回る 一部の小型アラビア語専門モデル（Fanar-1-9B、ALLaM-7B）は、特定のドメインにおいて遥かに大規模なマルチリンガルモデルを上回る 🌟 QIMMAの独自性 QIMMAの特徴的な性質をまとめます： 特性 詳細 品質最優先の哲学 評価前に検証を実行し、後回しにしない 複数モデルによる検証 異なる学習履歴を持つ2つの大規模言語モデル（LLM） + 該当ケースの人間レビュー 99%のネイティブアラビア語 翻訳アーティファクトをほぼ完全に回避 多領域・多タスク 7ドメイン、3タスクタイプ（多肢選択問題（MCQ）、質問応答（QA）、コード）、109サブセット コード評価 コード生成を含む初のアラビア語リーダーボード 完全な透明性 集計スコアだけでなく、サンプルごとの推論出力を公開 LightEvalベース 統一され再現可能な評価コードベース 方言への配慮 プロンプトとルーブリックにおいて、標準アラビア語（MSA）と方言の差異を明示的に処理 🔗 リソース 🏆 リーダーボード: QIMMA Leaderboard 💻 コード: GitHub 📄 論文: Are Arabic Benchmarks Reliable? QIMMA's Quality-First Approach to LLM Evaluation 🔖 引用 @misc{alqadi2026arabicbenchmarksreliableqimmas, title={Are Arabic Benchmarks Reliable? QIMMA's Quality-First Approach to LLM Evaluation}, author={Leen AlQadi and Ahmed Alzubaidi and Mohammed Alyafeai and Hamza Alobeidli and Maitha Alhammadi and Shaikha Alsuwaidi and Omar Alkaabi and Basma El Amel Boussaha and Hakim Hacid}, year={2026}, eprint={2604.03395}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2604.03395}, }

QIMMA：品質重視のアラビア語LLMリーダーボード

背景や根拠まで確認しますか？

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

ニュースの次に確認する

調べる

選ぶ

サイト