Alyah ⭐️: アラビア語LLMにおけるエミレーツ方言能力の堅牢な評価に向けて

図3に示されているように、強力な多言語モデルでさえ、最も挑戦的なAlyahの質問において顕著な性能低下を示しており、方言固有の意味的知識は一般的な多言語トレーニングだけでは容易に獲得されないことを示唆しています。留意すべき点として、アラビア語ネイティブモデルは文化的に根付いたコンテンツに対してより堅牢に機能する傾向がありますが、その性能はすべてのカテゴリーで均一ではありません（図2）。特に、暗黙の意味や稀な表現を含む質問は、評価されたほぼすべてのモデルにおいて困難なままです。これは、表面的な方言の親しみやすさと、より深い文化的理解との間に持続的な隔たりがあることを浮き彫りにしています。カテゴリー間の性能の高い分散（例えば、イメージや比喩的意味に優れたモデルが、詩や遺産に関連する創造的な質問に依然として苦戦する可能性がある）は、方言能力が多次元的であり、単一のスコアでは捉えられないことを示しています。図3は、最高得点の大規模モデルがJais-2-70Bであり、それに続くのが2つの小規模モデルJais-2-8BとALLaM-7B-instructであることを示しており、これらはすべてアラビア語インストラクションチューニングモデルです。 結論とコミュニティへの影響 このベンチマークは、アラビア語言語モデルのより現実的で文化的に根付いた評価に向けた一歩を表しています。アラブ首長国連邦方言に焦点を当てることで、UAEの地域コミュニティ、機関、ユーザーにより良くサービスを提供するモデルの開発を支援することを目指しています。モデルのランキングを超えて、このベンチマークは将来のデータ収集、トレーニング、適応の取り組みを導く診断ツールとして意図されています。 研究者、実務家、そしてより広範なコミュニティの方々に、このベンチマークを使用し、結果を探求し、フィードバックを共有することをお勧めします。コミュニティからの意見は、データセットの改良、カバレッジの拡大、そして大規模言語モデルの評価において方言アラビア語が受けるべき注目を確実にすることに不可欠です。 @misc{emirati_dialect_benchmark_2026, title = {Alyah: アラビア語大規模言語モデルを評価するためのアラブ首長国連邦方言ベンチマーク}, author={Omar Alkaabi and Ahmed Alzubaidi and Hamza Alobeidli and Shaikha Alsuwaidi and Mohammed Alyafeai and Leen AlQadi and Basma El Amel Boussaha and Hakim Hacid}, year = {2026}, month = {january}, } ![](https://cdn-avatars.huggingface.co/v1/production/uploads/61a8d1aac664736898ffc84f/AT6cAB5ZNwCcqFMal71WD.jpeg) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/61a8d1aac664736898ffc84f/AT6cAB5ZNwCcqFMal71WD.jpeg) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/61a8d1aac664736898ffc84f/AT6cAB5ZNwCcqFMal71WD.jpeg) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/61a8d1aac664736898ffc84f/AT6cAB5ZNwCcqFMal71WD.jpeg) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/61a8d1aac664736898ffc84f/AT6cAB5ZNwCcqFMal71WD.jpeg) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/66c8620a79b42e5c941b0265/0D9sHcrQYDhIWXzkoSAhB.png) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/61a8d1aac664736898ffc84f/AT6cAB5ZNwCcqFMal71WD.jpeg) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/61a8d1aac664736898ffc84f/AT6cAB5ZNwCcqFMal71WD.jpeg) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/61a8d1aac664736898ffc84f/AT6cAB5ZNwCcqFMal71WD.jpeg) ![図1: サイズに基づくカテゴリー別モデルの精度。](https://cdn-uploads.huggingface.co/production/uploads/681b3d99ff4a468b725484d7/TdYWyg-ZIKckW3K0ifIOy.png) ![図2: 言語に基づくカテゴリー別モデルの精度。](https://cdn-uploads.huggingface.co/production/uploads/681b3d99ff4a468b725484d7/yakzj4kaPcWnhawTAkUoe.png) ![図3: 評価されたモデルの平均精度。](https://cdn-uploads.huggingface.co/production/uploads/681b3d99ff4a468b725484d7/RizOTB3qq9YRFGlypYBqh.png)

Alyah ⭐️: アラビア語LLMにおけるエミレーツ方言能力の堅牢な評価に向けて

背景や根拠まで確認しますか？

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

ニュースの次に確認する

調べる

選ぶ

サイト