Geminiの性能を宅建試験でGPT-4やClaude2と比較してみた

Googleは12月7日に新しい生成AI「Gemini」を発表しました。発表会の記事によると、「グーグルの新たな生成AI基盤「Gemini」登場 ほぼ全指標でGPT-4しのぐ」とのことですので、12月13日に公開されたGemini APIを用いて、宅建試験を解かせてみました。

使用した問題は令和4年度の宅地建物取引士資格試験（回答はこちら）です。宅建試験は四択50問で構成され、令和4年度については正解がない問題が1問あったため、母数は49問となります。当社は建設業界を主要なターゲットとしているため、宅建試験を評価指標として採用しました。

評価は以下のような入力を与え、数値で示された回答を正解と比較する形で実施しました。

「質問と回答の選択肢を入力として受け取り、選択肢から回答を選択してください。なお、回答は選択肢の番号（例：0）で行うものとします。回答となる数値をint型で返し、他には何も含めないことを厳守してください。 ### 入力： 質問：相続に関する次の記述のうち、民法の規定によれば、誤っているものはどれか。 選択肢：0.被相続人の生前においては、相続人は、家庭裁判所の許可を受けることにより、遺留分を放棄することができる。,1.家庭裁判所への相続放棄の申述は、被相続人の生前には行うことができない。,2.相続人が遺留分の放棄について家庭裁判所の許可を受けると、当該相続人は、被相続人の遺産を相続する権利を失う。,3.相続人が被相続人の兄弟姉妹である場合、当該相続人には遺留分がない。」

比較対象として、GPT-4のgpt-4-0613とAnthropicのclaude-v2でも同様の評価を実施しました。いずれもtemperatureは0に設定しています。

GPT-4(gpt-4-0613)

Claude2(claude-v2)

Gemini(gemini-pro-vision)

詳細な正誤表

各モデルとも、当てずっぽう（四択問題なので平均すると25%になる）ではなく、ある程度はしっかり回答しているものの、いずれも合格水準（70%前後）には達していません。

モデル間では、GPT-4やClaude2の方がGeminiよりも良い性能を示しています。ただし、今回試したGeminiのモデルはPro版のみであり、GPT-4を凌駕したとされるのはUltra版とのことですので、早くUltraモデルが使用できるようになるのが待たれます。

全モデルで正解が11問（22.4%）、逆に全モデルが不正解だった問題も11問（22.4%）あり、両方を合わせると約半数になります。それ以外の問題については、特に顕著な傾向は見られませんでした。

現時点の各モデルは、宅建試験で問われる法律のような専門知識をある程度は有しているようですが、合格に至るほどには習得していないようです。実務で使用するには合格水準を超えるレベルが求められるため、特定ドメインの知識に特化したLLMの実現に向けては、さらなる取り組みが必要です。当社ではこの課題について継続して検討していく考えです。