Claude と GPT の知識カットオフと学習期間を調査する手法

記事の3ポイント

1. 1

   不可知性知識によるパラメータ推定

   ニッチな事実に対するスコアリングを通じて、「Incompressible Knowledge Probes」という手法を用いて、GPT-5 や Opus のようなモデルのパラメータ数を近似する。

2. 2

   トークン分解によるデータミックス推測

   モデルがトークンをどのように分解するかを測定することで、「Data Mixture Inference」を用いて、訓練に使用されたデータセットの混合比率やトークナイザーの特性を明らかにする。

3. 3

   日付・自己認識質問による訓練期間推定

   日付や自己同一性に関する質問への回答スコアを分析することで、モデルの知識カットオフ時期や訓練タイムラインを推測することが可能である。