Zeta2 の構築：本番環境で編集予測モデルを訓練する

• Zed開発

1. 01

   編集予測の定義と要件

   カーソル周辺のコードやエラー情報を入力とし、次の編集を予測する小規模専門モデルであり、キーボード入力ごとに即座に動作する高速性が必須。

2. 02

   教師モデルによる蒸留プロセス

   最先端の教師モデルを用いて入力データから予測を生成し、その出力を学生モデル（Zeta2）の訓練用正解ラベルとして転送する蒸留手法を採用。

3. 03

   静的評価と修復ステップ

   予測が単なる取り消しや境界無視でないかヒューリスティックで検証し、失敗したケースを教師モデルに再入力して修正させる「修復」工程を設ける。

4. 04

   セットルデータによるノイズ除去

   編集が落ち着くまでの状態（セットル）と予測結果の類似度（Levenshtein 距離など）を比較し、ノイズを除去して高品質な学習サンプルを抽出する。

この手法は、AI エディタや開発支援ツールにおいて、単なる学習データ収集から「実環境での行動データ」を直接モデル品質向上に繋げる重要なパラダイムシフトを示しています。特に、ノイズの多いユーザーデータをフィルタリングして高価値なトレーニングセットに変換するプロセスは、小規模かつ高速な専門モデルを構築するための標準的なベストプラクティスとして業界全体に波及する可能性があります。