HEROZ ASKへのo1モデル導入

**タイトル: HEROZ ASKへのo1の導入** 昨年末の12月5日、12 Days of OpenAIにおいてついにo1が発表されました。また、Azure OpenAI Serviceでもこのo1が利用可能になったため、HEROZ ASKへ組み込みました。langchainを用いた組み込みで気になった点を記していきます。 なお、このo1はHEROZ ASKで2025年1月24日以降に使用可能です。 **o1-preview時代からの共通項目** 昨年9月にo1-previewがリリースされて以来、社内ではo1-previewを組み込む試作を実施していました。その時から注意点や気になった点は以下の通りです。 o1-previewやo1-miniはChatOpenAI()において、 temperatureオプションの削除、 ストリーミング(streaming)オプションの削除、 SystemMessage（システムメッセージ）の除去が行われています。 ストリーミングオプションを削除するとストリーミングを期待している時に何も出力されなくなるため、以下のようなラッピングクラスを用意しました。 ``` class ChatOpenAI_o1(ChatOpenAI): def _generate( self, messages: List[BaseMessage], stop: Optional[List[str]] = None, run_manager: Optional[CallbackManagerForLLMRun] = None, **kwargs: Any, ) -> ChatResult: results = super()._generate( messages, stop, run_manager, **kwargs, ) if run_manager is not None: # on_llm_new_tokenしないと結果が表示されない run_manager.on_llm_new_token("".join([g.text for g in results.generations])) return results async def _agenerate( self, messages: List[BaseMessage], stop: Optional[List[str]] = None, run_manager: Optional[AsyncCallbackManagerForLLMRun] = None, **kwargs: Any, ) -> ChatResult: results = super()._generate( messages, stop, run_manager, **kwargs, ) if run_manager is not None: # on_llm_new_tokenしないと結果が表示されない await run_manager.on_llm_new_token( "".join([g.text for g in results.generations]) ) return results ``` また、ストリーミング時は`stream_usage`オプションを使用すると使用トークン数を取得できますが、これの出力トークン(completion tokens)には思考用のReasoning tokenも含まれており、助かりました。 **o1はo1-previewと比べると以下の点で変更となっています。** SystemMessageへの対応: roleは`developer`、 画像入力: 数式の入力がやりやすくなります、 Markdown出力: プロンプトに`Formatting reenabled`。 SystemMessageについてはlangchainにおいては`SystemMessagePromptTemplate`に、 `additional_kwargs = { "__openai_role__": "developer" }` を設定することで対応できます。 一方で、o1は未だにコスト計算用の単価が書かれている`openai_info.py`や`tiktoken`の`model.py`が対応していないので、テーブルを動的に上書きしない限りはトークンやコストの計算時にエラーが発生します。これらのファイルについては早期に追加されることを期待します。 早速、難解な数式を画像で入力して解かせたところ、無事に正解しました。 ![](https://cdn-ak.f.st-hatena.com/images/fotolife/h/heroz-tkubo/20250116/20250116211848.png) o1の実行結果 gpt-4oより賢いと言われているo1をHEROZ ASKへ導入することができました。o1は確かに込み入った数式のような問題には抜群の能力を発揮するのですが、普通の質問や知識を問う内容だとgpt-4oと回答が変わらず、o1は時間とコストだけがかかるので、使い所が難しいように思いました。一般ユーザーを含めて導入することにより、その辺りのユースケースをもっと発掘していきたいと思います。

HEROZ ASKへのo1モデル導入

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト