PLaMo-3.0-Prime-βをLLM開発現場で活用
Preferred Networks は、自社開発の LLM「PLaMo-3.0-Prime β」を事前学習チームの日常業務に組み込み、ベンチマーク解析や CI デバッグ、ドキュメント更新を支援する実証事例を発表した。
キーポイント
社内 LLM の開発プロセスへの統合
PLaMo-3.0-Prime β を単なる評価対象ではなく、開発チーム自身が日常的に使用するツールとして導入し、モデルの継続的な改善と新機能発見を促進している。
ベンチマーク結果の自動解析とクラスタリング
1 万件を超える評価サンプルの解析において、CLEAR 手法を参考にした LLM を活用し、原因分析やクラスタリングを効率化して人的負荷を大幅に削減した。
CI/Workflow エラーログの自動デバッグ支援
複雑な CI や Kubernetes 環境でのエラーログから、LLM が疑わしい箇所を抽出し、開発者が長文ログ全体を読む前に初動対応を開始できる体制を整えた。
ドキュメント更新と Slackbot の活用
OpenCode による LLM エージェントを活用して、古くなったドキュメントの自動修正 PR を作成したり、開発者の質問に回答する Slackbot を運用している。
LLM Agent のテストベッドとしての活用
学習データ生成時のフィルタリングや検証など、LLM Agent の実装・動作確認のために PLaMo-3.0-Primeβ を実験環境として頻繁に利用している。
運用上の工夫：情報収集と構造化出力
必要な情報をプログラムで事前に収集して入力し、出力は JSON などで構造化することで後段処理を自動化する工夫がなされている。
影響分析・編集コメントを表示
影響分析
この記事は、大規模言語モデルの開発において「開発者が自社のモデルをツールとして使い込む」という逆説的なアプローチの有効性を示しており、LLM の実用化と継続的改善の新しいパラダイムを提示しています。特に、ベンチマーク解析やインフラデバッグといった専門性の高いタスクにおける LLM の活用事例は、他社開発チームにとっても即座に参考となる実践的な知見です。
編集コメント
自社モデルを自社の開発現場で使い倒すという、非常に実直かつ効果的なアプローチが示されており、LLM の真価は「使われること」によってさらに高まることを再認識させる内容です。
Preferred Networks では、大規模言語モデル PLaMo の開発を継続して行っています。
LLM（大規模言語モデル）の開発には、単に大規模なモデルを学習するだけでなく、さまざまな作業が含まれます。高性能な LLM を学習するためには、学習データの準備や評価、実験結果の分析といった研究開発的なタスクが不可欠です。加えて、複数人で共通のコードベースを利用・改善していくためには、CI（継続的インテグレーション）の整備や確認、ドキュメントの保守など、一般的なソフトウェア開発におけるタスクも重要になります。
こうした多様なタスクに LLM を活用することは、作業工数の削減だけでなく、作業品質の標準化という面でも大きな価値があると考えています。さらに、PLaMo の開発チーム自身が日々の業務の中で PLaMo を使うことは、モデルの継続的な改善という観点でも重要です。
PLaMo 3.0 Prime β版は、我々が 3 月にリリースした LLM です。PLaMo の開発チーム自身が開発中の LLM を日々の業務で使うことは、モデルや API（アプリケーションプログラミングインターフェース）の継続的な改善のために重要です。開発中にモデルに触れ続けることで、ベンチマークでは見えにくい、まだ測れていない能力を日々の業務の中で観察できます。改善が必要であるふるまいを見つけられるのはもちろん、PLaMo が得意とするところ・気づいていなかった能力を見つけることもできるかもしれません。
こういった考えから、事前学習チームでは PLaMo 3.0 Prime βを PLaMo 開発の中で使用するようにしてきました。
この記事では、PLaMo の事前学習チームにおける PLaMo 3.0 Prime βの具体的な利用について紹介します。
PLaMo 3.0 Prime β の利用例
事前学習チームのタスクは、大きく、1) PLaMo の事前学習向けデータセットの改善・開発、2) PLaMo の DNN（ディープニューラルネットワーク）アーキテクチャの改善・開発、3) モデルの学習を行うためのソフトウェア開発、の 3 つがあります。
1 と 2 では一般的な機械学習のプロジェクト同様、評価結果や実験ログの分析が必要となります。また、公開されているデータセットを使う際には README（リードミー）等に書かれている情報を精査する必要もあります。
3 では、CI の出力や GitHub issue（課題）、ドキュメントなどの情報を効率良く扱う必要があります。
PLaMo 3.0 Prime βは、主にこのような情報の精査・整理のための LLM として用いられています。
image図 1: PLaMo-3.0-Prime βの利用例
利用例 1: ベンチマーク評価結果の解析
LLM の開発においては、モデルやデータセットの評価をするためにベンチマークを実行し、その結果を解析する作業を頻繁に行います。ベンチマークによっては 1 万件を超える評価サンプルの結果を解析するのは非常に骨が折れる作業です。そのため、以前はごく一部のベンチマークにおいて低い頻度でしか行えていませんでした。
そこで、PLaMo 3.0 Prime βを用いて、各サンプルの原因の分析・抽出とそのクラスタリングを行うようにしました。手法としては CLEAR という手法を参考としています。もちろん分析が正しいかの確認は人が行う必要はありますが、評価結果の解析は以前よりはるかに手軽にできるようになりました。
利用例 2: CI や workflow の失敗の解析
PLaMo 3.0 Prime βのもう一つの大きな用途としては、CI や workflow が失敗したときの原因解析があります。
開発において、CI や学習 workflow が予想外に fail したりして、そのデバッグをすることがしばしばあります。自分が保守していて振る舞いを把握している component の問題であればエラーメッセージなどからすぐに対応方法がわかることも多いです。しかし、普段見ていない component の問題はエラーメッセージを見ても何が問題かわからなかったり、そもそもどこがエラーメッセージなのかわからないこともよくあります。
こういった問題に対処するため、CI のエラーログや argo workflow・kubernetes pod の状況を PLaMo 3.0 Prime βを用いて解析し、原因解析を行うようにしています。
自分でログ全文を読むことなく対応に移れるため、初動の対応が早まりました。原因解析が的外れであることもしばしばありますが、長いエラーログから疑わしいところが抜き出されているだけでもデバッグの負荷は大きく下がっています。
利用例 3: 開発ワークフローの支援
PLaMo 3.0 Prime βは、開発者が必要な情報に到達しやすくする、という用途でも利用しています。
例えば、公開データセットの調査では、README 等にある情報から、「このデータセットは役に立ちそうか？」を判断するのに役立つ情報を抽出するために用いています。README は自然言語で書かれた特にフォーマットも定まっていないテキストであり、正規表現等による情報抽出は困難です。PLaMo 3.0 Prime βによりこのようなテキストから評価実験設定などの情報を抽出して比較検討を容易にしています。
また、Q&A slackbot にも活用しています。開発者からの質問がくると、開発レポジトリや GitHub issue へのアクセスが可能な環境を用意し、OpenCode を用いた LLM agent で PLaMo 3.0 Prime βを立ち上げて質問への回答を生成しています。
現状では、回答の有用性は聞き方に依存するところが大きく、「なんとなく覚えているが詳細がわからない」ことを確認するためのものというのが個人的な印象です。
一方、frontier model でも一回の質問で求めている回答は得られないことも多く、この印象には「state を持たない slackbot」という実装に起因する限界も含まれていると思います。
もう 1 つの例としては、ドキュメントの更新があげられます。ドキュメントは開発者の理解を助ける他、最近では coding agent に対して情報を提供する場所として重要性が高まっています。一方で、ドキュメントは CI で正しさを確認することが難しく、しばしば変更が忘れられて古い内容が残ったままになってしまうという問題がありました。そこで、上記 slackbot でも用いた OpenCode による LLM agent をドキュメントの更新に利用して、定期的に古くなった表現を修正した PR を作成するようにしています。
PLaMo 3.0 Prime βによるドキュメントの更新には、誤修正も含まれるため、レビューは必須です。とはいえ、「ここが古くなっている」という情報があればそれを修正していく作業はドキュメント全体を精査して修正する作業に比べて遥かに簡単に行えます。この点で、PLaMo 3.0 Prime βはドキュメントの継続的な更新に役立っています。
なお、誤修正には、モデルの能力不足によるものだけでなく、LLM agent が参照できない情報が必要だったために生じたものも多く含まれており、agent が利用できる情報やツールを適切に設計することで、さらなる改善の余地があると考えています。
利用例 4: LLM agent の testbed
最後の利用例は今までとはやや系統の異なるものです。LLM agent や関連ツールを試す際の testbed として事前学習チームでは PLaMo 3.0 Prime βを使っています。
LLM agent は LLM の開発のための手法としても重要となってきています。例えば、学習データの生成において、ただ LLM にデータを生成させるだけではなく、フィルタリングや検証などを LLM に行わせながら生成する手法が提案されています (例)。
このような手法の実装・動作確認には、何らかの LLM が必要です。その際、PLaMo 3.0 Prime βを使った確認・検証をよく行っています。最終的な利用では、能力や速度・コストの兼ね合いでモデルを選ぶことになるため、PLaMo 3.0 Prime βが常にベストというわけでは当然ありません。しかし、手軽に使って実験できるという点で役立っています。
利用・運用上の工夫
上記のような利用にあたって、PLaMo 3.0 Prime βを継続的に使うための工夫について紹介します。
主に意識していることは次の 2 つとなります。
入力として必要なものを可能な限り事前に用意する
できる限り出力形式の構造化を行い、後段で機械的にパースする
1 については、例えば CI や workflow の失敗解析では、失敗に関係するログ、kubernetes の pod の情報などをプログラム的に収集し、それらを PLaMo 3.0 Prime βに与えるようにしています。
これは PLaMo 3.0 Prime βが必要な情報を取りこぼすことがないようにするための工夫です。最近の frontier model ではこういった作業も自動で行えるようにもなりつつあり、PLaMo においても今後のモデル改善により不要になってくるかもしれません。とはいえ、frontier model でも取りこぼしは発生することもあるので、典型的なタスクであればプログラム的に収集するほうが間違いが少ないことも事実だと思います。
2 については、例えばデータの抽出の場合は json や xml を出力させることでその後の処理を簡単にしています。こちらについては、LLM の利用方法として比較的一般的なものと思います。
利用規模
現在の事前学習チームでは、6 月は営業日 1 日につき、入力 30〜40M トークン、出力 1〜2M トークンを利用しています。月単位では 700M トークン程度となることが予想されます。
この利用規模は、膨大な規模というほどではありません。しかし、PLaMo 3.0 Prime βが単発のデモではなく、なくなると困る程度には開発フローに入っていることを示している数値と言えると思います。CI や workflow のエラー解析、データセットの評価、slackbot、agent の testbed など、複数の経路で日常的に利用されています。
まとめ
本記事では、事前学習チームが PLaMo 3.0 Prime βを普段の開発でどのように使っているかを紹介しました。
我々のチームでは、PLaMo 3.0 Prime βを、評価結果の解析や LLM agent の test bed（テストベッド）のような機械学習プロジェクトの開発に関するものから、CI・workflow（ワークフロー）のエラー解析などソフトウェア開発の支援まで、様々な場面で使っています。
こうした利用は、単なる社内利用ではなく、モデルや API を改善するためのフィードバックループでもあります。実際の開発業務で使うことで、モデルの性能、うまく動くユースケース、苦手なユースケースなどが見えてきます。
こういった発見・知見を通じて、今後も PLaMo がより実用的で使いやすい LLM になるよう開発を続けていきます。
仲間募集中
PFN では今後も LLM の開発を継続して行っていきます。開発は今回紹介した以外にも多岐にわたります。我々はこれらの課題に情熱をもって挑戦していく仲間を募集しています。
これらの仕事に興味がある方はぜひご応募よろしくお願いします。
https://www.preferred.jp/ja/careers/
投稿 PLaMo-3.0-Prime-β を LLM 開発の現場で使う は Preferred Networks Tech Blog に最初に表示されました。
原文を表示
Preferred Networks では、大規模言語モデル PLaMo の開発を継続して行っています。
LLMの開発には、単に大規模なモデルを学習するだけでなく、さまざまな作業が含まれます。高性能なLLMを学習するためには、学習データの準備や評価、実験結果の分析といった研究開発的なタスクが不可欠です。加えて、複数人で共通のコードベースを利用・改善していくためには、CIの整備や確認、ドキュメントの保守など、一般的なソフトウェア開発におけるタスクも重要になります。
こうした多様なタスクにLLMを活用することは、作業工数の削減だけでなく、作業品質の標準化という面でも大きな価値があると考えています。さらに、PLaMoの開発チーム自身が日々の業務の中でPLaMoを使うことは、モデルの継続的な改善という観点でも重要です。
PLaMo 3.0 Prime β版は、我々が3月にリリースしたLLMです。PLaMo の開発チーム自身が開発中のLLMを日々の業務で使うことは、モデルやAPIの継続的な改善のために重要です。開発中にモデルに触れ続けることで、ベンチマークでは見えにくい、まだ測れていない能力を日々の業務の中で観察できます。改善が必要であるふるまいを見つけられるのはもちろん、PLaMoが得意とするところ・気づいていなかった能力を見つけることもできるかもしれません。
こういった考えから、事前学習チームではPLaMo 3.0 Prime βをPLaMo開発の中で使用するようにしてきました。
この記事では、PLaMoの事前学習チームにおけるPLaMo 3.0 Prime βの具体的な利用について紹介します。
PLaMo 3.0 Prime β の利用例
事前学習チームのタスクは、大きく、1) PLaMoの事前学習向けデータセットの改善・開発、2) PLaMoのDNNアーキテクチャの改善・開発、3) モデルの学習を行うためのソフトウェア開発、の3つがあります。
1と2では一般的な機械学習のプロジェクト同様、評価結果や実験ログの分析が必要となります。また、公開されているデータセットを使う際にはREADME等に書かれている情報を精査する必要もあります。
3では、CIの出力やGitHub issue、ドキュメントなどの情報を効率良く扱う必要があります。
PLaMo 3.0 Prime βは、主にこのような情報の精査・整理のためのLLMとして用いられています。
image図1: PLaMo-3.0-Prime βの利用例
利用例1: ベンチマーク評価結果の解析
LLMの開発においては、モデルやデータセットの評価をするためにベンチマークを実行し、その結果を解析する作業を頻繁に行います。ベンチマークによっては1万件を超える評価サンプルの結果を解析するのは非常に骨が折れる作業です。そのため、以前はごく一部のベンチマークにおいて低い頻度でしか行えていませんでした。
そこで、PLaMo 3.0 Prime βを用いて、各サンプルの原因の分析・抽出とそのクラスタリングを行うようにしました。手法としては CLEAR という手法を参考としています。もちろん分析が正しいかの確認は人が行う必要はありますが、評価結果の解析は以前よりはるかに手軽にできるようになりました。
利用例2: CIやworkflowの失敗の解析
PLaMo 3.0 Prime βのもう一つの大きな用途としては、CIやworkflowが失敗したときの原因解析があります。
開発において、CIや学習workflowが予想外にfailしたりして、そのデバッグをすることがしばしばあります。自分が保守していて振る舞いを把握しているcomponentの問題であればエラーメッセージなどからすぐに対応方法がわかることも多いです。しかし、普段見ていないcomponentの問題はエラーメッセージを見ても何が問題かわからなかったり、そもそもどこがエラーメッセージなのかわからないこともよくあります。
こういった問題に対処するため、CIのエラーログやargo workflow・kubernetes podの状況をPLaMo 3.0 Prime βを用いて解析し、原因解析を行うようにしています。
自分でログ全文を読むことなく対応に移れるため、初動の対応が早まりました。原因解析が的外れであることもしばしばありますが、長いエラーログから疑わしいところが抜き出されているだけでもデバッグの負荷は大きく下がっています。
利用例3: 開発ワークフローの支援
PLaMo 3.0 Prime βは、開発者が必要な情報に到達しやすくする、という用途でも利用しています。
例えば、公開データセットの調査では、README等にある情報から、「このデータセットは役に立ちそうか？」を判断するのに役立つ情報を抽出するために用いています。READMEは自然言語で書かれた特にフォーマットも定まっていないテキストであり、正規表現等による情報抽出は困難です。PLaMo 3.0 Prime βによりこのようなテキストから評価実験設定などの情報を抽出して比較検討を容易にしています。
また、Q&A slackbotにも活用しています。開発者からの質問がくると、開発レポジトリやGitHub issueへのアクセスが可能な環境を用意し、OpenCodeを用いたLLM agentでPLaMo 3.0 Prime βを立ち上げて質問への回答を生成しています。
現状では、回答の有用性は聞き方に依存するところが大きく、「なんとなく覚えているが詳細がわからない」ことを確認するためのものというのが個人的な印象です。
一方、frontier modelでも一回の質問で求めている回答は得られないことも多く、この印象には「stateを持たないslackbot」という実装に起因する限界も含まれていると思います。
もう1つの例としては、ドキュメントの更新があげられます。ドキュメントは開発者の理解を助ける他、最近ではcoding agentに対して情報を提供する場所として重要性が高まっています。一方で、ドキュメントはCIで正しさを確認することが難しく、しばしば変更が忘れられて古い内容が残ったままになってしまうという問題がありました。そこで、上記slackbotでも用いたOpenCodeによるLLM agentをドキュメントの更新に利用して、定期的に古くなった表現を修正したPRを作成するようにしています。
PLaMo 3.0 Prime βによるドキュメントの更新には、誤修正も含まれるため、レビューは必須です。とはいえ、「ここが古くなっている」という情報があればそれを修正していく作業はドキュメント全体を精査して修正する作業に比べて遥かに簡単に行えます。この点で、PLaMo 3.0 Prime βはドキュメントの継続的な更新に役立っています。
なお、誤修正には、モデルの能力不足によるものだけでなく、LLM agentが参照できない情報が必要だったために生じたものも多く含まれており、agentが利用できる情報やツールを適切に設計することで、さらなる改善の余地があると考えています。
利用例4: LLM agentのtestbed
最後の利用例は今までとはやや系統の異なるものです。LLM agentや関連ツールを試す際のtestbedとして事前学習チームではPLaMo 3.0 Prime βを使っています。
LLM agentはLLMの開発のための手法としても重要となってきています。例えば、学習データの生成において、ただLLMにデータを生成させるだけではなく、フィルタリングや検証などをLLMに行わせながら生成する手法が提案されています (例)。
このような手法の実装・動作確認には、何らかのLLMが必要です。その際、PLaMo 3.0 Prime βを使った確認・検証をよく行っています。最終的な利用では、能力や速度・コストの兼ね合いでモデルを選ぶことになるため、PLaMo 3.0 Prime βが常にベストというわけでは当然ありません。しかし、手軽に使って実験できるという点で役立っています。
利用・運用上の工夫
上記のような利用にあたって、PLaMo 3.0 Prime βを継続的に使うための工夫について紹介します。
主に意識していることは次の2つとなります。
入力として必要なものを可能な限り事前に用意する
できる限り出力形式の構造化を行い、後段で機械的にパースする
1については、例えばCIやworkflowの失敗解析では、失敗に関係するログ、kubernetesのpodの情報などをプログラム的に収集し、それらをPLaMo 3.0 Prime βに与えるようにしています。
これはPLaMo 3.0 Prime βが必要な情報を取りこぼすことがないようにするための工夫です。最近のfrontier modelではこういった作業も自動で行えるようにもなりつつあり、PLaMo においても今後のモデル改善により不要になってくるかもしれません。とはいえ、frontier modelでも取りこぼしは発生することもあるので、典型的なタスクであればプログラム的に収集するほうが間違いが少ないことも事実だと思います。
2については、例えばデータの抽出の場合はjsonやxmlを出力させることでその後の処理を簡単にしています。こちらについては、LLMの利用方法として比較的一般的なものと思います。
利用規模
現在の事前学習チームでは、6月は営業日1日につき、入力30〜40Mトークン、出力1〜2Mトークンを利用しています。月単位では700Mトークン程度となることが予想されます。
この利用規模は、膨大な規模というほどではありません。しかし、PLaMo 3.0 Prime βが単発のデモではなく、なくなると困る程度には開発フローに入っていることを示している数値と言えると思います。CIやworkflowのエラー解析、データセットの評価、slackbot、agentのtestbedなど、複数の経路で日常的に利用されています。
まとめ
本記事では、事前学習チームがPLaMo 3.0 Prime βを普段の開発でどのように使っているかを紹介しました。
我々のチームではPLaMo 3.0 Prime βを、評価結果の解析やLLM agentのtest bedのような機械学習プロジェクトの開発に関するものから、CI・workflowのエラー解析などソフトウェア開発の支援まで、様々な場面で使っています。
こうした利用は、単なる社内利用ではなく、モデルや API を改善するためのフィードバックループでもあります。実際の開発業務で使うことで、モデルの性能、うまく動くユースケース、苦手なユースケースなどが見えてきます。
こういった発見・知見を通じて、今後もPLaMoがより実用的で使いやすいLLMになるよう開発を続けていきます。
仲間募集中
PFNでは今後もLLMの開発を継続して行っていきます。開発は今回紹介した以外にも多岐にわたります。我々はこれらの課題に情熱をもって挑戦していく仲間を募集しています。
これらの仕事に興味がある方はぜひご応募よろしくお願いします。
https://www.preferred.jp/ja/careers/
投稿 PLaMo-3.0-Prime-β を LLM 開発の現場で使う は Preferred Networks Tech Blog に最初に表示されました。
関連記事
AI エージェント向けのクラウドフレア一時アカウントの提供開始
クラウドフレアは、AI エージェントが人間向けに設計された認証フロー（ブラウザ操作や多要素認証など）に直面して停止する問題を解決するため、エージェント専用の一時アカウント機能をリリースした。
[AINews] 今日特に大きな出来事はありませんでした
Latent Space は、GLM 5.2 が依然として注目されていると指摘しつつ、AIE WF 2026 の通常チケットが月曜日に完売すると発表しました。同サイト購読者向けに限定割引を提供し、参加者には Warp や Datadog などからのスポンサークレジットも付与されます。
米国がアンソロピックの「Fable 5」発売を禁止、しかし市場は動じず
米国政府は国家安全保障上の懸念から、アマゾンの研究者らがガードレール回避手法を発見したとして、アンソロピックに対し最新モデル「Fable 5」と「Mythos 5」の販売差し止めを命じた。サイバーセキュリティ研究者らはこの措置が危険だとする公開書簡に署名し、同社も他モデルでも同様の抜け道が存在すると指摘している。
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み