トークナイズとトークン効率
本文の状態
日本語全文を表示中
詳細モードで約5分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
SB Intuitions Tech Blog
SB Intuitions は新モデル Sarashina3 の商用 API 提供開始に伴い、トークナイズの仕組みとトークン数が利用料金を決定する仕組みについて解説し、開発者がコストを最適化するための基礎知識を提供している。
Continue in AI NEW LAB
このニュースを、実務の判断につなげる
AI NEW LABで、試したことや先に確認したい条件を共有できます。まずはログインなしで読めます。
AI NEW LABで論点を見るAI深層分析を開く2026年8月7日 17:10
AI深層分析
キーポイント
Sarashina3 mini/nano の商用 API 開始
SB Intuitions は 2026 年 6 月から「Sarashina3 mini」と「Sarashina3 nano」を新たに商用 API として提供を開始した。
トークン数に基づく利用料金体系
チャット UI を介さない API 利用の場合、OpenAI や Google の事例と同様に、入出力トークン数が利用料金の決定要因となる。
トークナイズとトークナイザの定義
LLM はテキストを「トークン」という細かな文字列に分割して処理しており、この分割プロセスをトークナイズ、実行プログラムをトークナイザと呼ぶ。
コスト最適化のための理解必要性
API 利用料金はトークン数で決まるため、トークナイズの仕組みを理解することが Sarashina3 の効率性を活用しコストを抑える上で重要となる。
LLMにおけるトークナイズの定義
LLMでのトークナイズは単語や文節ではなく、サブワードへの分割を指す。
重要な引用
SB Intuitions では 2026 年 6月から Sarashina3 mini と Sarashina3 nano を新たに商用 API として提供開始しました
チャット UI を介さず API を使って独自の LLM サービスを作りたい場合、利用料金は LLM の入出力トークン数で決まります
LLM はテキストをトークンというより細かな文字列に分割して扱います。この分割処理をトークナイズといい
LLM でトークナイズと言った場合は<strong>サブワード</strong>への分割です。
編集コメントを表示
編集コメント
新モデルのリリースに伴い、技術的な仕組み（トークナイズ）とビジネス面（利用料金）を結びつけて解説している点は実務者にとって有益である。ただし、具体的な Sarashina3 モデルのトークン効率数値や他社モデルとの比較データは本文に含まれていないため、詳細なコスト試算には追加情報の確認が必要となる。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
Evaluation チームの 岡 照晃 です。
SB Intuitions では 2026年6月から Sarashina3 mini と Sarashina3 nano
を新たに商用API として提供開始しました（
プレスリリース 、
テックブログ）。
そこで本記事では、APIの利用料金にも関わるトークナイズとトークン効率の観点から Sarashina3 の良さを紹介します。
トークン数で決まる利用料金
OpenAI の ChatGPT や Google の Gemini といった LLM を利用する際、
チャットUIであれば無料プランや月額の定額プランが用意されています。
https://openai.com/ja-JP/business/pricing/#chatgpt（2026/07/30 アクセス）**
https://one.google.com/intl/ja_jp/about/ （2026/07/30 アクセス）
一方、 チャットUI を介さず API を使って独自の LLM サービスを作りたい場合、利用料金は LLM の入出力トークン数**で決まります。
例えば、GPT-5.6 と Gemini 3.5 はいずれも 1M（100万）トークンあたりの API の利用料金を設定しています。
https://openai.com/ja-JP/business/pricing/#api（2026/07/30 アクセス）**
https://ai.google.dev/gemini-api/docs/pricing?hl=ja （2026/07/30 アクセス）
では、この『トークン』とは何なのでしょうか？
トークンとトークナイズ
LLM はテキストをトークン**というより細かな文字列に分割して扱います。
この分割処理をトークナイズといい、
トークナイズを実行するプログラムはトークナイザと呼ばれます。
上は Sarashina3 のトークナイザでトークナイズを実行した例です。各トークンは色分けで示しています。
トークンには単語や文字といった言語単位が採用されることもありますが、
LLM でトークナイズと言った場合はサブワードへの分割です。
サブワードトークナイザは、使用頻度の高い部分文字列を 1つにまとめ、使用頻度の低い部分文字列は細かく分割するよう学習されています。
単語や文節のような言語単位と一致しないのはそのためです。
トークナイズされたサブワードはそれぞれ対応する id に変換され、LLM に入力されます。
上のサブワード列だと以下のような id列に変換されます。
入力されたテキストをサブワードに分割して id列に変換する処理をエンコードと言い、
LLMが出力する id列をサブワードを介してテキストに変換する処理をデコードと言います。
トークナイザによる分割の違いとトークン効率
トークナイザの仕様や学習結果は LLM によって異なるので、
トークナイザが変われば、登録されているサブワードも分割の仕方も異なります。
例として GPT-5 のトークナイザ（o200k_base）を使って先ほどの例をトークナイズしてみます。
比較のために、Sarashina3 のトークナイザの分割結果と並べました。
日本語に強い LLM である Sarashina3 はトークナイザ学習時の日本語テキストの割合も大きくしています。
その結果、「東京メトロ」や「南北線」「山手線」のような固有名詞も 1トークンになりました。
一方、GPT-5 は英語を中心に多言語対応しているので、学習時の日本語テキストの割合は小さく、
日本語の長いサブワードも獲得できていません。
結果、GPT-5 では Sarashina3 よりも分割が細かくなっています。
このとき「Sarashina3 トークナイザは GPT-5 に比べてトークン効率がいい」と言います。
トークン効率は「より少ないトークン数で、目的の処理をどれだけ効率的に達成できるか」という指標です。
トークナイズするテキストが同じでも、より少ないトークン数に分割できれば、
LLM の処理速度も速くなりますし、計算機サーバの消費電力も小さくて済みます。
では Sarashina3 トークナイザはどれくらいトークン効率が良いのでしょう？
Gemini 3.5 のトークナイザを加えて、
日本語 Wikipedia （約19億文字）をトークナイズした結果を比較してみました。
その結果、GPT-5 が最も多い 約14億トークンに分割され、
Gemini 3.5 は約12億トークン。
Sarashina3 が最も少ない約9.5億トークンで、GPT-5 と比較すると 4.5億もトークン数を節約できました。
まとめ
本記事では、新たに商用API として提供を開始した Sarashina3 をトークナイズの観点から紹介しました。
上で示した結果は日本語におけるトークン効率であり、
言語が変われば（e.g., 英語、中国語、…）GPT-5 や Gemini 3.5 のトークン効率が良くなることもあります。
ですが日本語のテキスト処理であれば、性能だけでなく、トークン効率もいい Sarashina3 の出番です。
トークン効率は利用料金だけでなく、計算機サーバの消費電力にも関わってきます。
より少ないトークンで処理できれば、それだけ計算資源を節約し、省エネにつながります。
これからは計算効率の観点からも LLM を選んでみてはいかがでしょうか？
Sarashina3 の利用申し込みはこちらから受け付けています。
SB Intuitions は今後も国産 LLM の開発・改善に継続して取り組んでいきます！
原文を表示
Evaluation チームの 岡 照晃 です。
SB Intuitions では 2026年6月から Sarashina3 mini と Sarashina3 nano
を新たに商用API として提供開始しました（
プレスリリース 、
テックブログ）。
そこで本記事では、APIの利用料金にも関わるトークナイズとトークン効率の観点から Sarashina3 の良さを紹介します。
トークン数で決まる利用料金
OpenAI の ChatGPT や Google の Gemini といった LLM を利用する際、
チャットUIであれば無料プランや月額の定額プランが用意されています。
https://openai.com/ja-JP/business/pricing/#chatgpt（2026/07/30 アクセス）**
https://one.google.com/intl/ja_jp/about/ （2026/07/30 アクセス）
一方、 チャットUI を介さず API を使って独自の LLM サービスを作りたい場合、利用料金は LLM の入出力トークン数**で決まります。
例えば、GPT-5.6 と Gemini 3.5 はいずれも 1M（100万）トークンあたりの API の利用料金を設定しています。
https://openai.com/ja-JP/business/pricing/#api（2026/07/30 アクセス）**
https://ai.google.dev/gemini-api/docs/pricing?hl=ja （2026/07/30 アクセス）
では、この『トークン』とは何なのでしょうか？
トークンとトークナイズ
LLM はテキストをトークン**というより細かな文字列に分割して扱います。
この分割処理をトークナイズといい、
トークナイズを実行するプログラムはトークナイザと呼ばれます。
上は Sarashina3 のトークナイザでトークナイズを実行した例です。各トークンは色分けで示しています。
トークンには単語や文字といった言語単位が採用されることもありますが、
LLM でトークナイズと言った場合はサブワードへの分割です。
サブワードトークナイザは、使用頻度の高い部分文字列を 1つにまとめ、使用頻度の低い部分文字列は細かく分割するよう学習されています。
単語や文節のような言語単位と一致しないのはそのためです。
トークナイズされたサブワードはそれぞれ対応する id に変換され、LLM に入力されます。
上のサブワード列だと以下のような id列に変換されます。
入力されたテキストをサブワードに分割して id列に変換する処理をエンコードと言い、
LLMが出力する id列をサブワードを介してテキストに変換する処理をデコードと言います。
トークナイザによる分割の違いとトークン効率
トークナイザの仕様や学習結果は LLM によって異なるので、
トークナイザが変われば、登録されているサブワードも分割の仕方も異なります。
例として GPT-5 のトークナイザ（o200k_base）を使って先ほどの例をトークナイズしてみます。
比較のために、Sarashina3 のトークナイザの分割結果と並べました。
日本語に強い LLM である Sarashina3 はトークナイザ学習時の日本語テキストの割合も大きくしています。
その結果、「東京メトロ」や「南北線」「山手線」のような固有名詞も 1トークンになりました。
一方、GPT-5 は英語を中心に多言語対応しているので、学習時の日本語テキストの割合は小さく、
日本語の長いサブワードも獲得できていません。
結果、GPT-5 では Sarashina3 よりも分割が細かくなっています。
このとき「Sarashina3 トークナイザは GPT-5 に比べてトークン効率がいい」と言います。
トークン効率は「より少ないトークン数で、目的の処理をどれだけ効率的に達成できるか」という指標です。
トークナイズするテキストが同じでも、より少ないトークン数に分割できれば、
LLM の処理速度も速くなりますし、計算機サーバの消費電力も小さくて済みます。
では Sarashina3 トークナイザはどれくらいトークン効率が良いのでしょう？
Gemini 3.5 のトークナイザを加えて、
日本語 Wikipedia （約19億文字）をトークナイズした結果を比較してみました。
その結果、GPT-5 が最も多い 約14億トークンに分割され、
Gemini 3.5 は約12億トークン。
Sarashina3 が最も少ない約9.5億トークンで、GPT-5 と比較すると 4.5億もトークン数を節約できました。
まとめ
本記事では、新たに商用API として提供を開始した Sarashina3 をトークナイズの観点から紹介しました。
上で示した結果は日本語におけるトークン効率であり、
言語が変われば（e.g., 英語、中国語、…）GPT-5 や Gemini 3.5 のトークン効率が良くなることもあります。
ですが日本語のテキスト処理であれば、性能だけでなく、トークン効率もいい Sarashina3 の出番です。
トークン効率は利用料金だけでなく、計算機サーバの消費電力にも関わってきます。
より少ないトークンで処理できれば、それだけ計算資源を節約し、省エネにつながります。
これからは計算効率の観点からも LLM を選んでみてはいかがでしょうか？
Sarashina3 の利用申し込みはこちらから受け付けています。
SB Intuitions は今後も国産 LLM の開発・改善に継続して取り組んでいきます！
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み