Hugging Face の transformers ライブラリと smolLM3 で小型言語モデルを構築

記事の3ポイント

1. 1

   SmolLM3 の技術的特徴と性能

   同社は SmolLM3 を 11.2 トリリオントークンのデータで訓練し、70B モデルのタスクを 3B モデルで凌駕する性能を実現した。

2. 2

   コストと効率性の向上

   3B モデルは単一のコンシューマー GPU で動作可能であり、推論コストを劇的に削減しながら高速な応答を提供する。

3. 3

   高度な機能の搭載

   128k のコンテキストウィンドウ、デュアルモード推論、ネイティブツール呼び出し機能を備え、多言語サポートも強化されている。