Thinking Machines が初のオープンモデル「Inkling」発表

記事の3ポイント

1. 1

   大規模オープンモデルの公開

   Thinking Machines は、9750億パラメータ（アクティブ410億）を持つ「Inkling」を全重み付きで公開し、45兆トークンで事前学習された。

2. 2

   マルチモーダルと長文コンテキスト

   本モデルはテキスト、画像、音声、動画をネイティブに処理でき、最大100万トークンのコンテキストウィンドウをサポートする。

3. 3

   軽量版の同時提供

   コストとレイテンシを削減した「Inkling-Small」も公開され、アクティブパラメータは120億で同様の学習レシピを採用している。