Together AI が新モデル「Inkling」を発表

Thinking Machines Lab は本日、トークン効率に優れた推論能力とネイティブなマルチモーダル理解、そして幅広いタスクへの対応力を備えた新しいモデル「Inkling」を公開しました。Together AI は、この Inkling を開発者向け推論プラットフォームで提供できるよう、Thinking Machines Lab チームと協力することを嬉しく思います。

Inkling はテキスト、画像、音声の入力を受け付け、統一されたデコーダアーキテクチャを通じてテキスト出力を生成します。必要に応じてモデルが適用する推論の量を調整できる「制御可能な推論コスト」をサポートしており、開発者は各タスクの要件に合わせて最適化できます。また、学習後のチューニングでは、科学的推論、コーディング、エージェントワークフロー、予測、そして信頼性の高い予測など、多様な能力をカバーしています。

Inkling は、従来のデコーダー専用トランスフォーマーを超え、クエリ条件付きの相対アテンションやモデル全体にわたる短い因果畳み込み、共有エキスパートシンクを備えたエキスパート混合アーキテクチャなど、いくつかの構造的な革新を導入しています。これらの要素は、効率的なモデル実行を維持しつつ、強力な推論能力とマルチモーダル機能を支えるために設計されています。

大規模かつ効率的に提供するのは容易ではありませんが、これは Together AI の推論スタックが最適化のために構築されたまさにその種のワークロードです。そのため、本番環境での推論においてモデルの効率性向上を実感することができます。Together AI 上では、Inkling はクエリ条件付き相対アテンションメカニズムを本番環境で効率的にサポートするために設計された、最適化された FlashAttention-4 ベースのアテンションカーネル を使用して動作します。

Thinking Machines Lab チームのリリースをお祝いします。

Inkling の概要

• トークン効率に優れた制御可能な推論：開発者は、異なるワークロードに応じて、推論の深さ、トークン使用量、レイテンシのバランスを調整できます。
• ネイティブなマルチモーダル入力：Inkling は音声、画像、テキストの入力を単一のモデルで受け付け、テキスト出力を生成します。
• 広範なタスク対応力：推論、コーディング、エージェント処理、予測、そして確率付き予測など、多岐にわたるタスクでポストトレーニングが実施されています。
• 差別化されたアーキテクチャ：グループドクエリアテンション、学習済み相対位置バイアス、短距離因果畳み込み、共有シンク MoE ルーティングを組み合わせました。
• 強力な予備評価：最高レベルの推論設定において、科学推論、数学、コーディング、エージェント処理、ビジョン、音声の各ベンチマークで優れた結果を示しています。
• Together AI で利用可能：サーバーレス環境、100 万トークンのコンテキストウィンドウ、OpenAI 互換 API を通じて開発者がアクセスできます。

難易度の高い推論タスクでの強力なパフォーマンス

現在の Inkling チェックポイントの予備評価では、大学院レベルの科学推論や競技数学において顕著な成果が確認されています：

この結果から、Inkling の特徴的な一面である「汎用性」が浮かび上がります。知識を要する推論、数学的課題の解決、ソフトウェアエンジニアリング、ブラウザベースのタスク、文書の視覚的理解、音声理解など、多岐にわたる領域で同様のモデルが強力なパフォーマンスを発揮します。

Inkling はさらに、予測や確率補正（キャリブレーション）を目的としたポストトレーニングも実施されています。これにより、従来の質問応答だけでなく、不確実性を表現し、信頼性の高い推定値を生成することが求められる用途にも活用範囲が広がります。

Together AI で Inkling を動かす理由

Day 0 アクセスでセットアップ不要: Inkling は今日から Together AI Serverless で利用可能です。リソース待ちの必要も、インフラのプロビジョニングも、GPU の管理も一切不要です。

多様な入力を一つのエンドポイントで: Inkling はネイティブにテキスト、画像、音声をすべて受け付けます。別々のパイプラインや前処理サービスを用意する必要はなく、Together AI Serverless が単一の API 呼び出しでこれら三つの入力タイプを全て処理します。これは、レイテンシ、速度、運用の安定性というトレードオフを解消する Together の統合ソリューションとして非常に強力です。

インフラ管理なしで推論コストを制御可能: Inkling には推論に割くリソース（effort）を調整できる設定があります。これにより、推論の深さ、レイテンシ、1 リクエストあたりのトークン使用量をトレードオフできます。Together AI では、この調整ダイヤルを API を通じて直接操作できるため、コストと速度のチューニングはインフラレベルではなく、リクエスト単位で実現可能です。

推論とマルチモーダル性を支える新アーキテクチャ

「Inkling」は、デコーダー専用型の混合専門家（MoE）モデルです。総パラメータ数は975B、1 トークンあたりのアクティブ・パラメータ数は40B、そしてコンテキストウィンドウは1M トークンに達します。

RoPE や絶対位置埋め込みを採用するのではなく、Inkling は学習済みのクエリ条件付き相対バイアスを通じて、トークンの位置情報を直接アテンションに組み込んでいます。各アテンション層では、従来のクエリとキーの類似度スコアに加え、トークン間の相対距離に基づく追加スコアを組み合わせます。これにより、モデルはトークンの順序や近傍の文脈を柔軟に表現できるメカニズムを獲得しました。

Inkling はネットワーク全体を通じて、スライディングウィンドウ型と完全因果型の両方のアテンションを混合して使用します。標準的なアーキテクチャでは、5 層のローカル・アテンション層の後に 1 層のフル・アテンション層を配置しています。これにより、ほとんどの層は直近の文脈に効率的に焦点を当てつつ、定期的に全体シーケンスにわたる情報を統合することが可能になります。

また、本モデルではsconvという軽量なチャネル単位の因果畳み込みも導入されています。これは 4 トークンの受容野を持つもので、アテンション前のキーとバリューストリームに加え、アテンション層およびフィードフォワードサブレイヤーの出力にも適用されます。これらの短い畳み込み演算により、各層は別の完全なアテンション操作のコストをかけずに、隣接するトークン間での情報結合を可能にする追加メカニズムを得ています。

Inkling の順伝播層は、混合専門家（MoE）アーキテクチャを採用しており、その特徴として「共有専門家シンク」を備えています。トークンごとにルーターが少数のルーティングされた専門家を割り当てる一方、共有専門家にも重みを付与します。

従来の共有専門家を持つ MoE 設計とは異なり、Inkling は共有専門家と選択されたルーティング専門家双方を同時に正規化します。これにより、各トークンにおいて共有パスが動的に混合重みの獲得を競い合うことが可能になります。

Inkling は画像や音声の入力もサポートしています。軽量な埋め込みタワー（embedding towers）が、画像の断片や量子化された音声特徴量を、テキストトークンと同じ幅を持つ埋め込みベクトルに変換します。これらの埋め込みはモデルの入力シーケンスに直接挿入され、同じデコーダスタックによって処理されます。

統一されたテキスト、画像、音声の入力

Inkling はテキスト、画像、音声の 3 つのモダリティを受け付けます。これらすべての入力モダリティは同一のデコーダスタックで処理され、最終的にテキストが生成出力されます。

軽量な埋め込みタワーが、画像の断片や量子化された音声特徴量を、テキストトークンの埋め込みと同じ幅を持つ表現に変換します。これらの表現はモデルの入力シーケンスに直接組み込まれるため、言語モデルはテキスト、視覚情報、音声情報を統合的に推論することが可能になります。

この統一設計により、ビジュアルクエスチョンアンスワー（VQA）、ドキュメント分析、音声理解、マルチモーダルエージェントの構築、あるいは 1 つの会話内で複数の入力タイプを組み合わせたワークフローなど、多様なアプリケーションが可能になります。

Together AI Serverless で Inkling の開発を始める

Inkling は、本日より Together AI Serverless を通じて利用可能になりました。

開発者は以下のことができます：

• 単一のモデルでテキスト、画像、音声アプリケーションを構築する
• 初期の実験段階から、専用生産環境へのスケーリングまで対応する

from together import Together

client = Together()

response = client.chat.completions.create(
    model="[INKLING MODEL ID]",
    messages=[
        {
            "role": "user",
            "content": "Analyze this problem carefully and provide the answer."
        }
    ],
    # Replace with the final supported API parameter.
    reasoning_effort="[SUPPORTED VALUE]",
)

print(response.choices[0].message.content)