字节跳动、最大10兆パラメータのAIモデルを開発中と報告

記事の3ポイント

1. 1

   超大規模モデルの開発計画

   Bytedance は Financial Times の報道によると、10兆パラメータを持つ AI モデルを訓練中であり、これは既存の中国最大モデルである Moonshot の Kimi K3 を上回る規模となる。

2. 2

   独自学習アプローチの採用

   内部関係者によると、Bytedance は過去 1 年以上にわたり他社のモデル出力を用いた蒸留（distillation）手法を避け、独自のデータとトレーニング方法で学習を進めている。

3. 3

   世界最高峰を目指す経営方針

   創業者の張一鳴は Seed チームに対して長期的に世界をリードするモデル能力の実現を指示しており、xAI の Elon Musk も同規模のモデル開発を進めていると報じられている。