#compression のAIニュース

最適なトークナイザーの発見（15 分読了）

TLDR AI は、先端的な AI モデルが整数列であるトークンで訓練される背景を説明し、特定の条件下で最適なトークナイザーを計算するアルゴリズムを発表した。