#知識蒸留のAIニュース

4件の記事

中国が「Mythos」にアクセスした可能性、ホワイトハウスが輸出規制の理由に

セマフォールの新報告によると、ホワイトハウスはAnthropic社の生成AIモデル「Mythos」が中国関連グループにアクセスされた恐れから輸出制限を決定した。もし中国政府が同モデルにアクセスしていれば、深刻な国家安全保障上の懸念が生じるという。

Google の研究者らは、モデルが短期間の文脈内知識を長期パラメータに統合する新手法「Sleep」を提案した。この手法は蒸留と再生成を用い、さらに強化学習による「夢見」段階で合成カリキュラムを生成して自己改善を図る。

AppleはGoogleのGeminiにアクセスし、蒸留技術でSiriやデバイス向けの小型AIモデルを開発している。中国AI企業が秘密裏に行っているとされる手法を採用している。

MIT CSAILの研究者が、ニューラルネットワーク間の短期間の調整（ガイダンス）により、従来「訓練不可能」とされたアーキテクチャでも現代的なタスクの性能が大幅に向上することを実証した。