#model distillation のAIニュース
4件の記事
安価・高速・文化的配慮あり、インドの規模向けに設計された Avataar の動画 AI
Avataar は、コスト削減と処理速度の向上に加え、インドの文化特性を反映した動画生成 AI を開発し、同国の大規模な需要に対応する製品を発表しました。
TechCrunch AI·6月12日·★★★★
Qwen-Image-Flash の紹介（26 分読）
Tianhe Wu 氏ら研究者が、画像生成モデル「Qwen-Image-Flash」を発表し、高速な画像処理を実現する技術の詳細を解説している。
TLDR AI·6月5日·★★★★
分布の視点から見るSFT、RL、およびオンポリシー蒸留
研究チームは、SFT（教師あり微調整）、RL（強化学習）、オンポリシー蒸留という異なる事後学習手法がモデルの確率分布に与える影響を分析しました。その結果、RL は既存能力の忘却リスクを抑えつつタスク性能を向上させる一方、SFT は外部データへの引き寄せにより既存能力を損なう恐れがあることが示されました。また、オンポリシー蒸留は教師モデルを上回る可能性があり、サンプリングデータの重要性が確認されました。
TLDR AI·5月11日·★★★★
ジェフ・ディーン深度インタビュー：1枚のメモがGeminiを生み出し、Google AIの反撃と10,000トークンの未来
Googleのチーフサイエンティストであるジェフ・ディーンが、蒸留技術の起源、1枚のメモでBrainとDeepMindの合併を促しGeminiを生み出した経緯、長いコンテキストやAIハードウェアのエネルギー効率、10,000トークン/秒の未来について語った。
宝玉的分享·2月17日·★★★★