ページを読み込み中…
ページを読み込み中…
6件の記事
先端的 AI の隠された思考を抽出する手法が発見され、中国製モデルが米国モデルから推論情報を蒸留した可能性が示唆された。
Avataar は、コスト削減と処理速度の向上に加え、インドの文化特性を反映した動画生成 AI を開発し、同国の大規模な需要に対応する製品を発表しました。
Tianhe Wu 氏ら研究者が、画像生成モデル「Qwen-Image-Flash」を発表し、高速な画像処理を実現する技術の詳細を解説している。
LiteFrame という技術が、動画処理を行う言語モデルの計算効率を大幅に向上させる手法を発表した。これにより、より高速な動画解析が可能になる見込みである。
研究チームは、SFT（教師あり微調整）、RL（強化学習）、オンポリシー蒸留という異なる事後学習手法がモデルの確率分布に与える影響を分析しました。その結果、RL は既存能力の忘却リスクを抑えつつタスク性能を向上させる一方、SFT は外部データへの引き寄せにより既存能力を損なう恐れがあることが示されました。また、オンポリシー蒸留は教師モデルを上回る可能性があり、サンプリングデータの重要性が確認されました。
Googleのチーフサイエンティストであるジェフ・ディーンが、蒸留技術の起源、1枚のメモでBrainとDeepMindの合併を促しGeminiを生み出した経緯、長いコンテキストやAIハードウェアのエネルギー効率、10,000トークン/秒の未来について語った。