#mixture of experts のAIニュース
4件の記事
EMO：データからモジュール型専門家が自然発生的に出現する事前学習混合専門家モデル
Google が「EMO」と呼ぶ新しい混合専門家モデルを開発し、データからタスク固有の専門家グループが自律的に形成される仕組みを実現した。これにより、ユーザーは全モデル性能を維持しつつ、小規模な専門サブセットを選択して利用できるようになる。
Allen AI (AI2)·5月8日·★★★★
NVIDIA のマルチモーダル AI モデル「Nemotron 3 Nano Omni」が Amazon SageMaker JumpStart で利用可能に
NVIDIA は、動画・音声・画像・テキストを単一アーキテクチャで処理する新モデル「Nemotron 3 Nano Omni」を、Amazon SageMaker JumpStart で即日公開した。これにより企業は、複数の情報を一度に推論して知能の高いアプリケーションを構築できるようになる。
AWS Machine Learning Blog·4月29日·★★★★
Amazon SageMaker AIとAmazon BedrockでvLLMを使用して数十のファインチューニングモデルを効率的に提供
vLLMでMixture of ExpertsモデルのマルチLoRA推論を実装し、カーネルレベルの最適化を行い、効率的なモデル提供方法を解説。GPT-OSS 20Bを例に使用。
AWS Machine Learning Blog·2月26日·★★★★
注目すべき2024年のAI研究論文（第1部）
著者が2024年のAI研究のハイライト記事の草稿を完成させた。今年は特に生産的な年であり、専門家混合モデルから新しいLLMスケーリング則まで多様なトピックを扱うが、本記事ではLLM研究に焦点を当てている。
Sebastian Raschka·12月31日·★★★★