Amazon SageMaker AI で MLflow v3.10 がサポートされ、生成 AI 開発が効率化
AWS は Amazon SageMaker AI MLflow Apps に MLflow v3.10 を導入し、生成 AI アプリケーションの開発・評価・監視機能を強化した。
キーポイント
生成 AI 開発の最適化とトレーシング機能強化
MLflow v3.10 は複雑な多ターンワークフローやエージェント型ワークフローに対するトレーシングと観測性を大幅に改善し、主要 LLM フレームワークとの統合を強化しました。
体系的な生成 AI 評価機能の導入
'mlflow.genai.evaluation()' API を新設し、関連性、忠実度、正しさ、安全性などの組み込みメトリクスを用いて、開発から運用までのライフサイクル全体で品質をプログラム的に測定・維持できるようになりました。
コスト可視化と詳細な監視ダッシュボード
レイテンシ分布やリクエスト数、品質スコアに加え、トークン使用量に基づくコスト情報を自動表示する事前構築済みパフォーマンスダッシュボードが提供され、運用コストの管理が容易になりました。
影響分析・編集コメントを表示
影響分析
この発表は、生成 AI プロジェクトの複雑なトレーシングと評価プロセスを標準化し、開発者の負担を軽減する重要なステップです。特にコスト管理（トークン使用量）と品質保証（評価 API）が統合されたことで、大規模な生成 AI アプリケーションの実用化と運用監視のハードルが下がります。
編集コメント
生成 AI の開発現場では、モデルの挙動追跡やコスト管理が最大の課題の一つですが、MLflow v3.10 と SageMaker の連携により、これらの課題を体系的に解決できる道が開かれました。特に評価機能の自動化は、品質担保の標準化において大きな進歩と言えます。
本日、Amazon SageMaker AI MLflow Apps が MLflow バージョン 3.10 をサポートするようになったことを発表できることを嬉しく思います。これにより、生成 AI の開発と実験追跡のワークフローが強化され、よりスムーズになります。Amazon SageMaker AI MLflow Apps で確立された基盤の上に構築されるこの最新バージョンは、観測性 (observability)、評価 (evaluation)、および生成 AI 開発のための強力な新機能を導入し、データサイエンティストや ML エンジニアが実験から本番環境への AI イニシアチブを加速させるのを支援します。
この記事では、MLflow v3.10 の新機能について探求し、SageMaker AI MLflow Apps の始め方と、これらの強化機能を活用して生成 AI アプリケーションを構築する方法をご紹介します。
MLflow v3.10 の新機能
MLflow 3.10 は、MLflow 3.0 で確立されたトレーシングおよび観測可能性の機能を拡張する一連のターゲットを絞った改善を導入し、特に生成 AI アプリケーションの開発とエージェントワークフローに焦点を当てています。生成 AI の分野では、このリリースにより、複雑な多ターンワークフローに対するトレーシングが強化され、人気の高い LLM フレームワークやライブラリとの統合がより密接になり、生成 AI のインタラクションや呼び出しのログ記録が簡素化されました。評価機能は大幅にアップグレードされ、mlflow.genai.evaluation() API によって、開発から本番環境までのライフサイクル全体を通じて体系的に生成 AI の品質を測定・維持するためのプログラムインターフェースが提供されます。この API には、関連性、忠実度、正確性、安全性をカバーする組み込みメトリクスが含まれており、これらはすべて SageMaker AI ワークフローとシームレスに統合されます。
観測機能の改善には、より細粒度なトレースフィルタリングと検索、デバッグおよび根本原因分析のためのリッチなメタデータ収集が含まれます。また、手動でのチャート設定なしで、ワークロードレベルのメトリクス（レイテンシ分布、リクエスト数、品質スコア、トークン使用量）を一目で表示する事前構築されたパフォーマンスダッシュボードも用意されています。これにより、本番環境のワークロードを実行するチームは運用コストを明確に把握できます。さらに、MLflow ワークスペースは、チームやプロジェクト間で MLflow アーティファクトを整理するための構造化された手段を提供します（以下参照）。
これらの改善点は SageMaker AI と組み合わせることで、エンタープライズグレードの生成 AI インフラストラクチャを実現し、大規模な AI アプリケーションにおいて実験の追跡、生成 AI パフォーマンスの監視、ガバナンスの維持を容易にします。
SageMaker AI MLflow App v3.10 の始め方
新規ユーザーにとって、SageMaker AI MLflow App の作成は、SageMaker Studio コンソール、AWS CLI、または API を通じて簡単に行えます。デフォルト設定では自動的に MLflow 3.10 がプロビジョニングされるため、最新の機能に即座にアクセスできます。
Amazon SageMaker AI MLflow Apps を通じて、完全に管理された MLflow 3.10 の利用を開始するには、AWS Management Console、AWS Command Line Interface (AWS CLI)、または API をご利用ください。
前提条件
利用を開始するには、以下の準備が必要です：
- 課金機能が有効化された AWS アカウント
- Amazon SageMaker Studio AI ドメイン。ドメインの作成については、「Amazon SageMaker AI のセットアップガイド」をご参照ください。
次に、Amazon SageMaker AI Studio コンソール に移動し、MLflow アプリケーションを選択してください。
Create MLflow App (MLflow アプリの作成) を選択し、名前を入力してください。ここでは、SageMaker AI Studio ドメインのデフォルト設定を使用して、AWS Identity and Access Management (IAM) ロール と Amazon Simple Service (Amazon S3) バケットがすでに構成されています。必要に応じて、以下の例に示すようにAdvanced settings (詳細設定) でのみ変更を行えば十分です。
作成後、接続用の MLflow Amazon Resource Name (ARN) が発行されるため、 newly created SageMaker AI MLflow App を MLflow v3.10 と共に既存のコードで即座に使用を開始できます。あるいは、以下の手順に従ってご自身のコードを SageMaker AI MLflow Apps に接続することも可能です。
newly created SageMaker AI MLflow App で実験の追跡を開始するには、環境に MLflow と AWS の SageMaker MLflow plugin の両方をインストールする必要があります。AI ワークロードが SageMaker AI MLFlow Apps と共に動作する SageMaker Studio managed Jupyter Lab、SageMaker Studio Code Editor、ローカルの統合開発環境 (IDE)、またはその他のサポートされている環境を使用できます。
pip を使用して両方の Python パッケージをインストールするには:
pip install mlflow==3.10.1 sagemaker-mlflow==0.3.0
AI の実験、パラメータ、モデルを SageMaker AI MLflow Apps に直接接続してログ記録を開始するには、以下のコードスニペットを確認し、ワークロードの開始にご活用ください。なお、Amazon Resource Name (ARN) は、以下の SageMaker AI MLflow App の ARN に置き換えてください。
import mlflow
SageMaker MLflow App への接続
mlflow_app_arn = ""
mlflow.set_tracking_uri(mlflow_app_arn)
実験の設定
mlflow.set_experiment("your_genai_experiment")
既存のコードは、拡張された機能とともに引き続き動作します
新しい機能は自動的に利用可能になります
移行
SageMaker またはその他の場所でホストされている既存の MLflow Tracking Server (追跡サーバー) や App をお持ちの場合は、ブログ記事 Migrate MLflow tracking servers to Amazon SageMaker AI with serverless MLflow の手順に従って、新しい 3.10 アプリへ移行することができます。
結論
Amazon SageMaker AI MLflow Apps における MLflow v3.10 の導入は、エンタープライズ AI 開発をより効率的で、観測可能かつ管理しやすくするための重要な一歩です。Amazon SageMaker AI Studio を訪問して最初の MLflow App を作成することで、すぐに Amazon SageMaker AI MLflow Apps の利用を開始できます。
新しい MLflow v3.10 は、Amazon SageMaker AI serverless model customization および SageMaker Unified Studio においてもサポートされており、追加のワークフローの柔軟性を提供します。
AWS re:Post for SageMaker を通じて、または通常の AWS サポート窓口を通じて、フィードバックをお寄せください。
著者について
image
Sandeep Raveesh
Sandeep Raveesh は AWS の GenAI GTM Specialist Solutions Architect です。彼は顧客と連携し、LLM（大規模言語モデル）のトレーニング、推論、および観測性（observability）に取り組んでいます。生成 AI 分野における業界課題の解決や製品開発に注力し、AWS の構築を支援しています。生成 AI ソリューションについて詳しく知りたい場合は、LinkedIn で Sandeep に接続してください。
image
Dana Benson
Dana Benson は、SageMaker AI ML および LLM 観測性（observability）を担当するソフトウェア開発マネージャーです。AWS 入社前は、Alexa のスマートホーム機能の開発に従事していました。
image
Ruidi Peng
Ruidi Peng は AWS のソフトウェア開発エンジニアです。Amazon SageMaker MLflow チームに所属し、AI/ML および大規模言語モデル（LLM）の観測可能性（observability）に取り組んでいます。Ruidi は、顧客が機械学習ワークロードを監視し、洞察を得られるようスケーラブルなインフラストラクチャを構築することに情熱を注いでいます。趣味はハイキングや屋外での探検です。
原文を表示
Today, we’re excited to announce that Amazon SageMaker AI MLflow Apps now support MLflow version 3.10, bringing enhanced capabilities for generative AI development and streamlined experiment tracking to your generative AI workflows. Building on the foundations established with Amazon SageMaker AI MLflow Apps, this latest version introduces powerful new features for observability, evaluation, and generative AI development that help data scientists and ML engineers accelerate their AI initiatives from experimentation to production.
In this post, we’ll explore what’s new in MLflow v3.10, walk you through getting started with SageMaker AI MLflow Apps, and how to leverage these enhancements to build generative AI applications.
What’s new in MLflow v3.10
MLflow 3.10 introduces a set of targeted improvements to the MLflow ecosystem that extend the tracing and observability capabilities established in MLflow 3.0, with a particular focus on generative AI application development and agentic workflows. On the generative AI front, this release delivers improved tracing for complex multi-turn workflows, tighter integration with popular LLM frameworks and libraries, and streamlined logging for generative AI interactions and invocations. Evaluation receives a substantial upgrade through the mlflow.genai.evaluation() API, which provides a programmatic interface for systematically measuring and maintaining generative AI quality across the development-to-production lifecycle with built-in metrics covering relevance, faithfulness, correctness, and safety—all of which integrate seamlessly with SageMaker AI workflows.
Observability improvements include more granular trace filtering and search, richer metadata capture for debugging and root-cause analysis, and pre-built performance dashboards that surface workload level metrics—latency distributions, request counts, quality scores, and token usage—at a glance without manual chart configuration, giving teams running production workloads clear visibility into operational costs while MLflow workspaces provide a structured way to organize MLflow artifacts across teams and projects, as shown below.
These improvements coupled with SageMaker AI provide an enterprise-grade generative AI infrastructure, making it straightforward to track experiments, monitor generative AI performance, and maintain governance across AI applications at scale.
Getting started with SageMaker AI MLflow App v3.10
For new users, creating a SageMaker AI MLflow App is straightforward through the SageMaker Studio console, AWS CLI, or API. The default configuration automatically provisions MLflow 3.10, giving you immediate access to all the latest capabilities.
You can get started with fully managed MLflow 3.10 on Amazon SageMaker AI MLflow Apps through the AWS Management Console, AWS Command Line Interface (AWS CLI), or API.
Prerequisites
To get started, you need:
- An AWS account with billing enabled
- An Amazon SageMaker Studio AI domain. To create a domain, refer to Guide to getting set up with Amazon SageMaker AI.
Next, navigate to Amazon SageMaker AI Studio console and select the MLflow application.
Choose Create MLflow App and enter a name. Here, we have both an AWS Identity and Access Management (IAM) role and Amazon Simple Service (Amazon S3) bucket already configured for you using the SageMaker AI Studio domain’s defaults. And you only need to modify them in the Advanced settings if needed, as shown below.
Once created, you receive an MLflow Amazon Resource Name (ARN) for connecting and you can immediately start using the newly created SageMaker AI MLflow App with MLflow v3.10 along with your existing code or you can follow along below to connect your code with SageMaker AI MLflow Apps.
To begin tracking your experiments with your newly created SageMaker AI MLflow App, you need to install both MLflowand the AWS SageMaker MLflow plugin in your environment. You can use SageMaker Studio managed Jupyter Lab, SageMaker Studio Code Editor, a local integrated development environment (IDE), or other supported environment where your AI workloads operate with SageMaker AI MLFlow Apps.
To install both the Python packages using pip:
pip install mlflow==3.10.1 sagemaker-mlflow==0.3.0
To connect and start logging your AI experiments, parameters, and models directly to SageMaker AI MLflow Apps, see the code snippet below to get started with your workload. Note, replace the Amazon Resource Name (ARN) with your SageMaker AI MLflow App ARN below.
import mlflow
# Connect to your SageMaker MLflow App
mlflow_app_arn = ""
mlflow.set_tracking_uri(mlflow_app_arn)
# Set your experiment
mlflow.set_experiment("your_genai_experiment")
# Your existing code continues to work with enhanced capabilities
# New features are automatically availableMigration
If you have an existing MLflow Tracking Server or App hosted on SageMaker or elsewhere you can migrate to a new 3.10 app by following the instructions in the blog post Migrate MLflow tracking servers to Amazon SageMaker AI with serverless MLflow.
Conclusion
The introduction of MLflow v3.10 in Amazon SageMaker AI MLflow Apps represents a significant step forward in making enterprise AI development more efficient, observable, and manageable. Get started with by Amazon SageMaker AI MLflow Apps by visiting Amazon SageMaker AI Studio and creating your first MLflow App.
The new MLflow v3.10 is also supported in Amazon SageMaker AI serverless model customization and SageMaker Unified Studio, and for additional workflow flexibility.
Share your feedback with us through AWS re:Post for SageMaker or your usual AWS Support contacts.
About the authors
Sandeep Raveesh
Sandeep Raveesh is a GenAI GTM Specialist Solutions Architect at AWS. He works with customers through their LLM training, inference, and observability. He focuses on product development helping AWS build and solve industry challenges in the generative AI space. You can connect with Sandeep on LinkedIn to learn about generative AI solutions.
Dana Benson
Dana Benson is a Software Development Manager working in SageMaker AI ML and LLM observability. Prior to joining AWS, Dana developed Smart Home behaviors for Alexa.
Ruidi Peng
Ruidi Peng is a Software Development Engineer at AWS. He works on the Amazon SageMaker MLflow team, focusing on AI/ML and LLM observability. Ruidi is passionate about building scalable infrastructure that helps customers monitor and gain insights into their machine learning workloads. In his free time, he enjoys going for hikes and exploring the outdoors.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み