Amazon Nova Act を用いた UX テストの拡張：ユーザーフロー分析の新アプローチ

ユーザーエクスペリエンス（UX）テストには、組織がプラットフォーム上のユーザー体験を改善する能力を制限する複数の課題があります。UX テストは、製品の見つけ方やアカウント作成、購入完了など、意図したタスクを完了するためにユーザーがデジタルインターフェースをどれだけ容易かつ効果的にナビゲートできるかを評価します。

従来の品質保証（QA）テストが機能バグの特定に焦点を当てるのに対し、UX テストはユーザーフローを検査し、ナビゲーション上の摩擦やユーザー満足度に影響を与えるインターフェース要素を明らかにします。手動テストではスケーラビリティに限界があります。テスターは限られた数のユーザー経路しか評価できず、多くの場合クリティカルパスに集中するため、エッジケースが未検証のまま残ってしまいます。

さらに、従来の自動化ツールはハードコードされたスクリプトに依存しており、インターフェースが変更されるたびに壊れてしまうため、メンテナンス負荷が生じ、テストカバレッジの拡大を阻害します。その一方で、多様なユーザー経路、デバイス種別、インタラクションパターンにわたる包括的なテストは、ほとんどの組織にとってコストと時間の面で現実的ではありません。

Amazon Nova Act は、これらの課題に対する新たなアプローチを提供します。Nova Act は、視覚と行動を通じて Web ブラウザのインターフェースを理解し、操作できる多モーダル基盤モデルです。

従来のスクリプトツールが事前に定義された要素セレクタに依存するのに対し、Nova Act は画像情報を処理してウェブサイトを知的にナビゲートします。Web ページのスクリーンショットを、人間テスターと同じように分析するのです。これにより、Nova Act はインターフェースを移動する際の人間の推論を模倣できるため、自動化された UX テストの強力なツールとなります。

このモデルはスクリーンショットを検査してページレイアウトを理解し、視覚的な手がかりからインタラクティブな要素を特定し、次に取るべきアクションについて文脈に応じた判断を下します。このような視覚的理解により、Nova Act はインターフェースの変更に対応でき、Selenium や Playwright といった従来の自動化ツールでは処理が困難な動的コンテンツも扱えます。

Amazon Nova Act が残す推論プロセスや思考の連鎖（Chain of Thought）ログは、Web サイトの設計や使いやすさに関する貴重な洞察をもたらします。

生成 AI を活用することで、包括的なユーザーフローテストを並列実行し、大規模なスケールでの検証が可能になります。本ソリューションでは、ドキュメントから自動的にテストシナリオを生成し、Nova Act のインテリジェントなナビゲーション機能を用いて大規模なユーザーフローを実行、さらに自動分析を通じて実用的な洞察を提供する、クラウド展開型の UX テストプラットフォームの構築方法を示します。

ソリューション概要

以下の図は、ドキュメント処理とフロー発見から始まり、最終的な分析に至るまでの 4 つの部分で構成されるソリューションを強調しています。**

本ソリューションは、以下のレイヤーで構成されています。

ドキュメント処理層** – 基盤となるこのレイヤーではテストシナリオの生成を担当します：

• Amazon Simple Storage Service（Amazon S3）には、サイトのドキュメント、ユーザーガイド、フローテスト仕様書が保存されます。これらの非構造化データは、生成 AI を活用したフロー発見エンジンに対して、サイトの内容やユーザーに想定される操作方法に関する文脈情報を提供します。

• これらのドキュメントは、意味的な類似性検索を行うための Amazon Bedrock Knowledge Base に取り込まれます。

AWS Lambda は Amazon Bedrock 内の Claude 4.5 Sonnet を活用し、ユーザーフローを包括的なテストシナリオへと変換します。このシステムは、検索機能を使ってコーヒーメーカーを購入する、または設定メニューから新しいクレジットカードをアカウントに追加するなど、一連のタスクリストを受け取ります。各タスクに対して、サイト上でその作業を完了する方法を理解するために、ナレッジベースから関連情報を取得します。その後、Claude が Amazon Nova Act によるテストのための段階的なインタラクションパスとなる、詳細なテスト手順を複数の粒度レベルで生成します。

オーケストレーション層 – オーケストレーション層は、大規模なテスト実行の管理を担当します：

• Amazon DynamoDB は、メタデータと実行パラメータを含む生成されたテストフローを保存します。

• Amazon DynamoDB Streams が、新しいフローが利用可能になった際にバッチ処理を開始します。

• AWS Lambda 関数がテスト実行の調整を行い、並列処理のために Amazon Elastic Container Service（Amazon ECS）タスクを起動します。

実行層 – 実行層は、インテリジェントなユーザーフローテストを実行します：

• Amazon ECS と AWS Fargate は、並列テスト実行のためのスケーラブルでサーバーレスのコンピューティングを提供します。

• Amazon Nova Act エージェントが、並列ブラウザセッション内でユーザーフローを実行します。

• リアルタイムのインタラクションログは、分析用の詳細な行動データを捕捉します。

分析レイヤー – 分析レイヤーはテスト結果をメトリクスに変換します。

• Amazon S3 は、詳細な実行チェーン・オブ・ソート思考（Chain of Thought）のログ、スクリーンショット、行動データを保存します。

• AWS Lambda は Amazon Bedrock を使用して結果を処理し、フローの実行パターンを分析し、ユーザビリティスコアを計算し、異なる指示粒度レベルにわたる摩擦点を特定します。

• Amazon DynamoDB には分析結果が保存されます。

• ダッシュボードは React アプリケーションで表示されます。

このアーキテクチャでは、3 つの重要な生成 AI 機能を活用しています。1 つ目は、Amazon Bedrock Knowledge Base を使用して非構造化ドキュメントからインテリジェントなフローを自動的に発見するオプション機能です。2 つ目は、Nova Act のコンピュータ操作（Computer Use）による Web サイトテストです。3 つ目は、UX パターンや摩擦点を特定し、戦略的な意思決定に役立てるための自動化された結果分析機能です。

セットアップガイド

ソリューションを展開する前に、以下の準備を確認してください。

• Node.js v20 以降。

• npm v10.8 以降。

• AWS アカウント。

• AWS Cloud Development Kit (AWS CDK) のセットアップ（前提条件とインストール手順については、AWS CDK の始め方を参照）。

デプロイプロセス

完全なソリューションとデプロイ手順は、aws-samples GitHub リポジトリ で公開されています。

このソリューションでは AWS CDK を用いてインフラのデプロイを自動化します：

git clone git@github.com:aws-samples/sample-nova-act-ux-testing.git
cd nova-act-ux-testing
cp template.env .env
# Add your Nova Act API key in .env
# Deploy the solution
./deploy.sh

スタックのデプロイ完了時に出力される結果は、後の手順で必要になるため必ず確認してください。

ソリューションの利用方法

デプロイ後、テストフローの作成にはいくつかの方法があります。ドキュメントからの自動生成、手動でのフロー定義、あるいはその両方を組み合わせたハイブリッドアプローチです。ここでは、既存のドキュメントから基本カバレッジを確立するために自動生成を活用し、特定のテストケースや新機能、精密な制御が必要なエッジケースには手動でフローを追加するハイブリッドアプローチをおすすめします。

オプション 1：ドキュメントからの自動フロー生成

本ソリューションは、Lambda 関数と Claude 4.5 Sonnet を連携させることで、ユーザーのタスクを詳細なテストワークフローに変換します。このシステムを効果的に活用するには、主要なユーザーフローを特定し、入力として提供してください。その際、同じ目標を達成するための複数の方法を必ず含めることが重要です。

例えば、コーヒーメーカーの購入が重要なユーザー旅程である場合、検索に基づくアプローチとメニューからのナビゲーションという 2 つの方法を別々のタスクとして登録します。システムは各タスクを処理する際にナレッジベースを参照し、ウェブサイトの具体的な実装内容を学習します。これにより、独自のサイトアーキテクチャ内でこれらのアクションがどのように実行されるかを理解します。

その後、システムは高レベルのユーザー目標から、細かな手順まで 3 つの詳細度レベルでテスト指示を生成します。基本的な指示が「評価の高いステンレス製のコーヒーメーカーを購入する」といった内容である場合、詳細版ではメニューから家電製品を選択し、素材や評価に関するフィルターを適用し、チェックアウトシーケンスを完了するという具体的なアクションに展開されます。

詳しくは lambda/flow_discovery/index.py をご覧ください。

• ドキュメントのアップロード: アプリケーションのドキュメント、ユーザーガイド、フロー仕様書を指定された S3 バケットに配置してください。S3 バケット URL は CDK スタックのデプロイ出力から確認できます。システムは、ユーザーマニュアルやガイド、機能仕様書、一般的なユーザー旅程に関するドキュメント、既存のテストケースドキュメントなど、さまざまな形式のドキュメントをサポートしています。

• タスク仕様のアップロード: tasks.json ファイルを、uxflowteststack-tasksbucket で始まる S3 バケットに配置してください。期待される JSON 形式についてはプロジェクトの README を参照してください。これによりフローの検出がトリガーされます。

• 処理完了まで待機: アップロード後、処理は非同期で実行されます。フロー検出コンポーネントがドキュメントを解析し、潜在的なユーザーフローを特定して実行可能なテストシナリオに変換します。処理状況を確認するには、Lambda の処理ログを参照してください。

• 生成されたフローの確認: 生成されたフローは DynamoDB テーブルに表示され、処理完了後に実行可能になります。

オプション 2: フローの手動定義

ドキュメントに載っていない特定のフローや、テストシナリオを精密に制御したい場合は、DynamoDB テーブルに直接カスタムフローを挿入して手動で定義できます。テーブル名はスタックの出力情報から確認してください。

このアプローチは、特定のエッジケースの検証や、ドキュメントが整備される前の新機能のテスト、あるいは特定のユーザーコンテキストやデータが必要なフローのテストに適しています。必要な JSON スキーマについては README を参照してください。

主要な構成要素:

• flow_id: 追跡および結果の相関付けを行うための一意の識別子。
• starting_url: テストフローが開始するウェブページの URL。
• instructions: Nova Act に実行させる自然言語によるステップの配列。

• method_name：タスク完了のための異なる手法を表します。例えば、検索機能を利用する場合とナビゲーションを利用する場合などが該当します。

gran_n：指示の粒度を表す変数で、検索機能を使って「評価の高いステンレス製のトースターを購入する」のような高レベルな指示から、手順を細かく記述したバージョンまで多様なレベルが存在します。

ソリューションのカスタマイズ

ユーザー認証が必要なアプリケーションでは、テスト実行間でログイン状態を維持するために、永続的なブラウザセッションを設定できます。これにより、各テスト実行ごとに再認証する必要がなくなり、認証済みユーザーのフローをテストできるようになります。

フォーム送信の検証や動的コンテンツのキャプチャなど、Web ページから構造化データを抽出する必要がある場合、Nova Act は信頼性の高いデータ抽出のために Pydantic スキーマをサポートしています。また、ファイル操作も handled するため、アップロードワークフローのテストやダウンロードされたコンテンツの検証が可能です。

永続的な認証の設定例を以下に示します。Amazon ECS で Nova Act フローを実行する Python コードは、ecs/ecs_act_headless/app.py で見つけて修正できます。

with NovaAct(
    starting_page="https://yourapp.com/purchase",
    user_data_dir="/tmp/authenticated-session",
    clone_user_data_dir=False
) as nova:
    # Your authenticated test flows run here
    nova.act("search for bananas")
    nova.act("purchase 2 bunches")

Pydantic スキーマを用いた構造化データ抽出、ファイルアップロード/ダウンロード処理、認証設定の詳細な実装については、Nova Act SDK ドキュメント をご参照ください。

実行結果

本ソリューションは、各テスト実行ごとに以下の結果を生成し、Amazon S3 に保存します。生データは flow-test-results-bucket で確認できます。

• サマリーメトリクス (results_summary.json)：

各テスト実行では、フローの実行に関する高レベルな指標を含むサマリーファイルが生成されます。このサマリーには、各ステップの所要時間、必要なアクション数、成功・失敗のステータス、および抽出されたデータが含まれます。

{
    "flow_id": "ecommerce_purchase_flow",
    "batch_id": "batch_12345",
    "timestamp": "2026-07-01T20:50:01.811454",
    "results": [
        {
            "instruction": "search for desk lamp",
            "response": null,
            "metadata": {
                "num_steps": 3,
                "duration": 17.57,
                "success": true
            }
        },
        {
            "instruction": "select the first result",
            "response": null,
            "metadata": {
                "num_steps": 2,
                "duration": 11.1,
                "success": true
            }
        },
        etc...
    ]
}

• 詳細なインタラクションログ: Amazon Nova Act SDK は、Nova Act が観測した内容のスクリーンショット、意思決定プロセスと推論、そして実行された具体的なアクション（クリック、スクロール、フォーム入力など）を示す詳細な HTML レポートを生成します。

##

分析手法

Lambda 関数は、生の実行結果を処理し、異なる抽象化レベルにわたって指標を計算します。これにより、単純なカウント値、インフラ調整後のシグナル、そして複合的な品質スコアが算出されます。これらの指標は、多様な対象者やユースケースに対応して構築された React ダッシュボードの基盤となっています。

ダッシュボードは複数のタブで構成されています。例えば、概要（Overview）タブではテスト実行全体の健全性を示し、インフラ側の障害とエージェント自体の障害を明確に区別したエラー調整済みパネルも用意されています。パフォーマンスと効率（Performance & Efficiency）タブでは、ステップおよびフローのタイミングを粒度レベルごとに分解して表示します。これにより、指示の詳細度がテスト対象のユーザー体験の質にどう影響するかを確認できます。

以下のスクリーンショットは、いくつかの主要な指標を示しています。

クリーンアップ

本ソリューションをクリーンアップするには、以下のコマンドを実行してください。

cdk destroy

結論

従来の UX テストでは、多くの時間とリソースが必要となり、チームがインターフェースを十分に検証できる範囲に限界が生じていました。Amazon Nova Act のソリューションは、大規模なテスト実行の自動化によってこれらの課題に対応します。

Nova Act が持つインテリジェントなブラウザ操作機能と、スケーラブルなクラウド基盤を組み合わせることで、UX テストにおける新たなアプローチが実現しました。この手法により、包括的なフローテストやインターフェース検証、データ駆動型の UX 判断を大規模に実施することが現実のものとなります。チームはより多くのユーザーシナリオを検証し、問題を早期に発見して、ユーザー体験の改善サイクルを加速させることが可能になります。

チームは、リリース前に新機能やインターフェースの変更を徹底的に検証するために、Nova Act の自動化を活用できます。限られたサンプルでのテストに頼るのではなく、さまざまなデバイスやシナリオにおけるユーザーの全体フローを検証することが可能です。この包括的なテストアプローチにより、UX 上の問題を早期に発見できるだけでなく、手動での検証にかかるコストと時間を大幅に削減できます。

さらに詳しく知るには

詳細は以下のリソースをご参照ください：

• Amazon Nova Act の紹介

• Amazon Nova Act ホームページ

• Amazon Nova Act Python SDK

• Amazon Nova Act SDK（プレビュー）：ブラウザ自動化エージェントの生産環境への道

執筆者について

Reilly Manton

Reilly はニューヨークを拠点とする AWS Telecoms のソリューションアーキテクトで、マルチモーダル生成 AI やエージェントシステムが専門です。顧客の支援に注力し、