OneAdvanced、UK主権 AWS で 50 以上の AI エージェントを展開
本文の状態
日本語全文を表示中
詳細モードで約20分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
AWS Machine Learning Blog
顧客データの英国国外流出を防ぐため、OneAdvanced は managed services では利用不可だった Llama 4 モデルを AWS インフラ上でセルフホストする独自の道を選んだ。
Continue in AI NEW LAB
このニュースを、実務の判断につなげる
AI NEW LABで、試したことや先に確認したい条件を共有できます。まずはログインなしで読めます。
AI NEW LABで論点を見るAI深層分析を開く2026年8月12日 23:13
AI深層分析
キーポイント
データ主権とモデルホスティングの課題解決
顧客データの英国国外流出を防ぐため、OneAdvanced は managed services では利用不可だった Llama 4 モデルを AWS インフラ上でセルフホストする独自の道を選んだ。
具体的な技術スタックの構成
Amazon SageMaker AI を基盤とし、pgvector 拡張機能を備えた Amazon Aurora PostgreSQL と連携した RAG パイプラインを構築している。
大規模なエージェントオーケストレーション
Strands Agents SDK を活用して 50 以上の専門化された AI エージェントを運用し、Amazon ECS でツールレイヤーを実行するアーキテクチャを実現した。
規制産業における信頼性の確保
医療や法務などの規制業界向けに、データの所在とアクセス権限を明確にし、英国の法的枠組み内での完全なコンプライアンスと信頼性を提供している。
英国主権要件への対応とアーキテクチャ
Llama 4 Maverick と Llama Guard 4 を UK リージョンの AWS で自己ホストし、ISO 42001 認証に対応する完全なデータ主権を確保した。
重要な引用
"Data sovereignty, particularly in the UK, is a hard requirement for many of our customers..."
"They need to know exactly where their data is, who has access to it, and that it resides within the UK's legal and regulatory framework to support total compliance and trust."
This architecture enabled OneAdvanced to achieve full UK data sovereignty and rapid agent deployment, supporting their ISO 42001 certification for AI governance while maintaining complete control over their model serving infrastructure.
Llama Guard 4 checks user inputs for harmful content before the request reaches the main model.
編集コメントを表示
編集コメント
Llama 4 という最新モデルの名称が記事内で言及されている点は注目される。OneAdvanced の事例は、規制対応を理由としたオンプレミスやセルフホストへの回帰が、必ずしも技術的後退ではなく、高度なオーケストレーションと組み合わせることで新たな価値を生む可能性を示している。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
*本記事は OneAdvanced チームとの共著です*
英国（UK）のデータ主権に準拠した AWS アーキテクチャ上で AI エージェントを展開するには、モデルのホスティング、データの所在地管理、そしてエージェントのオーケストレーションについて慎重な判断が求められます。1 万人以上の顧客を持つ英国発のエントプライズソフトウェアプロバイダーである OneAdvanced は、AI 機能を提供しつつ、データが英国外に流出しないことを保証する必要がありました。当時、彼らが望んでいた特定のモデルである Llama 4 Maverick や Llama Guard 4 は、英国リージョンのマネージドサービスではまだ利用できませんでした。
そこで OneAdvanced が選んだのは、AWS インフラ上で完全に制御できる環境でオープンウェイトの大規模言語モデル（LLM）をセルフホスティングするという道です。
本記事では、OneAdvanced が Amazon SageMaker AI 上で Llama 4 Maverick と Llama Guard 4 を活用し、英国主権に準拠した AI ソリューションを構築した事例について解説します。このソリューションは、pgvector 拡張機能を備えた Amazon Aurora PostgreSQL-Compatible Edition に支えられた検索強化生成（RAG）パイプラインと、Strands Agents SDK で駆動される 50 以上の専門エージェント、そして Amazon Elastic Container Service (Amazon ECS) 上で稼働するツールレイヤーを組み合わせることで実現されています。ここではアーキテクチャの詳細や重要な実装判断、そしてその結果について詳しく見ていきます。
課題：データ主権とモデルのホスティング
OneAdvanced は、医療・法務など規制の厳しい業界を対象に、分野特化型の SaaS ソリューションを提供しています。同社の顧客は毎日、患者記録や法的な事件ファイル、コンプライアンス関連文書といった機密データを扱っており、AI ツールが厳格なデータ所在地（レジデンシー）、セキュリティ、プライバシー基準を満たすことを強く求めています。
OneAdvanced の CTO であるアンドリュー・ヘンダーソン氏は、同社の AI ランチ動画で次のように述べています。
"特に英国では、データの主権は多くの顧客にとって必須条件です。とくに公共部門や規制の厳しい業界に所属する顧客にとってはなおさらです。彼らは自社のデータがどこにあるのか、誰がアクセスできるのかを明確に把握する必要があります。また、データが英国の法制度および規制枠組み内に存在し、完全なコンプライアンスと信頼性を担保していることを確認したいのです。"
OneAdvanced は当初、Amazon Bedrock を用いてプロトタイプを作成しました。その結果、2 週間のスプリントで急速に成果を上げました。具体的には、チャット完了機能、英国の法令を検索するための Amazon Bedrock エージェント、Snowflake データとの連携、そしてチャート生成などが実現されています。
しかし、主権要件を満たすため、OneAdvanced はモデルを自社の英国拠点にある AWS アカウント内にのみホストする必要がありました。当時の同社が望んでいた「Llama 4 Maverick」や「Llama Guard 4」は、英国リージョンにおける AWS のマネージドサービスではまだ提供されていませんでした。セルフホスティングとは、これらのモデルをデプロイし、提供し、スケールさせるだけでなく、その周りに本番環境向けのソリューションを構築することを意味します。具体的には、コンテンツモデレーション、文書検索、エージェントのオーケストレーション、そして非技術者向けにノーコードでエージェントを構築できる機能などが含まれます。
ソリューション概要
以下の図は、OneAdvanced の AI ソリューションの全体像を示しています。
図 1：OneAdvanced の英国主権対応 AI ソリューションの全体アーキテクチャ
このアーキテクチャにより、OneAdvanced は完全な英国データ主権の実現と迅速なエージェント展開を達成しました。これにより、AI ガバナンスに関する ISO 42001 認証の取得が可能になるとともに、モデル提供インフラに対する完全なコントロールも維持されています。
このソリューションは 4 つのコンポーネントで構成されています。vLLM は、ロンドンリージョン（eu-west-2）の p5.48xlarge インスタンス上で稼働する Amazon SageMaker AI 上で、Llama 4 Maverick (FP8) と Llama Guard 4 を実行します。50 基以上の Strands エージェントが Amazon ECS で動作しており、それぞれが独自のシステムプロンプト、ツール設定、オプションの入力フォームを持っています。エージェントの設定は Amazon DynamoDB に保存されます。
Amazon Simple Storage Service (Amazon S3) にアップロードされた文書は Markdown 形式に変換され、チャンク化されて pgvector に埋め込まれ、検索可能になります。Llama Guard 4 は、リクエストがメインモデルに到達する前に、ユーザー入力に含まれる有害コンテンツをチェックします。
典型的なリクエストの流れは以下の通りです。まずユーザーがメッセージを送信し、Llama Guard がその内容を評価して有害性をチェックします（これはメインの推論モデルを実行する前に行われます）。その後、リクエストは Amazon ECS 上の適切な Strands エージェントにルーティングされます。エージェントは必要に応じてツールを呼び出し、pgvector や Amazon S3 から関連文書を検索・取得したり、ウェブ検索を含む専門的なツールを起動したりします。
前提条件
AWS で AI モデルをセルフホストするには、以下のリソースとスキルが必要です：
- ターゲットリージョンで
p5.48xlargeインスタンスへのアクセス権限を持つ AWS アカウント。GPU インスタンスのクォータに関する問い合わせについては、Amazon SageMaker AI Developer Guide を参照してください。
Amazon ECS でのコンテナデプロイや、Amazon S3 を用いたストレージ管理に関する中級レベルの知識が必要です。入門編については、Amazon ECS Developer Guide をご参照ください。
選択した AI モデルの重み（ウェイト）へのアクセス権限も必要です。Llama 4 Maverick や Llama Guard 4 の利用には、Hugging Face でのライセンス承認が必須となります。
Python ベースの機械学習（ML）フレームワークやコンテナオーケストレーションに関する経験も求められます。
ベクトル類似度検索を可能にするため、pgvector 拡張機能を有効にした PostgreSQL データベースが必要です。
Amazon SageMaker AI におけるモデルデプロイメント
OneAdvanced は、Amazon SageMaker AI エンドポイント上で vLLM を活用し、Llama 4 Maverick（meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8）と Llama Guard 4（meta-llama/Llama-Guard-4-12B）を運用しています。デプロイ先はロンドンリージョンの p5.48xlarge インスタンスで、モデルには Hugging Face のものを使用し、AWS Deep Learning Containers を活用しています。
コンテキストウィンドウの拡大が、P5 インスタンスへの移行を促しました。OneAdvanced は、大規模文書の分析や多段階の対話といったユースケースに対応するため、120K〜128K トークンのコンテキスト長を目標としています。AWS とのコンサルティング期間中、P5 インスタンス上で vLLM を用いた負荷テストを実施した結果、インフラが同社のスループット要件を満たすことが確認されました。OneAdvanced は当初 p4d.24xlarge インスタンスからスタートし、本番環境では p5.48xlarge へ移行しました。また、GPU コンピューティングにおける予約インスタンスの割引も活用しています。
OneAdvanced は、以前のバージョンである Llama Guard 3 で高い誤検知（false rejection）率が発生していることを確認したため、Llama Guard 4 に切り替えました。このガードモデルはメインモデルの実行前にシリアルで動作し、推論が始まる前にユーザー入力をスクリーニングして有害なコンテンツをフィルタリングします。
Strands Agents SDK で構築された 50 以上のエージェント
OneAdvanced のソリューションに特徴的な点は、そのエージェントライブラリです。医療、法務、人事、マーケティング、物流など多岐にわたる分野に対応する 50 以上のタスク特化型エージェントが用意されています。具体的には、ケアインシデント対応アシスタント、臨床安全ブリーフィング生成器、教育用のカリキュラム作成支援、業務シナリオのシミュレーション、パフォーマンスレビュー支援、文書比較ツール、そして AWS アーキテクトエージェントなどが含まれます。OneAdvanced は最初の 1 つのエージェントからわずか 3 週間で 50 以上へと拡大し、その大半は 1 日未満で構築されました。
OneAdvanced は LangChain や LangGraph など複数のアジェンティックフレームワークを評価した上で、Strands Agents SDK を採用しました。この決断に至った主な理由は、Strands がモデルファーストのアプローチを採用しており、堅苦しいワークフロー定義に縛られない点、ターン制やインタビュー形式の対話をサポートしている点、そしてアイデアからデプロイ済みエージェントまでの開発サイクルが非常に速い点です。OneAdvanced のシニアソフトウェアエンジニアである Nick Heap はこのように説明しています：
「事後評価の結果、Strands がプロジェクトの明確な最有力候補として浮上しました。同社の包括的なツールスイートは要件を満たすだけでなく、社内ビジョンに密接に合致する将来を見据えたソリューションも提供してくれたからです。」
各エージェントはシステムプロンプト、利用可能なツールのセット、そして任意の構造化入力フォームによって定義されます。エージェントはコンテナ化され Amazon ECS 上でデプロイされ、ランタイム設定は Amazon DynamoDB に保存されます。ユーザーはエージェントカタログを閲覧し、自身のタスクに最適なエージェントを選択します。
OneAdvanced はまた、開発者ではない人でも利用可能なノーコード型のエージェントビルダーも構築しました。このビジュアルインターフェースを通じて、ユーザーはエージェントの作成と設定を行います。具体的には、エージェントのペルソナを定義し、ドラッグ＆ドロップで入力フォームを設計します。システムプロンプトでは、@記法を使ってフォームフィールドへの参照を行い、フォーム値を注入しながら記述できます。利用可能なツールライブラリから必要なものを選択することも可能です。この設計により、コードを書かずに製品マネージャー、臨床医、ビジネスアナリストがエージェントを作成できるようになりました。
各エージェントは、計算機、チャート作成、ファイル内容リーダ、Mermaid 図生成器、組織および個人向け知識検索、スプレッドシートクエリ（Snowflake 連携を含む）、テキストファイルクエリ、英国法令検索、そしてウェブ検索（組織ごと・クエリごとにオプトイン制）などからなる共有ツールライブラリを活用します。例えば、エージェントは Snowflake データベースをクエリした結果に基づいて、単一のインタラクションでチャートを生成することも可能です。
OneAdvanced では、複雑な対話の文脈を維持するために、サブエージェントや高度なエージェントパターンも活用しています。特筆すべき設計パターンの一つが「面接形式のエージェント」です。
Strategic Thinking アシスタントなどの一部のエージェントは、助言を提供する前に構造化された質問を行います。「質問 1/3: あなたの AI ソリューションが解決しようとする具体的な課題は何ですか？」といった具合です。これは、ユーザーが最初からすべてを提示することを期待するのではなく、対話のやり取りを通じて文脈を構築していくアプローチです。
焦点を絞り、ガイド付きで行われる対話は、自由なプロンプトよりも優れた結果を生み出します。
RAG パイプライン
RAG システムにより、エージェントは個人および組織レベルのドキュメントコレクションにアクセスできます。ユーザーはファイル管理インターフェースを通じて、Amazon S3 上の個人用スペースまたは共有組織スペースへドキュメントをアップロードします。
ドキュメントはマークダウン形式に変換され、2,048 トークンのセグメントに分割された後、pgvector に埋め込まれてベクトル類似度検索が可能になります。より長いドキュメントについては、再帰的な要約機能により、チャンクサイズを超えるコンテンツを処理します。
埋め込みベクトルの生成には、多言語対応と指示従順能力に優れる intfloat/multilingual-e5-large-instruct モデルを採用しています。市販の RAG（検索拡張生成）フレームワークをそのまま使うのではなく、OneAdvanced 社が独自に構築した検索システム「Llamadex」を利用することで、パイプライン全体を完全に制御可能にしました。当初は簡便さと開発スピードを重視し pgvector を選択しましたが、ソリューションが成熟するにつれ、この戦略を見直し、代替案の評価も進めています。
アップロードされたドキュメントに基づいて回答が必要な際、エージェントは「個人知識検索」または「組織知識検索」という適切な検索ツールを呼び出し、pgvector に対してクエリを実行します。これにより関連するチャンクと出典情報が返されます。ユーザーは、回答生成に使用されたドキュメントを具体的に確認できるため、透明性と信頼性の確保につながります。
セキュリティと責任ある AI
OneAdvanced の AI ソリューションでは、セキュリティがあらゆるレイヤーで徹底されています。これは、医療や法務など敏感なデータを日常的に取り扱う顧客に対応していることの直接的な結果です。
インフラはロンドン AWS リージョンに構築されており、ユーザーデータが英国国外へ流出することはありません。また、ユーザーのクエリや回答も保持されず、モデル学習にも使用されません。ニック・ヒープ氏は次のように述べています。
"AI サービスは英国国内のみでホストされ、データは AI モデルの学習に利用されない。さらに OneAdvanced のエンジニアがデータにアクセスすることもできない。"
個人および組織のスペースにアップロードされたドキュメントは完全に隔離されており、OneAdvanced のスタッフであっても閲覧できません。Llama Guard 4 は、メインモデルへの入力前に有害なコンテンツをスクリーニングします。プライバシー制御は組織レベルでカスタマイズ可能です。インフラストラクチャ面では、Amazon S3 ドキュメントストレージ層における脅威検知に Amazon GuardDuty が提供されています。
OneAdvanced は AI ガバナンスに関する ISO 42001 の認証を取得しています。同社は英国および欧州で最初にこの認証を達成した組織の一つであると報告しており、EU AI パクトの署名者でもあります。これは、製品と運用全体を通じて責任ある AI を推進する積極的な姿勢を示すものです。
結果
AWS のアドバイザリー・エンゲージメントを通じて、OneAdvanced はプロトタイプから英国主権型の AI ソリューションへと移行しました。同社はロンドンリージョンの P5 インスタンス上で Llama 4 Maverick をデプロイし、データが英国外に流出することなくモデル提供インフラを完全に制御しています。わずか 3 週間で医療、法務、人事、マーケティングなど多岐にわたるユースケースに対応する 50 以上の Strands エージェントを構築・リリースしました。このソリューションは 2025 年 7 月から本番環境で稼働しており、1 年以上顧客に提供されています。目標とするパフォーマンス指標も達成しています。
OneAdvanced はこれを「英国初のプライベート主権型ビジネス AI」として公開し、ユーザーデータの保持・学習・ログ記録を行わないことを明言しました。このエンゲージメントは、顧客満足度スコア 5/5 を獲得しています。
「私たちは、この協働を大変ありがたく思い、楽しんでいました。多くのことを学び、戦略的パートナーである御社に支えられ、市場へ独自のソリューションを提供することができました。直接・間接に関わっていただいたすべての方々に、心から感謝申し上げます。」
— Alex Savage氏、OneAdvanced インテグレーション責任者
結論と今後の展開
本記事では、OneAdvanced がどのようにして英国のデータ主権要件を満たす AI ソリューションを構築したかを紹介しました。具体的には、Amazon SageMaker AI 上で Llama 4 Maverick と Llama Guard 4 をセルフホストし、Amazon ECS で Strands Agents SDK を活用して 50 以上の専門エージェントをオーケストレーションしています。また、pgvector に支えられた RAG パイプラインを通じて顧客ドキュメントに根ざした回答を実現することで、規制の厳しい業界における企業顧客に対して、厳格なデータ主権要件を満たしつつ実用的な AI 能力を提供するプロダクションレベルのソリューションを完成させました。
OneAdvanced は最近、継続的な品質向上のために「LLM-as-a-judge」を用いた評価フレームワークに感情分析を導入しました。今後のロードマップには、ユーザーがプロンプトを調整するためのバックエンドシステムの整備や、バージョン移行時に並行して LLM モデルを実行し、エンドユーザーにとっての安定性を維持する取り組みも含まれています。
同様のアプローチを検討している場合は、まずデータ主権の要件を評価し、どのモデルを自社でホストする必要があるかを特定することから始めましょう。OneAdvanced は、自社インフラへの投資を決める前に、利用ケースを検証するために 2 週間にわたる Amazon Bedrock のプロトタイプ開発を行いました。
Amazon SageMaker AI 上でモデルを展開する方法については、Amazon SageMaker AI 開発者ガイド をご参照ください。エージェントワークフローの構築を始めたい場合は、GitHub 上の Strands Agents SDK をご覧ください。
OneAdvanced が AI ソリューションを構築するまでの道のりについて詳しく知りたい方は、同社のキャリアブログにある Nick Heap の記事 The AI race and how we fully embraced velocity をお読みください。
同様のユースケースがあり、AWS 上での主権型 AI の展開を検討したい場合は、AWS アカウントチーム までお問い合わせください。
執筆者について
Astrid Bowser
アストリッドは、OneAdvanced の主要製品マネージャーとして、同社のプラットフォームデータおよび AI 関連の取り組みを主導しています。コンピュータサイエンスと MBA の学位を持ち、技術的専門知識と戦略的なビジネス感覚を巧みに融合させています。AI を責任ある形で活用し、課題解決型のソリューションを開発することに注力するアストリッドは、OneAdvanced の AI スティリング委員会の共同議長も務め、同社の AI focused なビジョンの策定と推進を牽引しました。その一環として、英国で ISO 42001（AI システム管理規格）の新基準を取得した最初の企業の一角となることを目指すチームの一員としても活躍しています。
アレックス・セイジ
アレックスはロンドン近郊を拠点とする OneAdvanced のエンジニアリングマネージャーです。スケーラブルなエンタープライズプラットフォーム、信頼性の高い地域限定 AI、エージェントシステム、そして API 統合戦略に専門知識を持っています。ソフトウェアエンジニアリングとクラウドインフラストラクチャの豊富な経験を持つ彼は、英国の主権 AI プラットフォームをゼロから設計・構築する役割を果たし、組織全体でセキュリティ統合基準の確立を推進しました。また、プラットフォーム開発からヘルスケア、教育、法務、カスタマーエクスペリエンスに至るまで多岐にわたる事業部門を横断する技術リーダーシップを提供しています。
ニック・ヒープ
Nick は OneAdvanced のシニアソフトウェアエンジニアとして、新興技術や AI、クラウドプラットフォーム、DevOps、そしてソフトウェアエンジニアリングのプラクティスにおけるイノベーションを推進する役割を担っています。ソフトウェアアーキテクチャ、API 開発、自動化、データ分析、プラットフォームの近代化にわたる豊富な経験を持つ Nick は、複雑な技術課題の解決、開発チームへのメンタリング、開発者体験とビジネス効率の両方を向上させるベストプラクティスの提唱で知られています。
原文を表示
*This post is co-authored with OneAdvanced team*
Deploying AI agents on a United Kingdom (UK)-sovereign AWS architecture requires careful decisions about model hosting, data residency, and agent orchestration. OneAdvanced, a UK-based enterprise software provider serving over 10,000 customers, needed to deliver AI capabilities while making sure that no data would leave the UK. At the time, the specific models they wanted, Llama 4 Maverick and Llama Guard 4, weren’t yet available through managed services in the UK region. OneAdvanced took a different path: self-hosting open-weight large language models (LLMs) on AWS infrastructure they fully control.
In this post, we describe how OneAdvanced built a UK-sovereign AI solution using Llama 4 Maverick and Llama Guard 4 on Amazon SageMaker AI. The solution pairs a Retrieval Augmented Generation (RAG) pipeline backed by Amazon Aurora PostgreSQL-Compatible Edition with the pgvector extension, over 50 specialized agents powered by Strands Agents SDK, and a tool layer running on Amazon Elastic Container Service (Amazon ECS). We walk through the architecture, key implementation decisions, and results.
The challenge: Data sovereignty and model hosting
OneAdvanced provides sector-focused software as a service (SaaS) solutions to organizations in healthcare, legal, and many other regulated industries. Their customers handle sensitive data daily, including patient records, legal case files, and compliance documentation. These customers expect that AI tooling meets strict data residency, security, and privacy standards.
As Andrew Henderson, CTO of OneAdvanced, explains in the OneAdvanced AI launch video:
“Data sovereignty, particularly in the UK, is a hard requirement for many of our customers, especially those in the public sector and highly regulated industries. They need to know exactly where their data is, who has access to it, and that it resides within the UK’s legal and regulatory framework to support total compliance and trust.”
OneAdvanced initially prototyped with Amazon Bedrock and saw rapid results within a two-week sprint: chat completion, an Amazon Bedrock Agent for querying UK statute law, Snowflake data integration, and chart generation.
However, to meet their sovereignty requirements, OneAdvanced needed to host models exclusively in their own UK-based AWS accounts. At the time of the engagement, the models they wanted, Llama 4 Maverick and Llama Guard 4, weren’t yet available through AWS managed services in the UK region. Self-hosting meant deploying, serving, and scaling these models while building a production-grade solution around them. This included content moderation, document retrieval, agent orchestration, and a no-code agent builder for non-technical users.
Solution overview
The following diagram shows the high-level architecture of the OneAdvanced AI solution.
Figure 1: High-level architecture of the OneAdvanced UK-sovereign AI solution
This architecture enabled OneAdvanced to achieve full UK data sovereignty and rapid agent deployment, supporting their ISO 42001 certification for AI governance while maintaining complete control over their model serving infrastructure.
The solution consists of four components. vLLM serves Llama 4 Maverick (FP8) and Llama Guard 4 on Amazon SageMaker AI, running on p5.48xlarge instances in the London (eu-west-2) region. Over 50 Strands agents run on Amazon ECS, each with its own system prompt, tool configuration, and optional input form, with agent configuration stored in Amazon DynamoDB. Documents uploaded to Amazon Simple Storage Service (Amazon S3) are converted to markdown, chunked, and embedded into pgvector for retrieval. Llama Guard 4 checks user inputs for harmful content before the request reaches the main model.
A typical request flows like this: the user sends a message, and Llama Guard checks it for harmful content (evaluated before the main inference model). The request routes to the appropriate Strands agent on Amazon ECS. The agent calls tools and retrieves relevant documents from pgvector and Amazon S3 as needed, or invokes specialist tools including web search.
Prerequisites
To self-host an AI model on AWS, you need the following resources and skills:
- An AWS account with access to p5.48xlarge instances in your target Region. For information about requesting GPU instance quota, refer to the Amazon SageMaker AI Developer Guide.
- Intermediate knowledge of deploying containers on Amazon ECS and managing storage with Amazon S3. For getting started, refer to the Amazon ECS Developer Guide.
- Access to your chosen AI model weights (Llama 4 Maverick and Llama Guard 4 require license acceptance on Hugging Face).
- Experience with Python-based machine learning (ML) frameworks and container orchestration.
- A PostgreSQL database with the pgvector extension enabled for vector similarity search.
Model deployment on Amazon SageMaker AI
OneAdvanced serves Llama 4 Maverick (meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8) and Llama Guard 4 (meta-llama/Llama-Guard-4-12B) using vLLM on Amazon SageMaker AI endpoints. They deploy on p5.48xlarge instances in the London region, using Hugging Face models with AWS Deep Learning Containers.
Longer context windows drove the move to P5 instances. OneAdvanced targets 120K–128K token context lengths to support use cases like large document analysis and multi-turn conversations. During the advisory engagement with AWS, load testing with vLLM on P5 instances validated that the infrastructure could handle their throughput requirements. OneAdvanced started on p4d.24xlarge instances and moved to p5.48xlarge for production, also taking advantage of reserved instance discounts on GPU compute.
Llama Guard 4 replaced an earlier deployment of Llama Guard 3 after OneAdvanced observed high false rejection rates with the previous version. The guard model runs serially before the main model, screening user inputs for harmful content before inference begins.
Building over 50 agents with Strands Agents SDK
A distinctive aspect of the OneAdvanced solution is its agent library: over 50 task-specific agents spanning healthcare, legal, HR, marketing, logistics, and more. Agents include a Care Incident Response assistant, a Clinical Safety Bulletin generator, a scheme of work generator for education, an operational scenario simulation, a performance review assistant, a Document Comparison tool, and an AWS Architect Agent, among many others. OneAdvanced went from their first agent to over 50 in only three weeks, with most agents built in less than a day.
OneAdvanced evaluated several agentic frameworks, including LangChain, LangGraph, and others, before choosing Strands Agents SDK. The decision came down to a few factors: Strands takes a model-first approach with no rigid workflow definitions, it supports turn-taking and interview-style interactions, and it allowed OneAdvanced to move quickly from idea to deployed agent. As Nick Heap, Principal Software Engineer at OneAdvanced, explains:
“Post-evaluation, Strands stood out as the clear frontrunner for the project. Its comprehensive suite of tools not only met our requirements but also offered a future-proof solution that closely aligned with our in-house vision.”
Each agent is defined with a system prompt, a set of tools, and an optional structured input form. Agents are containerized and deployed on Amazon ECS, with runtime configuration stored in Amazon DynamoDB. Users browse the agent catalog and select the one that fits their task.
OneAdvanced also built a no-code agent builder that non-developers can use to create and configure agents through a visual interface. Users define the agent’s persona, design input forms with drag-and-drop fields, write system prompts with references to form fields (using an @ syntax to inject form values), and select from a library of available tools. This design makes agent creation accessible to product managers, clinicians, and business analysts without writing code.
Agents draw from a shared tool library that includes calculator, chart creation, file content reader, mermaid diagram generator, organization and personal knowledge search, spreadsheet query (including Snowflake integration), text file query, UK statute law search, and web search (opt-in per organization and per user query). For example, an agent can query a Snowflake database and then generate a chart from the results in a single interaction.
OneAdvanced also uses sub-agents and advanced agentic patterns to maintain the context window across complex interactions. A notable design pattern is the interview-style agent. Some agents, like the Strategic Thinking assistant, ask structured questions before providing advice: “Question 1 of 3: What specific pain points does your AI solution aim to address?” This builds context through turn-taking rather than expecting users to provide everything upfront. Focused, guided interactions produce better outcomes than open-ended prompts.
RAG pipeline
The RAG system gives agents access to both personal and organization-level document collections. Users upload documents through the file management interface into either a personal space or a shared organization space on Amazon S3. Documents are converted to markdown and chunked into 2,048-token segments before embedding into pgvector for vector similarity search. For longer documents, recursive summarization handles content that exceeds the chunk size.
For embeddings, OneAdvanced uses the intfloat/multilingual-e5-large-instruct model, chosen for its strong multilingual support and instruction-following capabilities. Rather than adopting an off-the-shelf RAG framework, OneAdvanced built their own retrieval system, internally called “Llamadex,” giving them full control over the pipeline. They initially chose pgvector for its simplicity and the speed it offered in getting to production. As the solution matures, OneAdvanced is reviewing this strategy to evaluate alternatives.
When an agent needs to answer a question grounded in uploaded documents, it calls the appropriate retrieval tool, “Personal knowledge search” or “Organization knowledge search,” which queries pgvector and returns relevant chunks along with source references. Users can see exactly which documents were used to generate a response, supporting transparency and trust.
Security and responsible AI
Security runs through every layer of the OneAdvanced AI solution, a direct consequence of serving customers who handle sensitive data daily in sectors like health and legal.
The infrastructure runs in the London AWS Region. No user data leaves the UK. No user queries or responses are retained or used for model training. As Nick Heap wrote:
“An AI service that is only hosted in the UK and data is not used to train the AI model and OneAdvanced engineers do not have access to the data.”
Uploaded documents in personal and organization spaces are fully isolated and not readable even by OneAdvanced staff. Llama Guard 4 screens user inputs for harmful content before they reach the main model. Privacy controls are customizable at organizational levels. On the infrastructure side, Amazon GuardDuty provides threat detection on the Amazon S3 document storage layer.
OneAdvanced holds ISO 42001 certification for AI governance—a certification they report being among the first organizations in the UK and Europe to achieve. They’re also a signatory to the EU AI Pact, reflecting a proactive approach to responsible AI across their products and operations.
結果
Through the AWS advisory engagement, OneAdvanced went from prototype to production on a UK-sovereign AI solution. OneAdvanced deployed Llama 4 Maverick on P5 instances in the London region, giving them full control over model serving infrastructure with no data leaving the UK. They built and shipped over 50 Strands agents in only three weeks, covering use cases across healthcare, legal, HR, marketing, and more. The solution has been running in production since July 2025, serving customers for over a year. It met its target performance metrics. OneAdvanced publicly launched this as the UK’s first private sovereign AI for business, with no user data retained, trained on, or logged. The engagement received a 5/5 customer satisfaction score.
“We really appreciate and enjoyed the engagement. We learned a lot which helped us launch a unique offering to the market powered and supported by our strategic partner. Thank you very much to all involved directly and indirectly.”
— Alex Savage, Head of Integration, OneAdvanced
Conclusion and next steps
In this post, we showed how OneAdvanced built a UK-sovereign AI solution by self-hosting Llama 4 Maverick and Llama Guard 4 on Amazon SageMaker AI, orchestrating over 50 specialized agents with Strands Agents SDK on Amazon ECS, and grounding responses in customer documents through a RAG pipeline backed by pgvector. The result is a production AI solution that meets strict data sovereignty requirements while delivering practical AI capabilities to enterprise customers in regulated industries.
OneAdvanced has recently implemented an evaluation framework using LLM-as-a-judge with sentiment analysis for continuous quality improvement. Their roadmap also includes backend systems to help users refine their prompts, and running parallel LLM models during version transitions to maintain stability for end users.
If you’re considering a similar approach, start by evaluating your data sovereignty requirements and identifying which models you need to self-host. OneAdvanced began with a two-week prototype on Amazon Bedrock to validate their use cases before committing to self-hosted infrastructure. For more information about deploying models on Amazon SageMaker AI, refer to the Amazon SageMaker AI Developer Guide. To get started with agentic workflows, visit the Strands Agents SDK on GitHub.
To read more about OneAdvanced’s journey building their AI solution, see Nick Heap’s post The AI race and how we fully embraced velocity on the OneAdvanced careers blog.
If you have a similar use case and would like to explore sovereign AI deployment on AWS, contact your AWS account team.
About the authors
Astrid Bowser
Astrid is a Principal Product Manager at OneAdvanced, shaping the OneAdvanced Platform Data and AI initiatives. With degrees in Computer Science and an MBA, she seamlessly blends technical expertise with strategic business acumen. Committed to focussing efforts on developing problem solving solutions with the responsible use of AI, she was Co-Chair of OneAdvanced’s AI Steering Committee, defining and driving the company’s AI-focused vision, including being part of the team driving the objective to be one of the first companies in the UK to secure the new ISO 42001 AI Systems Management standard for OneAdvanced.
Alex Savage
Alex is an Engineering Manager at OneAdvanced based near London, specialising in scalable enterprise platforms, trusted regional AI and agent systems, and API integration strategies. With a strong background in software engineering and cloud infrastructure, he has helped architect and deliver the UK’s sovereign AI platform from the ground up, driven secure integration standards across the organisation, and provided technical leadership that spans diverse business units—from platform development to cross-functional enablement in healthcare, education, legal and customer experience.
Nick Heap
Nick is a Principal Software Engineer at OneAdvanced, where he helps drive innovation across emerging technologies, AI, cloud platforms, DevOps, and software engineering practices. With extensive experience spanning software architecture, API development, automation, data analytics, and platform modernisation, Nick is known for solving complex technical challenges, mentoring development teams, and championing best practices that improve both developer experience and busin
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み