ハプク・ロイドがAmazon Bedrockを活用し顧客フィードバックを実践的インサイトへ変換
ハンザ・ロイドは、Amazon Bedrock を活用した生成 AI の導入により、手動で数日かかっていた顧客フィードバック分析を自動化し、戦略立案とイノベーションにリソースを集中させる変革を実現しました。
キーポイント
従来プロセスの課題
従来の顧客フィードバック分析は手動かつ受動的であり、レビュー会議前に数百件のコメントを CSV で抽出・分類する作業に数時間から数日を要し、スケーラビリティに限界があった。
生成 AI によるワークフローの自動化
Amazon Bedrock を活用したソリューションにより、フィードバックの収集、感情分析、テーマ抽出、そして実用的なインサイトの提示までを完全自動化し、プロセスを根本から変革した。
組織の変容とリソース配分
オペレーショナルな分析業務から解放されたプロダクトマネージャーやチームは、戦略立案、イノベーション、および優れたユーザー体験の創出といった高付加価値活動に注力できるようになった。
AI ネイティブへの移行
同社は単なるデジタル化から「AI ネイティブ」な企業へと進化を遂げ、人工知能を中核能力として投資し、エンジニアリングの力を AI で増幅させることでよりスマートな製品開発を目指している。
データ管理とインデックス化
AWS Lambda を使用して毎日フィードバックデータを S3 に取得し、Amazon Bedrock で意味解析を行い、Amazon OpenSearch Service にフルテキスト検索およびベクトルデータベースとして索引付けしています。
責任ある AI とガードレール
Amazon Bedrock Guardrails を実装してコンテンツモデレーションポリシーを適用し、AWS CloudFormation を用いてインフラストラクチャ・アズ・コードとして安全ポリシーを定義・管理しています。
プログラムによる入力検証
LLM への処理前に Amazon Bedrock Guardrails を独立して使用し、プロンプトインジェクションやその他の悪用を防ぐための生データ入力検証を行っています。
影響分析・編集コメントを表示
影響分析
この記事は、Amazon Bedrock を活用した生成 AI の実務適用事例として、物流業界における顧客体験管理の変革を示しています。手動分析のボトルネックを解消し、組織全体を「AI ネイティブ」な思考へ転換させる具体的なロードマップを提供しており、他社が同様のデジタル変革を加速する際の重要な参考モデルとなります。
編集コメント
物流という実業界において、生成 AI が単なる実験段階を超え、顧客フィードバック分析のような定型的かつ高負荷な業務を完全に置き換えた事例は非常に示唆に富んでいます。特に「AI ネイティブ」への移行を明確に掲げている点は、DX 推進企業にとって重要な指針となるでしょう。
Hapag-Lloyd は、世界有数の定期船運送会社の一つであり、総輸送能力 250 万 TEU(Twenty-foot Equivalent Unit:コンテナ船における貨物容量の標準測定単位)を誇る現代的な 313 隻のコンテナ船隊を運営しています。同社は、業界最大かつ最も近代的な冷蔵コンテナ船隊の一つを含む、総計 370 万 TEU のコンテナ容量を保有しています。定期船運送部門には約 14,000 名の従業員が在籍し、140 カ国にまたがる 400 以上の事務所を展開しており、確固たるグローバルプレゼンスを維持しています。世界中の 133 の定期航路を通じて、大陸間にある 600 港以上間の信頼できる接続を実現しています。
同社のデジタル顧客体験およびエンジニアリングチームは、ハンブルクとグダニスクに分散して配置されており、顧客向けウェブおよびモバイル製品の開発・維持を通じてデジタルイノベーションを推進しています。
過去数年にわたり、デジタル顧客体験およびエンジニアリングチームは、納品中心のチャネルから、強力な顧客志向、卓越したエンジニアリング、そして測定可能なビジネスインパクトを備えた真のデジタルプロダクト推進役へと進化しました。私たちはデジタルプロダクトに対してエンドツーエンドの責任を持ち、顧客中心のイノベーションとエンジニアリングの技を組み合わせることで、成長とビジネス成果に直接貢献しています。現代的で独立した技術スタックと高いレベルのエンジニアリング成熟度の上に立ち、技術の最前線にとどまることを約束します。そして今、私たちは次の一歩として、人工知能(AI)を中核的な能力として位置づけ、その実現に向けて大規模な投資を行うことで、AI ネイティブな組織へと移行を進めています。この旅路は、強力なエンジニアリングに AI を掛け合わせることで、より賢明なプロダクトの構築、迅速なイノベーション、そして顧客価値の最大化を実現するものです。
ユーザーへの影響を理解する
これまでのところ、当社の顧客フィードバック分析プロセスは主に手作業による受動的なものに依存していました。特にレビュー会議の前には、数百件の評価やコメントを確認する必要があり、手動で顧客フィードバックを分析するには数時間、場合によっては数日かかることもありました。2 週間ごとにプロダクトマネージャーが顧客フィードバックデータを CSV ファイルとしてエクスポートし、大量のコメントを読み込み、感情分析とトピックを手動で分類していました。この作業は価値があり、プロダクトの意思決定に深く結びついていましたが、反復的で時間がかかり、スケーラビリティに限界があったため、より迅速または深い洞察が必要となる際に柔軟性が損なわれることがありました。
生成 AI ソリューションにより、私たちはこのアプローチを根本的に変革しました。手動でフィードバックを集約し解釈する代わりに、現在はワークフロー全体を自動化しています:顧客コメントの収集、感情分析、テーマの特定、そして実行可能なインサイトの提示です。プロダクトマネージャーやチームは、運用分析に費やす時間を減らし、戦略、イノベーション、そして卓越したユーザー体験の創出により注力できるようになりました。
本稿では、Amazon Bedrock、Elasticsearch、および LangChain や LangGraph などのオープンソースフレームワークを活用して構築した、生成 AI を活用したフィードバック分析ソリューションについて詳しく解説します。Amazon Bedrock は、AI21 Labs、Anthropic、Cohere、DeepSeek、Luma、Meta、Mistral AI、Amazon など主要な AI 企業から高パフォーマンスなファウンデーションモデルを選択できるフルマネージドサービスであり、単一の API を通じてアクセス可能です。また、セキュリティ、プライバシー、責任ある AI の実現に必要な広範な機能も提供しています。このソリューションにより、顧客コメントの自動取り込み、リッチな要約の生成、ターゲットを絞ったインサイトの提供が可能になります。これにより、プロダクトチームはより迅速かつ賢明な意思決定を行い、継続的な改善を推進することができます。
このソリューションのアーキテクチャと実装を詳しく解説し、オーケストレーション、データ管理、セキュリティ、プライバシーといった生成 AI の基盤を活用することで、スケーラブルで本番環境対応可能なフィードバック処理パイプラインを迅速に構築できた点を示します。
ソリューション概要
image
自動化されたフィードバック処理および分析のための AWS アーキテクチャ。Amazon S3 からのデータ取り込みに Lambda 関数を利用し、Amazon Bedrock を用いてステークホルダーが Amazon ECS を介して AI による洞察にアクセス可能とし、Elasticsearch でフィードバックデータのインデックス作成とクエリを実行、SES を経由してメール通知を行います。
このソリューションは、スケーラビリティ、保守性、セキュリティを通じてこれらの課題に対処するように設計された AWS アーキテクチャ上に構築されています。デプロイには AWS CloudFormation が使用されます。
- 継続的かつ四半期ごとのフィードバック収集
私たちの Web およびモバイルアプリケーションは、毎月数十万人の顧客に利用されています。
- ユーザーは評価とテキストコメントを残すことができ、これによりユーザーエクスペリエンスを把握し、サービスの改善につなげることができます。
- 毎日のフィードバック取り込みと処理
AWS Lambda 関数が毎日一度実行され、新しいフィードバックエントリを取得します。
- Amazon Bedrock を使用して、各オープンコメントの感情(ポジティブ、ネガティブ、ミックス、またはニュートラル)を分類し、下流の分析を効率化しています。
- 処理されたレコードは Amazon OpenSearch Service にインデックスされ、フルテキスト検索エンジンおよびベクトルデータベースとして機能します。
- OpenSearch Service を介したインタラクティブなフィードバック探索
ステークホルダーは OpenSearch Dashboards を通じてリアルタイムのフィードバックインサイトへのアクセスが可能で、ユーザー感情、評価、時系列のトレンドを俯瞰できます。
- 感情分布、評価スコア、フィードバック量などの高レベルな可視化から始め、ユーザーは特定のアプリケーション、機能、あるいは個別のコメントまで詳細に掘り下げることができます。
- ダッシュボードでは、期間、コメントの感情、製品バージョンなどでフィルタリングをサポートしており、ターゲットを絞った根本原因分析を可能にします。
- 例えば、プロダクトマネージャーは、直近のアプリアップデートに関する感情が週ごとにどのように変化したかを可視化したり、特定の機能に言及するネガティブなコメントにズームインしたりできます。
- AI 搭載の社内チャットボット
ステークホルダー向けのチャットボットは、OpenSearch インデックスをナレッジベースとしてクエリします。
- Bedrock Guardrails(ガードレール)を使用して安全性と信頼性を確保し、回答がブランドおよびコンプライアンス基準に合致していることを保証しています。
- プロダクトマネージャーやサポートチームは、「顧客が最も頻繁に言及する課題点は何か?」といった自然言語の質問を行い、即座に文脈を豊富にした回答を受け取ることができます。
- 隔週のインサイトレポート
2 週間に一度、別の Lambda 関数が最新のフィードバックトレンドを集約・分析します。
- 主要な指標、ハイライト、感情内訳を含む簡潔なレポートを生成します。
- このレポートは自動的にプロダクトマネージャーおよびプロダクトオーナーに配信され、スプリント計画やロードマップの議論に直接活用されます。
生成 AI オーケストレーション
オーケストレーションは、当社のソリューションの中核となる基盤です。なぜなら、生成 AI のワークフローには通常、調整が必要な複数のステップが含まれるからです。当社のパイプラインでは、感情分析、埋め込み生成、インデックス作成といったデータ取り込みおよび処理の各ステップを、LangChain を用いてオーケストレーションしています。LangChain は、モデル呼び出し、データ変換、Amazon OpenSearch Service などの外部システムとの統合を行うためのモジュール化され再利用可能なコンポーネントを提供します。内部チャットボットについては、LangGraph を活用してマルチエージェントアーキテクチャを実装しています。各アシスタントは LangGraph で宣言的に定義され、独自のロジックとツールをカプセル化しています。この設計により、アシスタントは柔軟で組み合わせ可能となります。硬直した段階的なフローではなく、LLM がユーザーの問い合わせに応じるために適切なツールやアクションを動的に選択するエージェントベースのアプローチを採用しています。これにより、製品マネージャーやサポートチームは、フィードバックおよび関連する運用上の洞察を探索するための自然で対話的な方法を得ることができます。
Amazon Bedrock モデルとの統合は、LangChain のネイティブサポートを利用することで容易に行えます。例えば、当社が運用する AI 搭載の社内チャットボットでは、Amazon Bedrock を介して Claude Sonnet 4.6 モデルを採用しています。このモデルを選定した理由は、コーディングおよびエージェントワークフローにおいて最先端のパフォーマンスを提供するためです。Claude Sonnet 4.6 は、多段階の対話やエージェントワークフローにおいて卓越した能力を発揮し、ステークホルダーとの単発および多段階のインタラクションにわたって信頼性の高いパフォーマンスを必要とする当社の社内チャットボットにとって理想的な選択肢となります。精密なワークフロー管理機能と、リードエージェントおよびサブエージェントの両方の役割を果たす能力により、Claude Sonnet 4.6 は、スケールしてフィードバックインサイトを探索する際に製品マネージャーやサポートチームが求める一貫した対話品質を実現します。さらに、予期せぬトラフィックの急増を複数の EU AWS リージョン間で計算リソースを分散させることでシームレスに管理するため、地理的 Cross-Region Inference Service (CRIS) エンドポイントを活用しています。このクロスリージョン機能により、ピーク利用期間中もフィードバック処理パイプラインの回復性を確保しつつ、グローバルなステークホルダー基盤に対して一貫したパフォーマンスを維持できます。モデルは、LangChain 設定を通じて直接適用されるガードレールで構成されています:
from langchain_aws import ChatBedrockConverse
def get_chatbot_model():
return ChatBedrockConverse(
client=session.client("bedrock-runtime", region_name="eu-central-1", config=config),
model="eu.anthropic.claude-sonnet-4-6",
guardrail_config={
"guardrailIdentifier": settings.GUARDRAIL_ID,
"guardrailVersion": "DRAFT",
"trace": "enabled"
}
)
データ管理
AWS Lambda 関数は1日に1回実行され、フィードバックリポジトリから新しいフィードバックエントリをAmazon S3 に取得します。その後、データは Amazon Bedrock を用いたセマンティック検出(意味的検出)によって分類されます。次に、そのデータは Amazon OpenSearch Service 内にインデックス化され、フルテキスト検索エンジンおよびベクトルデータベースの両方として機能します。
責任ある AI
このソリューションを責任を持って利用するために、Amazon Bedrock Guardrails(ガードレール)を用いてセーフティ対策を実装しています。これにより、AI の対話にAmazon Bedrock Guardrails を付与し、コンテンツモデレーションポリシーを適用して、回答が当社のブランドおよびコンプライアンス基準と整合するように保証します。
AWS CloudFormation を用いて、ガードレールポリシーをインフラストラクチャ・アズ・コードとして定義し、有害なコンテンツをブロックするための設定例を提供しています。
Guardrails as Code: CloudFormation
ChatbotGuardrail:
Type: AWS::Bedrock::Guardrail
Properties:
Name: guardrail
Description: Basic guardrail to block violence and harmful content.
BlockedInputMessaging: "Input blocked by safety policy."
BlockedOutputsMessaging: "Response blocked by safety policy."
WordPolicyConfig:
ManagedWordListsConfig:
- Type: PROFANITY
ContentPolicyConfig:
FiltersConfig:
- Type: HATE
InputStrength: HIGH
OutputStrength: HIGH
OutputAction: BLOCK
- Type: INSULTS
InputStrength: HIGH
OutputStrength: HIGH
OutputAction: BLOCK
- Type: SEXUAL
InputStrength: HIGH
OutputStrength: HIGH
OutputAction: BLOCK
- Type: VIOLENCE
InputStrength: HIGH
OutputStrength: HIGH
OutputAction: BLOCK
- Type: MISCONDUCT
InputStrength: HIGH
OutputStrength: HIGH
OutputAction: BLOCK
- Type: PROMPT_ATTACK
InputStrength: NONE
OutputStrength: NONE
OutputAction: BLOCK
Programmatic Input Validation
We also use Amazon Bedrock Guardrails independently to validate raw user input before passing it to the LLM, helping prevent prompt injection and other misuse:
def validate_question_with_guardrail(question: str, user_data: UserData) -> bool:
client = boto3.client('bedrock-runtime')
response = client.apply_guardrail(
guardrailIdentifier=settings.GUARDRAIL_ID,
guardrailVersion='DRAFT',
source='INPUT',
content=[{'text': {'text': question}}]
)
if response.get("action") == "GUARDRAIL_INTERVENED":
print(json.dumps(response, indent=4))
print(
f"Prompt was blocked. user_id=[{user_data.user_id}] question=[{question}]"
)
return False
return True
この設定により、生成 AI を責任を持って効果的に活用し、製品フィードバックのライフサイクル全体にわたって、より安全でスケーラブルかつ説明可能なパイプラインを構築しました。
モニタリング
アプリケーションの一部は Amazon CloudWatch を用いて監視しており、これは生データを収集して読みやすいニアリアルタイムのメトリクスに変換します。モデル呼び出しログを有効化することで、呼び出しに関するログ、モデル入力データ、およびモデル出力データを収集し、呼び出しに関連する完全なリクエストデータ、レスポンスデータ、およびメタデータの収集が可能になります。Amazon Bedrock はまた AWS CloudTrail と統合されており、Amazon Bedrock の API 呼び出しをイベントとしてキャプチャします。これにより、応答レイテンシの改善やコスト削減など、アプリケーションをさらに最適化するために活用できるインサイトが生成されます。
次のステップ
本ソリューションは、月間 15,000 件を超えるフィードバックデータを処理し、ラベル付きテストデータセットにおいて感情分類の精度を 95% に達成しています。生のフィードバックを数時間かけてレビューする代わりに、チームは now、重要なトピックと反復されるシグナルを強調した明確で構造化された要約を数秒で受け取ることができます。これにより、情報から行動へ移行するスピードが大幅に向上し、意思決定にかかる期間が数週間から数日へと短縮されます。長期的には、これらのレポートは感情が改善した時期だけでなく、なぜ改善しなかったのかという理由も理解するのに役立ちました。顧客フィードバックを継続的に監視することで、初期のシグナルに迅速に対応し、必要に応じて意思決定を調整したり、軌道修正したりすることが可能になります。いくつかの分野では、これらのインサイトに基づいて講じられた行動が、すでにより肯定的なコメントの増加と、否定的なフィードバックの顕著な減少をもたらしています。Shipping Instructions における「プレビュー」機能は、その強力な事例の一つです。この機能は、プレビュー機能の欠如を指摘する大量の否定的なユーザーフィードバックに応答して優先的に開発されました。リリース後、AI ドライブ型のレポートにより、ユーザー反応を詳細に追跡することが可能になりました。この機能に関連するフィードバックでは、以前頻繁に求められていたプレビュー機能への要望が効果的に解決されたことが示され、コアとなるユーザーニーズが確実に満たされたことを実証しています。同時に、より広範なフィードバックからは、アプリケーション全体における改善が必要な他の領域も浮き彫りになりました。AI によるインサイトは、今後の機能計画と優先順位付けにも貢献しました。ユーザーのコメントに基づき、OpenSearch Service ベースの新しいダッシュボードを作成し、チームがユーザーから報告された問題を迅速に検証・分析できるようにしました。もう一つの例として、Excel ファイル経由で貨物データをアップロードできる機能が挙げられます。これは AI の推奨により繰り返し要望されていた機能であり、現在では完全に利用可能となっています。特に大規模な船便において、手作業による負担を大幅に軽減することが期待されています。レビューセッションでは、ステークホルダーはリアルタイムで最も肯定的かつ否定的なコメントと、AI によって生成された推奨事項を同時に確認できるようになり、はるかに情報に基づいた生産的な議論が可能になっています。
このフィードバック分析ソリューションは、プロセス全体に生成 AI を適用している一例であり、AI ネイティブな旅路の始まりを示すものであり、終わりではありません。AI ネイティブ・アンブレラ・プログラムの下では、AI 導入における唯一の信頼できる情報源として機能し、次の焦点は Amazon Bedrock とともに共有され堅牢な AI 基盤を確立することにあります。標準化されたインフラストラクチャ、セキュリティ、ガバナンス(ガードレール)を提供することで、部門内のあらゆる役割、エンジニアリング、製品およびデリバリー(PM, PO, SM)、UX/デザイン、そしてオペレーション/サポートにおいて、各チームが安全かつ独立して独自の AI「スペース」を構築し、同時に最高クラスの基盤モデルにアクセスできるようにすることを目指しています。この仕組みは、実験の障壁を下げることを目的としており、発見プロセスを効率化し、日常業務における生成 AI のユースケースに対する実践的な探求を促進します。これにより、チームがアイデアから影響へと迅速に移行できるよう支援しつつ、AI 関連イニシアチブ全体において一貫性、責任、スケーラビリティを維持します。
生成 AI アプリケーションのスケールアップをご希望の場合は、エンドツーエンドの生成 AI アプリケーションライフサイクルを加速させるさまざまな基盤コンポーネントについて詳しく解説した Architect a mature generative AI foundation on AWS をお読みいただき、まずはそこから始めていただくことをお勧めします。
著者について

アムナ・ナジミ
Aamna は、Amazon Bedrock 上で大規模な生成 AI システムの運用とガバナンスに注力し、Anthropic モデルを専門とするシニアスペシャリスト ソリューションアーキテクトです。彼女は ISV(独立系ソフトウェアベンダー)が直面する課題の解決や、イノベーションの受容、Amazon Bedrock を活用した新たなビジネス機会の創出を支援しています。余暇には、料理の実験や新しい場所の発見という彼女の情熱を追求しています。
<img loa
原文を表示
Hapag-Lloyd stands as one of the world’s leading liner shipping companies, operating a modern fleet of 313 container ships with a total transport capacity of 2.5 million TEU (Twenty-foot Equivalent Unit—a standard unit of measurement for cargo capacity in container shipping). The company maintains a container capacity of 3.7 million TEU, which includes one of the industry’s largest and most modern fleets of reefer containers. With approximately 14,000 employees in the Liner Shipping Segment and more than 400 offices spread across 140 countries, Hapag-Lloyd maintains a robust global presence. Through 133 liner services worldwide, we facilitate reliable connections between more than 600 ports across the continents.
The company’s Digital Customer Experience and Engineering team, distributed between Hamburg and Gdańsk, drives digital innovation by developing and maintaining customer-facing web and mobile products.
Over the past years, the Digital Customer Experience and Engineering team has evolved from a delivery-focused channel into a true digital product driver, with strong customer focus, engineering excellence, and measurable business impact. We take end-to-end ownership of our digital products, combining customer-centric innovation with engineering craft to directly support growth and business outcomes. Building on a modern, independently owned tech stack and a high level of engineering maturity, we are committed to staying at the forefront of technology. Now, we are taking the next step by moving toward becoming AI-native, investing heavily in artificial intelligence as a core capability. This journey is about amplifying powerful engineering with AI to build smarter products, faster innovation, and greater customer value.
Understanding user impact.
So far, our customer feedback analysis process had largely been manual and reactive. Especially ahead of review ceremonies, manually analyzing customer feedback could take hours, sometimes days, when hundreds of ratings and comments needed to be reviewed. Every two weeks, Product Managers exported customer feedback data as CSV files, read through large volumes of comments, and manually categorized sentiment and themes. Although this work was valuable and deeply connected to product decisions, it was also repetitive, time-consuming, and difficult to scale, limiting flexibility whenever faster or deeper insights were needed.
With our generative AI solution, we fundamentally changed this approach. Instead of manually aggregating and interpreting feedback, we now automate the entire workflow: collecting customer comments, extracting sentiment, identifying themes, and surfacing actionable insights. Product Managers and teams can focus less on operational analysis and more on strategy, innovation, and creating exceptional user experiences.
In this post, we walk you through our generative AI–powered feedback analysis solution built using Amazon Bedrock, Elasticsearch, and open-source frameworks like LangChain and LangGraph. Amazon Bedrock is a fully managed service that offers a choice of high-performing foundation models from leading AI companies such as AI21 Labs, Anthropic, Cohere, DeepSeek, Luma, Meta, Mistral AI and Amazon through a single API, along with a broad set of capabilities you need to build generative AI applications with security, privacy, and responsible AI. With this solution, you can automatically ingest customer comments, generate rich summaries, and deliver targeted insights. This allows our product teams to make faster, smarter decisions and drive continuous improvement.
We walk you through the architecture and implementation of this solution, demonstrating how using generative AI foundations, such as orchestration, data management, security, and privacy, allowed us to rapidly build a scalable, production-ready feedback processing pipeline.
Solution overview

AWS architecture for automated feedback processing and analysis, utilizing Lambda functions for data ingestion from Amazon S3, Amazon Bedrock for AI-powered insights accessed by stakeholders via Amazon ECS, and Elasticsearch for indexing and querying feedback data with email notifications via SES.
The solution is built on AWS architecture designed to address these challenges through scalability, maintainability, and security. It is deployed by using AWS CloudFormation.
- Continuous & Quarterly Feedback Collection
Our web and mobile applications serve hundreds of thousands of customers each month.
- Users can leave a rating plus text comments, helping us understand user experience and improve services.
- Daily Feedback Ingestion & Processing
A AWS Lambda function runs once per day to fetch the new feedback entries.
- We use Amazon Bedrock to classify sentiment (positive, negative, mixed, or neutral) for each open comment, streamlining downstream analysis.
- Processed records are indexed in Amazon OpenSearch Service, serving both as our full-text search engine and vector database.
- Interactive feedback exploration via OpenSearch Service
Stakeholders can access real-time feedback insights through OpenSearch Dashboards, giving them a bird’s-eye view of user sentiment, ratings, and trends over time.
- Starting with high-level visualizations, such as sentiment distribution, rating scores, and feedback volume, users can drill down into specific applications, features, or even individual comments.
- Dashboards support filtering by time period, comment sentiment, product version, and more, enabling targeted root cause analysis.
- For example, a Product Manager can visualize how sentiment around a recent app update changed week over week, or zoom into negative comments mentioning a specific feature.
- AI-Powered Internal Chatbot
Our stakeholder-facing chatbot queries the OpenSearch index as its knowledge base.
- We use Bedrock Guardrails, to enforce safety and reliability and make sure responses align with our brand and compliance standards.
- Product managers and support teams can ask natural-language questions, for example, “What pain points do customers mention most often?” and receive instant, context-rich answers.
- Biweekly Insights Report
Every two weeks, a second Lambda function aggregates and analyzes the latest feedback trends.
- It generates a concise report with key metrics, highlights, and sentiment breakdowns.
- The report is automatically delivered to our Product Managers and Product Owners, feeding directly into sprint planning and roadmap discussions.
Generative AI Orchestration
Orchestration is a core foundation of our solution, because generative AI workflows typically involve multiple steps that need to be coordinated. In our pipeline, data ingestion and processing steps, such as sentiment analysis, embedding generation, and indexing, are orchestrated using LangChain, which provides modular, reusable components for calling models, transforming data, and integrating with external systems like Amazon OpenSearch Service. For our internal chatbot, we rely on LangGraph to implement a multi-agent architecture. Each assistant is defined declaratively in LangGraph, encapsulating its own logic and tools. This design makes assistants flexible and composable: instead of rigid step-by-step flows, we use an agent-based approach where an LLM selects the right tools and actions dynamically to answer user queries. This gives product managers and support teams a natural, interactive way to explore feedback and related operational insights.
Integration with Amazon Bedrock models is straightforward using LangChain’s native support. For example, our AI-powered internal chatbot uses the Claude Sonnet 4.6 model via Amazon Bedrock. We chose Claude Sonnet 4.6 because it offers frontier performance across coding and agentic workflows. The model excels in multi-turn conversational exchanges and agentic workflows, making it ideal for our internal chatbot that requires reliable performance across single and multi-turn interactions with stakeholders. With its precise workflow management capabilities and ability to serve in both lead agent and subagent roles, Claude Sonnet 4.6 delivers the consistent conversational quality our product managers and support teams need when exploring feedback insights at scale. Additionally, we leverage geographic Cross-Region Inference Service (CRIS) endpoint to seamlessly manage unplanned traffic bursts by distributing compute across multiple EU AWS Regions. This cross-region capability ensures our feedback processing pipeline remains resilient during peak usage periods while maintaining consistent performance for our global stakeholder base. The model is configured with guardrails applied directly through LangChain configuration:
from langchain_aws import ChatBedrockConverse
def get_chatbot_model():
return ChatBedrockConverse(
client=session.client("bedrock-runtime", region_name="eu-central-1", config=config),
model="eu.anthropic.claude-sonnet-4-6", guardrail_config={
"guardrailIdentifier": settings.GUARDRAIL_ID,
"guardrailVersion": "DRAFT",
"trace": "enabled"
}
)Data Management
An AWS Lambda function runs once per day to fetch the new feedback entries from the feedback repository into Amazon S3, after which the data is categorized with semantic detection through Amazon Bedrock. The data is then indexed in Amazon OpenSearch Service, serving both as our full-text search engine and vector database.
Responsible AI
To responsibly use the solution, we implement safeguards using Amazon Bedrock Guardrails. This allows us to attach Amazon Bedrock Guardrails to an AI interaction and enforce content moderation policies and make sure responses align with our brand and compliance standards.
Using AWS CloudFormation, we define guardrail policies as infrastructure-as-code, providing examples of configurations to help block harmful content.
Guardrails as Code: CloudFormation
ChatbotGuardrail:
Type: AWS::Bedrock::Guardrail
Properties:
Name: guardrail
Description: Basic guardrail to block violence and harmful content.
BlockedInputMessaging: "Input blocked by safety policy."
BlockedOutputsMessaging: "Response blocked by safety policy."
WordPolicyConfig:
ManagedWordListsConfig:
- Type: PROFANITY
ContentPolicyConfig:
FiltersConfig:
- Type: HATE
InputStrength: HIGH
OutputStrength: HIGH
OutputAction: BLOCK
- Type: INSULTS
InputStrength: HIGH
OutputStrength: HIGH
OutputAction: BLOCK
- Type: SEXUAL
InputStrength: HIGH
OutputStrength: HIGH
OutputAction: BLOCK
- Type: VIOLENCE
InputStrength: HIGH
OutputStrength: HIGH
OutputAction: BLOCK
- Type: MISCONDUCT
InputStrength: HIGH
OutputStrength: HIGH
OutputAction: BLOCK
- Type: PROMPT_ATTACK
InputStrength: NONE
OutputStrength: NONE
OutputAction: BLOCKProgrammatic Input Validation
We also use Amazon Bedrock Guardrails independently to validate raw user input before passing it to the LLM, helping prevent prompt injection and other misuse:
def validate_question_with_guardrail(question: str, user_data: UserData) -> bool:
client = boto3.client('bedrock-runtime')
response = client.apply_guardrail(
guardrailIdentifier=settings.GUARDRAIL_ID,
guardrailVersion='DRAFT',
source='INPUT',
content=[{'text': {'text': question}}]
)
if response.get("action") == "GUARDRAIL_INTERVENED":
print(json.dumps(response, indent=4))
print(
f"Prompt was blocked. user_id=[{user_data.user_id}] question=[{question}]"
)
return False
return TrueWith this setup, we have created a more secure, scalable, and explainable pipeline that puts Generative AI to work, responsibly and effectively, across our product feedback lifecycle.
Monitoring
We monitor the parts of the application using Amazon CloudWatch, which collects raw data and processes it into readable, near real-time metrics. We enabled model invocation logging to collect invocation logs, model input data, and model output data for the invocations, enabling collection of full request data, response data, and metadata associated with the calls. Amazon Bedrock also integrates with AWS CloudTrail, which captures API calls for Amazon Bedrock as events. This generates insights that you can use to optimize the applications further like improving response latency or reducing costs.
Next Steps
The solution processes over 15,000 feedback items per month with an accuracy of 95% for sentiment classification on a labeled test dataset. Instead of spending hours reviewing raw feedback, teams can now receive clear, structured summaries in seconds that highlight the most important topics and recurring signals. This helps them move from information to action much faster, making decisions within days rather than weeks. Over time, the reports helped us understand not only when sentiment improved, but also why it didn’t. By continuously monitoring customer feedback, we can react quickly to early signals, adjust decisions, and correct course when needed. In several areas, actions taken based on these insights have already resulted in more positive comments and a noticeable reduction in negative feedback. A strong example is the “Preview” functionality in Shipping Instructions. This feature was prioritized directly in response to a high volume of negative user feedback highlighting the lack of a preview capability. After its release, AI-driven reports allowed us to track user reactions in detail. Feedback related specifically to this feature showed that the previously frequent requests for preview capability were effectively resolved, demonstrating that the core user need had been successfully addressed. At the same time, broader feedback continued to surface other areas for improvement across the application. AI insights also guided future feature planning and prioritization. Based on user comments, we created new OpenSearch Service-based dashboards that help teams quickly verify and analyze issues reported by users. Another example is the ability to upload cargo data via Excel files, a repeatedly requested feature highlighted by AI recommendations. This functionality is now fully available and is expected to significantly reduce manual effort, particularly for large shipments. During review sessions, the stakeholders can now see top positive and negative comments in real time, alongside AI-generated recommendations, creating a far more informed and productive discussion.
This feedback analysis solution is one example of how we are applying generative AI across our processes, and it marks the beginning, not the end, of our AI-native journey. Under our AI-Native Umbrella Program, which serves as a single source of truth for AI adoption, our next focus is to establish a shared, robust AI foundation with Amazon Bedrock. By providing standardized infrastructure, security, and guardrails, we aim to enable every role in the department, engineering, product and delivery (PM, PO, SM), UX/design, and operations/support, to create their own AI “spaces” safely and independently while having access to the best in-class foundation models. This setup is designed to lower the barrier to experimentation, streamline discovery, and encourage hands-on exploration of generative AI use cases in day-to-day work. In doing so, we help teams move faster from ideas to impact, while maintaining consistency, responsibility, and scalability across the AI initiatives.
If you want to scale your generative AI applications, you can get started by reading this Architect a mature generative AI foundation on AWS that dives deeper on the various foundational components that help accelerate the end-to-end generative AI application lifecycle.
About the authors

Aamna Najmi
Aamna is a Senior Specialist Solutions Architect for Generative AI focusing on Anthropic models and operationalizing and governing generative AI systems at scale on Amazon Bedrock. She helps ISVs solve their challenges, embrace innovation, and create new business opportunities with Amazon Bedrock. In her spare time, she pursues her passion of experimenting with food and discovering new places.
<img loa
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み