パキスタン向け安全問題解決のための小型 AI ツール「Pakistan Notice Helper」の開発

[記事一覧に戻る](https://huggingface.co/blog) Hugging Face の**[Build Small Hackathon](https://huggingface.co/build-small-hackathon)**のために、デモを超えた実用的でローカルかつ有用な何かを構築したいと考えました。 その結果が、**[Pakistan Notice Helper](https://build-small-hackathon-pakistan-notice-helper.hf.space/)**です。これはパキスタンの人々がリンクをクリックしたり、電話番号に電話をかけたり、OTP を共有したり、支払いを行ったりする前に、不審なメッセージを理解できるよう支援する、安全性を重視した AI ツールです。 このアイデアは、一般的な問題から生まれました。人々は定期的に銀行、宅配便会社、税務当局、交通警察、公共事業会社、携帯電話事業者、政府機関などからのメッセージを受け取ります。中には本物もありますが、多くは詐欺です。難しいのは常にメッセージを読むことではありません。難しいのは、次に何をすべきかを知ることです。 Pakistan Notice Helper は真正性のチェックツールではありません。メッセージが公式に真実であるか偽物であると主張するものではありません。代わりに、これはトリアージ（選別）ツールとして機能します。テキストまたはスクリーンショットを受け取り、リスクラベル、短い説明、目に見えるレッドフラグ、そして安全な次のステップを返します。 ## なぜこれが Build Small に適合するのか このプロジェクトは**Backyard AI**トラックに適合しています。なぜなら、パキスタンにおける詐欺スタイルの通知や不審なメッセージという特定のローカル問題に焦点を当てているからです。 大規模な汎用アシスタントを構築するのではなく、スコープが明確で、プロダクトの動作が定義されており、インターフェースが実際のユーザーを中心に設計されている場合、小規模モデルがどこまで対応できるかを確認したかった。 当初はより大きな Qwen モデルを試したが、最終的な本番環境での選択は llama.cpp を通じた **Qwen3.5 4B Q8** となった。私の 10 ケースの評価において、すべての高リスク詐欺事例とスクリーンショットの両方のケースを通過した。これにより、小規模モデル向けの安全アシスタントとして実用的な選択肢となった。 本プロジェクトでは以下の構成を使用している： Hugging Face Space → カスタム Gradio フロントエンド → キューイングされた Gradio サーバーエンドポイント → Modal エンドポイント → CUDA llama.cpp → Qwen3.5 4B Q8 MTP GGUF + ビジョンプロジェクター これにより、ハッカソンの 32B モデル制限内に収まりながら、テキストとスクリーンショットの両方を処理できる小規模モデルスタックが実現された。 ## アプリケーションの機能 Pakistan Notice Helper は **英語とウルドゥー語** の両方に対応している。これは最も重要な製品判断の一つであった。なぜなら、パキスタンにおける不審なメッセージは、英語、ウルドゥー語、ローマン・ウルドゥー語、あるいはこれら 3 つの混合で書かれていることが多いためである。 ウルドゥー語モードは単なる翻訳されたインターフェースではない。ユーザーがウルドゥー語に切り替えると、アプリはレイアウトを右から左へ変更し、見出し、ラベル、リスクカード、検証メッセージ、結果コントロールを翻訳するだけでなく、モデルに対して明確なウルドゥー文字で評価を生成させるよう指示する。 つまり、ユーザーは不審なメッセージを提出すると、リスクラベル、説明、警戒すべき点、安全な次のステップ、そして適切な場合の返信ドラフトを含む、ウルドゥー語での完全な安全性対応を受け取ることができます。ローカル向けの安全ツールにとってこれは重要であり、人々が最も使い慣れた言語で書かれたアドバイスの方が、信頼しやすく、行動に移しやすいからです。 このアプリは以下のような警告サインを検索します: - 緊急性の高い脅威やアカウント停止に関する言葉; - OTP、PIN、パスワード、CVV、CNIC の詳細情報、またはカードデータの要求; - 不審な支払いリンクや個人の携帯電話番号; - 銀行、通信会社、宅配業者、税務当局、警察のなりすまし; - 前払いを必要とする賞品、返金、求人情報、給付金。 その後、ツールはユーザーに安全な次のステップを提供します。例えば、不審なメッセージ内のリンクや電話番号を使用するのではなく、独自に見つけた公式チャネルを通じて確認することです。 ## 構築しながら学んだこと このプロジェクトから得た教訓は、小型モデルを用いて開発する際は、最高度のベンチマークスコアを追求するよりも、品質・速度・コスト・製品安全性の間の適切なバランスを見つけることが重要だということです。 ## 1. スコープが明確な場合に小型モデルは最も効果的 最大の学びの一つは、タスクを慎重に限定すれば、小型モデルが驚くほどよく機能しうるという点です。 Pakistan Notice Helper は一般的な詐欺調査ツールである必要はありません。目に見えるリスク信号を特定し、過剰な主張を避け、安全な次のステップを提供すれば十分です。そのことが、製品の範囲、プロンプト設計、出力契約を、モデル自体と同様に重要なものにしました。 このアプリは、「これは危険そうに見えます、ここに警告サインがあります、そして安全に次に取るべき行動はこれです」と伝えるために設計されています。「これは間違いなく本物か、あるいは間違いなく偽物だ」と断言するために設計されたものではありません。 ## 2. より大きなモデルから始める 私はまず **Qwen3.6 27B** から始めましたが、その品質は非常に優れていました。私のテストでは、不審なメッセージを非常にうまく処理し、強力で信頼性の高い説明を生み出しました。 問題はデプロイコストと実用性でした。このモデルはより多くの VRAM を必要とし、より大きな GPU マシンを要し、コールドスタート時の回復にも時間がかかりました。不規則なトラフィックを持つハッカソンのデモとしては理想的ではありませんでした。動作はしましたが、私が構築したかったような小さく焦点を絞ったツールにとっては、コストが高すぎ、重すぎました。 品質面では、このタスクに対してより大きなモデルの評価は **95/100** 程度となります。しかし、品質だけでは不十分です。私はコスト、速度、コールドスタート、そしてアプリが応答性を維持できるかどうかについても考えなければなりませんでした。 ## 3. より小さなローカルオプションのテスト その後、より多くのローカル環境で実行し、サービングコストを削減できることを期待して、はるかに小さいビジョン・ランゲージモデルである **MiniCPM-V 4.6 Q8** への移行を試みました。 その実験はうまくいきませんでした。GPU 上では非常に遅く、ZeroGPU を通じて実行しようとすると、クォータとランタイムの問題に直面しました。インターフェースにはまだ約 35 分のクォータが残っていると表示されていたにもかかわらず、アプリは安定して動作しませんでした。これらの問題の原因を完全に特定できてはいませんが、デプロイが不安定になったことは確かです。 その後、元に戻して Modal を通じてモデルをデプロイしました。デプロイ自体は高速で数秒以内にレスポンスが始まりましたが、モデルの品質は十分ではありませんでした。不審なメッセージの検出に苦しみ、テストケースの多くで失敗したため、結局このモデルは採用しませんでした。 ## 4. 「ちょうどいい」モデルを見つける その後、Artificial Analysis の小規模オープンソースモデルランキングを調べ、このプロジェクトに最適なモデルを見つけました：**Qwen3.5 4B** です。 これは Build Small という精神に沿って小さく保ちつつ、アプリの体験に必要な速度があり、必要な安全性機能を実現できる能力を持っていました。Qwen3.6 27B と比較すると、このタスクにおいては **80/100** 程度と評価できますが、より大規模なモデルは **95/100** に近い性能です。 しかし、そのトレードオフは妥当でした。 4B モデルは提供コストが安く、読み込みが速く、デプロイが容易で、小規模な Modal マシンでも実用的に動作します。このモデルの品質、速度、コスト、コールドスタート時の挙動のバランスが、Pakistan Notice Helper にとって「ちょうどいい」モデルとなりました。 ## 5. プロンプトと出力契約が極めて重要だった 初期バージョンの中には、有用な形で失敗したものもありました。 思考モードは最終的な構造化 JSON を返す前に 500 トークンの出力予算を消費してしまったため、本番環境では思考機能を無効化しました。1 つの密度の高いローマ・ウルドゥー語スクリーンショットが元の完了制限に達したため、画像リクエストにはより大きなトークン予算を割り当てるように変更しました。 別のモデルからの回答は、検証されていない公式に見えるドメインを提案していました。これは深刻な製品上の問題だったため、システムプロンプトを更新して、架空の URL、電話番号、組織、事実の使用を禁止するようにしました。 これらの修正により、システムはより安全で予測可能になりました。モデルには単に「詐欺を検出する」よう求められただけではなく、厳格な安全性契約に従うよう求められたのです。 ## 6. ウルドゥー語 UX には実際の製品開発が必要だった ウルドゥー語インターフェースも、私が予想していた以上に多くの作業を必要としました。 直訳は不自然に聞こえました。いくつかの見出しには異なる行間が必要でした。ウルドゥー語とラテン文字のモデル名が混在すると、予期せぬ順序で並べ替えられることがありました。モバイルコントロールにはより多くの縦方向のスペースが必要であり、特に右から左へのレイアウトではその傾向が強まりました。 また、バンドルされた Nastaliq ウェブフォントもテストしました。単独で見ると美しく映りましたが、製品 UI 内では可読性が低下し、インターフェースがあまり一貫性がないように感じられました。そのためこれを削除し、改善されたウルドゥー語のコピーと右から左へのレイアウトを維持したまま、システムのアラビア文字フォントスタックに戻しました。 これらは単なるデザインの細部ではありませんでした。アプリが明確で使いやすく、信頼できるものと感じられるかどうかに影響を与える要素だったのです。 ## 7. 最大の教訓 最終的な教訓は、製品に最適なモデルが必ずしも最大規模のモデルではないということです。 このプロジェクトでは、Qwen3.6 27B が最も優れた生データの品質を提供しましたが、Qwen3.5 4B が最高の製品バランスを実現しました。それは小さく、高速で、手頃な価格であり、明確に定義されたタスクに対して十分でした。 このトレードオフこそが、本プロジェクトを「Build Small」の理念に合致するものと感じさせた理由です。 ## Codex を用いた構築 Codex は、単なるモデルのデモにとどまらないこのプロジェクト全体において、私の作業を大幅に加速させました。Pakistan Notice Helper には、カスタムフロントエンド、Gradio ベックエンド、Modal でホストされた llama.cpp サーバー、スクリーンショット機能、ウルドゥー語モード、テスト、ドキュメント、そしてより安全な出力パイプラインが必要でした。 完全なコードは [GitHub リポジトリ](https://github.com/kingabzpro/pakistan-notice-helper) で公開されています。 私は Codex を単なるコード生成ツールとしてではなく、エンジニアリングの共同作業者として活用しました。既存のリポジトリの点検、変更の実装、テストの実行、デバッグ、ドキュメントの更新、そしてデプロイされたシステムと Modal、Gradio、llama.cpp のセットアップを整合させることなどにおいて、Codex は大きな役割を果たしました。 最も有用な部分の一つは、Hugging Face Spaces との互換性を Gradio Server を通じて維持しつつ、カスタムの HTML、CSS、JavaScript インターフェースを構築した点です。デフォルトの Gradio コンポーネントレイアウトを使用するのではなく、このアプリは製品スタイルのフロントエンドを採用しており、背景では Gradio のキューイングされた API ルートと SSE プロトコルと通信しています。 これにより、最終的なスペースは標準的なモデルの遊び場というよりも、実際のローカル向け安全ツールといった印象を与えるようになりました。Codex はまた、英語/ウルドゥー語切り替え、モバイルレイアウトの修正、結果カード、キャッシュされた例、トレース制御機能、およびデプロイフローのためのより明確なドキュメントなど、繰り返される UI の改良にも貢献しました。 私にとって最大の利点は、反復速度の速さでした。望む製品動作を記述し、実装を確認し、テストを行い、フロントエンド、バックエンド、モデルエンドポイント、そして安全制約がすべて連携するまでアプリを継続的に改良することができました。 ## プライバシー保護されたトレース機能 また、ユーザーのプライベートなコンテンツを公開することなく、アプリの利用状況を理解できるようにするためのオプションの公開トレース機能を追加しました。 このトレースオプションはアプリ内部で表示され、各リクエスト前に無効化できます。有効にすると、完全なユーザーメッセージやスクリーンショットではなく、限られたリクエストレベルのメタデータのみが記録されます。テキストは伏字処理され、長さが制限されます。画像は固定された要約を通じて表現され、保存されることはありません。 トレースには、生スクリーンショット、リンク、識別子、生成された説明、返信下書き、エラー、認証情報、および偶然にプライベートな詳細を繰り返す可能性がある自由形式のモデル出力は含まれません。 また、トレースデータセットも公開し、スキーマを確認してどのようなメタデータが共有されるかを見られるようにしました。 データセットはこちらで閲覧できます: [Pakistan Notice Helper public traces](https://huggingface.co/datasets/build-small-hackathon/pakistan-notice-helper-traces/viewer) これは、機密情報が元の入力だけでなく、そこから漏洩する可能性があるからです。モデルの説明、返信草案、抽出された電話番号、URL、または例外メッセージは、生メッセージが削除された場合でも個人の詳細を繰り返す可能性があります。これを避けるため、トレースシステムでは限定的なカテゴリ、ブール値、カウント、および固定された要約のみが公開されます。 このアプリは、推論のためにプライベートな Modal エンドポイントへライブのテキストと画像を送信し続けるため、これは非匿名のローカル推論として提示するものではありません。ユーザーには機密性の高い個人データを送信しないよう警告されており、各リクエスト前にパブリックなトレース共有をオフにすることができます。 ## これまでの結果 小規模な評価スイートは現実世界の精度推定ではありませんが、回帰テストには有用でした。 最終的な評価では以下の結果となりました： 測定項目 結果 初期厳格パス 10 件中 9 件 初期平均スコア 89.5/100 最終回帰パス 10 件中 10 件 最終回帰平均スコア 100/100 高リスク詐欺ケース すべて合格 スクリーンショットケース 両方とも合格 MTP ドラフト承認 440 トークン中 222 トークン ドラフト承認率 50.5% 最も重要な結果はスコアそのものではありませんでした。重要だったのは、スコープを限定した 4B モデルが、プロンプト、出力契約、および UI の修正後でも必要な安全性動作を維持できるという点です。 ## 次に構築すること 次の主要機能は、エージェントによる検証ワークフローとなるでしょう。 現在、Pakistan Notice Helper はトリアージ段階で動作しています。提出されたテキストやスクリーンショットを読み取り、目に見えるリスク信号を特定し、安全な次のステップを提示します。次のバージョンでは、アプリがさらに一歩進んで、その通知がオリジナルなのか、コピーされたものなのか、あるいはすでにオンライン上で詐欺として議論されているのかを検証する機能を追加したいと考えています。 このワークフローには、ウェブ検索とスクレイピングのために [Olostep](https://www.olostep.com/) を使用することを計画しています。エージェントはウェブ上で現在の詐欺警告を検索し、類似のメッセージが他の人々によって報告されていないか確認し、なりすまされている組織を特定し、主張を独立して発見された公式ソースと比較します。 また、この検証ワークフローを管理するために [OpenAI Agents SDK](https://openai.github.io/openai-agents-python/)（OpenAI エージェント SDK）の使用も計画しています。エージェントは単にランダムに閲覧するのではなく、制御されたプロセスに従います：おそらくの組織を抽出し、関連する警告を検索し、関連ページをスクレイピングし、ソースをランク付けし、最後にモデルの評価とともに証拠を提示します。 このワークフローには厳格な安全境界が必要です。エージェントは、疑わしいメッセージ内のリンク、電話番号、または連絡先情報を決して信頼してはいけません。独立して発見されたソースのみを使用し、証拠と推論を明確に区別する必要があります。 製品にはトレードオフも存在します。現在のアプリは通常、約 **5 秒** で結果を返しますが、コールドスタート時には約 **9 秒** かかります。ウェブ検索、スクレイピング、ソース確認、エージェント推論を追加すると、推論コストと応答時間の両方が増加します。完全な検証ワークフローには、現在のトリアージ体験よりもはるかに遅い、およそ **30 秒** を要する可能性があります。 そのため、ハッカソン版では高速な安全ガイダンスに焦点を絞り続けました。不審なメッセージの場合、速度が重要です。現在のバージョンは、ユーザーが素早く立ち止まり、危険な行動を回避するのに役立ちます。一方、将来的なエージェント型バージョンは、ユーザーがより長い時間を待てる場合に、より深い検証を提供できるでしょう。 ## 最後の考え Pakistan Notice Helper は設計上、小規模です。 あらゆる種類の詐欺を解決しようとするわけではありません。公式通知の検証を行うと主張するものでもありません。銀行、宅配業者、通信事業者、政府ポータルを代替するものではありません。 代わりに、ユーザーが立ち止まり、赤旗（警告）に気づき、より安全な次の一歩を踏み出すのを支援します。 このプロジェクトは、3 日間の集中した執筆、デプロイ、テスト、改善、そして荒削りの除去という期間で構築されました。進捗の大部分は、製品自体と向き合う時間から生まれました：実際のケースのテスト、小さな失敗の発見、プロンプトの修正、インターフェースの調整、そしてあらゆる決定の背後にあるエンジニアリング上の制約についての考察です。 そのプロセスによってプロジェクトは大幅に改善されました。単に機能を追加するだけでなく、テストと計画により多くの時間を費やしたおかげ、モデルサイズ、レイテンシ、コールドスタート、コスト、安全性の境界線、ウルドゥー語での使いやすさ、そして小規模なモデルが現実的にどこまで得意かを考える余地が生まれました。 小規模なモデルを用いた開発について多くを学びました。最大の教訓は、問題がローカルで焦点を絞り、慎重に設計されていれば、小規模なモデルも強力になるということです。すべてを解決できるわけではありませんが、範囲を正直に定義すれば、現実的な課題に対して依然として役立つことができます。 このデジタル世界では、詐欺や不正行為、不審なメッセージに囲まれています。Pakistan Notice Helper は完全な解決策ではありませんが、小さな第一歩です。暗い空の明かりのように、人々が遅くなりすぎないうちに立ち止まり、より安全に過ごし、より良い判断を下せるよう支援するために作られました。 これが私がこのハッカソンで作りたかった小規模 AI の姿です：ローカルで焦点を絞り、自身の限界について正直であり、設計された人々にとって実際に役立つもの。 ## プロジェクトリンク アプリを試したり、コードを確認したり、公開されたトレースデータセットを検索したりできます: - ウェブアプリ: Hugging Face Spaces 上の Pakistan Notice Helper - YouTube デモ：Pakistan Notice Helper Demo: Check Suspicious SMS, Bills, Bank Alerts, and Notices（不審な SMS、請求書、銀行アラート、通知を確認） - GitHub リポジトリ：kingabzpro/pakistan-notice-helper - 公開トレースデータセット：Hugging Face Datasets 上の Pakistan Notice Helper traces GitHub リポジトリには、アプリケーションコード、デプロイ設定、ドキュメント、モデル実験ノート、その他のプロジェクト詳細が含まれています。Space にはライブアプリがホストされており、データセットでは、生のユーザーメッセージやスクリーンショットを公開することなく、限定的なリクエストレベルのメタデータを公開するために使用されるプライバシー保護されたトレース形式を示しています。 ** 注:** このアプリケーションは、法的・金融的・銀行業務・政府検証に関するアドバイスではなく、安全ガイダンスとして意図されています。

パキスタン向け安全問題解決のための小型 AI ツール「Pakistan Notice Helper」の開発

背景や根拠まで確認しますか？

調べる

選ぶ

サイト