ブラウザ上で自動的に AI 生成テキストを検出する仕組みの現状と課題

自動的な AI 生成テキストの検出は、現在まだニッチな分野です。市場で唯一主要なプレイヤーとなっているのは Pangram ですが、これは非常に優れたサービスであるものの、競争がもっと必要だと切実に感じています。数年後には、主要なソーシャルネットワークがすべての新規投稿やコメントをスキャンして AI によるコンテンツかどうかをタグ付け（あるいは単に削除）するようになっていることに驚くことはないでしょう。

Pangram に頼って、AI が書いたような文章を読んだ際の疑念を確認できる点は気に入っています。しかし、最初から AI 生成のテキストを避けることができれば、さらに素晴らしいはずです。私が望んでいるのは、ブラウザでバックグラウンドで自動的に動作し、訪問するウェブサイトのテキストを自ら指示することなくスキャンしてくれる仕組みです。Pangram をベースにこれを作れるかもしれませんが、それにはコストがかかりますし、そもそもブラウザが目にしているすべてのテキストを第三者のサービスに送信するという考え自体が好きではありません。では、ローカルモデルはどうでしょうか。

AI 生成テキスト検出のために利用可能なオープンソースモデルは「まあまあ」です。Pangram は、誤検知率が 0.004% の中で 99.66% の検出率を達成していると主張しています。私はいくつかの小型ローカルモデルを、AI 検出用データセットを組み合わせてベンチマークした結果、以下の数値を得ました：

これらのモデルがこれほどまでに精度が低いと知っても、私は驚きません。実際、Pangram 社自社の EditLens 3B モデルのベンチマークさえ行いませんでした。これは私のラップトップで常時バックグラウンド実行するには大きすぎるからです。また、実際の生産環境用 Pangram モデルは、このモデルよりもおそらく 1〜2 桁大きいでしょう。

それでもこれらのモデルは、自身の限界を理解している人にとっては十分に有用です。AI によって書かれた記事を報告したい場合、すべてを報告する必要はありません。疑わしい程度で十分なのです。そして、誤検出率が約 2% であることを認識していれば、1 つの警告を AI 使用の確実な証拠として扱う必要はありません。

この結果に後押しされ、私は Deckard を活用しました。これは、Mac でローカルで動作しているモデル（上記表の太字のもの）と通信する Chrome 拡張機能です。素晴らしい点は、Web サーバーを起動する必要がないことです。Chrome 拡張機能は必要に応じてモデルを自動起動し、ネイティブメッセージング を通じて通信できます。アクティブ時には約 400MB〜1.2GB のメモリを使用します（つまり、Chrome タブが 5〜6 つ余計に開いている状態と同じです）。また、モデルを 5 分間使用しないと自動的にシャットダウンします。

Deckard が、私が AI 生成であると確信しているテキスト——例えば YouTube の組み込み AI サマリーや、私の記事にある AI スニペット など——を正しく検出してくれたことには、非常に驚きました。

軽量なので、常時バックグラウンドで動作させています。MacBook Pro が熱くなったり、バッテリー寿命が短くなったりした実感はありませんが、お使いの機種によっては結果が異なる可能性があります。

Deckard はまだ完成しているのでしょうか？結論から言えば、実用レベルに達しており、私も利用する予定ですし、自動 AI 検出に興味がある方には特におすすめです。ただし、現状は Pangram よりもはるかに劣っており、今後数年でこの種のツールが到達すると予想される水準にも遠く及んでいません。

実は 2023 年 11 月、私は「AI ドライブ型エージェント（LLM-driven agents）」が大きな転換点になると記しました。モデルの性能が十分になる前に、そのための基盤を早めに構築しておくことを推奨しています：

現代の言語モデルエンジニアリングと同様に、ReAct エージェントも、背後にあるモデルをより高性能なものに差し替えるだけで、劇的な性能向上を遂げることがあります。… 私は、こうしたエージェントに早期から投資し、新登場するより強力なモデルを活用できる体制を整えておくべきだと考えています。

私のこの予測は的中しました。そして（今回はそれほど重大な stakes ではありませんが）、AI 検出モデルについても同様の見解を持っています。AI 検出モデルの性能は時間とともに向上していくでしょう3。Pangram が永遠に唯一の選択肢であるはずもなく、いずれはローカル環境で動作する小規模モデルが、AI 作成文書の検出を十分な精度で行うようになるはずです。私は今、Deckard のローカルモデルを、2 倍あるいは 10 倍の性能を持つものへと差し替える日を心待ちにしています。

Substack にも同様の機能はほぼ実装されていますが、投稿をスキャンするにはボタンをクリックする必要があります。

私と Astra の共同作業では、非常に心地よい体験でした。主要な判断を下すことは自分ででき、より適切だがあまり馴染みのないプログラミング言語（例えば Python ではなく C++ で推論を行うなど）を選択できました。また、LLM は私が自ら考えつかなかった選択肢（ローカル HTTP ではなくネイティブメッセージングを使用するなど）を提示してくれました。

AI モデルが時間とともに人間らしくなっていくことを考えると、これは本当なのでしょうか？これは別の投稿で詳しく扱うべきテーマですが、私はそうだと考えています。第一に、AI ラボには Pangram のようなツールの開発を阻むインセンティブは実際になく（むしろ逆です）、第二に、RL によって学習された AI モデル固有の書き方スタイルを回避する方法はないからです。

この記事が気に入ったら、新着投稿に関するメール更新の 購読 や、Hacker News での共有 をご検討ください。

この投稿とタグを共有する関連記事のプレビューはこちら。

AI で作った変なプロジェクトたち

AI 生成のプロジェクトはどこにあるのでしょうか？これは AI に懐疑的な人々からよく寄せられる質問です。LLM がコードを書くのがこれほど得意なのに、なぜ AI 生成のアプリやサービス、ゲームが大量に登場しないのかと。

私にはこれが大きなパラドックスには見えません。新しい製品を世に出す（shipping）際、コードを書くことだけがボトルネックなのではありませんから。AI を使って行った有償の仕事については、生産性が向上したことはご信任いただくしかありませんが、私が過去 12 ヶ月で AI と共に作った個人的なプロジェクトのリストならお見せできます。

続きを読む...