AI が生成した小説は検出されやすい：複雑な物語構造の欠如と説教じみた表現が原因、研究結果

image人工知能（AI）によって書かれたフィクションは、複雑な物語構造の構築に苦しみ、不器用な方法で道徳的な教訓を説く傾向があるため、検出が容易であることが、メリーランド大学カレッジパーク校とGoogle DeepMindの研究チームによるプレプリント研究で明らかになりました。彼らは、AI によるフィクションには、ダッシュの過剰使用や他の明らかな AI の常套句といったステレオタイプを超えた特徴があり、それはむしろテキスト自体が持つ定型化された性質に起因するものであることを発見しました。

「AI による物語はテーマを過度に説明し、整理された単一の筋道を好む一方、人間の作品では主人公の選択はより道徳的に曖昧な文脈で描かれ、時間的な複雑さが増している」と、50,000 編以上の AI 生成短編小説を対象とした研究は指摘しています。「Claude は事象のエスカレーションが notably flat（特筆すべきほど平坦）であり、GPT は夢のシーケンスに過度に依存し、Gemini は外部からのキャラクター描写をデフォルトとしています。AI によって生成された物語は物語空間のある共通領域に集約される一方、人間が執筆した作品はより多様性を示します。より広範には、これらの結果は、単なる文章スタイルの違いではなく、背後にある物語構築の差異こそが、人間のオリジナル作品と AI 生成フィクションを区別するために利用可能であることを示唆しています。」

基本的に、AI が生成したフィクションはひどく、現時点では検出も容易です。典型的な検出手法には、ダッシュの多用や「delve（深く掘り下げる）」という単語の過剰使用、あるいはゴブリンへの執着といった文体上のマーカーを探すことが含まれますが、このプロジェクトでは異なるアプローチを試みました。「このプロジェクトのアイデアは、最終的には単なるテキストベースの検出を超え、人間のアイデアと AI が生成したアイデアを区別できる何らかの空間へと移行したいと考えているからです」と、メリーランド大学の研究者であり研究著者の一人であるジェンナ・ラッセル氏は 404 Media に語りました。ラッセル氏はまた、AI 検出企業 Pangram のインターンでもあります。

ラッセル氏とそのチームは、彼女が「物語的特徴（narrative features）」と呼ぶものを AI が生成したフィクションから検出しようと考えました。この検出器の名前は StoryScope で、2025 年に発表されたフィクションにおける物語的特徴の分類体系を提案したベンチマーク NarraBench に基づいています。StoryScope は、プロットの展開、キャラクター描写、舞台設定、時間構造がどのように扱われているかを分析し、それが人間によって書かれたものか AI によって生成されたものかを判断します。

「これは私が初めて『表面の下』に潜り込み、アイデアにより焦点を当てようとした試みでした」とラッセルは語った。「物語の特性のみを頼りにして、典型的な AI 検出にどれほど近づけることができるかを確認し、このような構造的な違いが本当に存在するのかを理解したかったのです。この手法はまた、検出における解釈可能性を一部付与するものであり、これは分野内で未解決の課題です。物語の特性を用いることで、特定の具体的な特徴（例えば、物語に含まれるサブプロットの数など）を指し示すことができます。これが最近話題となっている理由だと思います。人々は実際に『ああ、これが AI が小説を書く際の根本的な特徴の一部だ』と言えるようになるのです」

StoryScope をテストするために、研究者らは 10,272 の人間が執筆した物語を選択し、Gemini 2.5 を用いてそれらを逆工程でライティングプロンプトに変換しました。その後、数千のこれらのプロンプトを Gemini 3 Flash、DeepSeek V3.2、Claude Sonnet 4.6、Kimi K2.5、および GPT 5.4 に投入しました。プロンプトと生成された AI による物語を含むすべてのデータは、Hugging Face で利用可能です。

物語の素材を得るために、研究者たちは Books3 データセットを使用しました。これは海賊版電子書籍から収集された 183,000 冊の書籍からなるデータベースです。このデータセットは複数の訴訟の対象となっており、不明な数の大規模言語モデル（LLM）のトレーニングに使用されてきました。StoryScope の研究では、これまでに書かれた最も有名な短編小説 10,000 篇以上が含まれており、その多くは人気のあるアンソロジーから抜粋されたものです。ジョイス・キャロル・オーツ、スティーヴン・キング、ルイ・ラモア、シャーロット・パーキンス、ハラン・エリソンといった作家の名前が挙げられます。彼らの作品はすべて AI によって基本要素に分解され、その後別の LLM に再生されて、その模倣が可能かどうかを試されました。

ラッセル氏はこのデータセットが論争を呼ぶものであると私に話しました。「だからこそ、私たちはこれを一般公開しないのです」と彼女は言いました。

研究自体には開示事項が含まれていました。「Books3 データセットに関連する著作権の問題を認識しており、モデルのトレーニングや商業的なテキスト生成におけるその使用を推奨するものではありません。本研究論文でのデータセットの使用は学術目的に限定されており、AI 検出、著者権、著作権政策に関する議論を情報提供するために、人間が執筆したテキストと AI が生成したテキストの物語上の違いを理解することを意図しています」と記されています。

もちろん、さまざまな AI が O・ヘンリーの文章を完全に再現することは不可能です。では、StoryScope によると、英語の偉大な小説作品の LLM によるシミュラクラ（模倣体）にはどのような物語上の癖があるのでしょうか？

まず、AI ツールはテーマについて過度に説明する傾向があります。

「ナレーターは物語のテーマを明示的に説明する頻度が77%に達し、人間の作品では52%です。悲嘆に暮れるキャラクターのアークは通常、ナレーターが学んだ教訓を述べることで終わります。AI の対話は哲学的な議論をより多く扱い（59% 対 34%）、他の作品への言及も具体的な名称付きの参照ではなく、曖昧な暗示である傾向があります（72% 対 50%）。このパターンは過剰決定の特徴であり、『AI は意味を説明し、読者に推論させることを信頼しない』と研究は述べています。

また、AI はサブプロットを避けがちで、時間の飛躍やフラッシュバックを巧みに扱うことができません。システムは身体や感覚に関する記述を上書きします。「人間作家がキャラクターが『恐れを感じた』と書くところを、AI は恐怖を胸の締め付け、冷や汗、そして暗くなるランプの光として描写する」と研究は指摘しています。人間はまた、AI が処理しきれないほど複雑な物語を紡ぎ、より多くの登場人物や場所を含めます。さらに、人間は他の文学作品や特定の人物・場所への言及を、AI が苦手とするような方法で行います。

StoryScope 研究の下部にある開示事項が私の目を引きました。「大規模言語モデルおよびコーディングエージェント（Claude Code および Codex）は、執筆の補助と推敲、ならびに一部の表やプロットの生成に使用されています」と記載されています。

「AI の利用を開示することが重要だと信じています（理想的には、私が論文に書いた内容よりもさらに詳細であるべきだと思います）」とラッセルは私に語りました。「多くの研究者が AI を使用しており、その多くは明らかに『ゴミ』のように見えますが、一方で多くの場合は高品質な努力を要する優れた研究です。また、技術的には会議への提出時に AI の利用を開示すべきとされていますが、実際にはほとんどの人が開示していません。私はこの規範を変える手助けをしたいのです！」

彼女はまた、AI エージェントがどのようにプロジェクトの形成に貢献したかについてさらに説明しました。「コードの実装には AI エージェントを使用しています（Claude Code や Codex のインターフェースを利用）。執筆プロセスでは編集者としても活用しています！彼らはプロジェクトのコードベースと論文の LaTeX ファイルへのアクセス権を持っており、そのため私が行うよりもはるかに迅速にグラフィックを実装してくれます」と彼女は言いました。「コメントの作成や論文ドラフトへの追加も行いますが、私はすべての提案を異なる色で表示し、AI からの提案を手動でレビューして承認・拒否・編集できるようにしています。AI は執筆を助けることもあれば害を与えることもあると強く信じていますが、通常はインターネット上の『ゴミ』を増やすために使用されない場合に役立ちます。」

私はハーラン・エリソンとロバート・シルヴァーバーグの短編「Ship-Shape Pay-Off」が AI プロンプトに変換され、LLM によって再生される様子をずっと考えていました。エリソンは 2018 年に亡くなりましたが、その作品を非常に厳格に守ることで有名で、暴力に至るケースさえありました。彼は『ターミネーター』の著作権侵害問題でジェームズ・キャメロンを勝訴させました。彼の物語が機械に読み込まれる姿を見て彼が喜ぶとは、どんな結果であっても想像しがたいことです。

「多くの教師や読者は、文章作成過程に AI が使われたかどうかにはあまり関心がないものの、その作品の核心を担っているのが人間かどうかについては気にしている」とラッセル氏は語る。「教師は生徒が授業を理解したかどうかを知りたがり、読者は感動的な物語の背後にある創造性が本当に人間の作者によるものなのかを知りたいのだ」