プロンプトエンジニアリング
Lilian Weng は、モデルの重み更新なしに大規模言語モデル（LLM）の挙動を制御する手法であるプロンプトエンジニアリングが、実証科学であり実験とヒューリスティクスを必要とする重要な分野であると定義している。
キーポイント
プロンプトエンジニアリングの定義
モデルの重み（weights）を更新せずに、LLM の挙動を所望の結果へ誘導するためのコミュニケーション手法であり、インコンテキスト・プーティングとも呼ばれる。
実証科学としての性質
効果はモデルごとに大きく異なるため、確定的な法則ではなく、多くの実験とヒューリスティクスに依存する経験的な科学である。
対象範囲の限定
本稿では自己回帰型言語モデル（autoregressive language models）に焦点を当てており、クローズドテストや画像生成、マルチモーダルモデルは除外される。
影響分析・編集コメントを表示
影響分析
この記事は、プロンプトエンジニアリングを単なるテクニックの羅列ではなく、モデル特性に応じた実験とヒューリスティクスに基づく「実証科学」として位置づけており、開発者や研究者に対して体系的なアプローチの重要性を再認識させる。LLM の活用において、重み更新に頼らない柔軟な制御手法としての価値を明確にし、現場での効果的な適用に向けた基礎知識を提供するものである。
編集コメント
Lilian Weng による解説は、プロンプトエンジニアリングの限界と本質を鋭く指摘しており、盲目的な試行錯誤ではなく、科学的アプローチの重要性を説いています。
プロンプトエンジニアリング、またはコンテキスト内プロンプティングとも呼ばれるものは、モデルの重みを更新することなく、LLM とのコミュニケーション方法を通じてその振る舞いを制御し、望ましい結果を導き出すための手法を指します。これは経験科学であり、プロンプトエンジニアリング手法の効果はモデルによって大きく異なるため、多くの実験とヒューリスティックなアプローチが必要です。
本稿では自己回帰型言語モデルに対するプロンプトエンジニアリングにのみ焦点を当てます。したがって、クローズテスト（Cloze tests）、画像生成、あるいはマルチモーダルモデルに関する内容は含まれません。その核心において、プロンプトエンジニアリングの目的はアライメントとモデルの制御可能性にあります。制御可能なテキスト生成については、私の以前の投稿をご覧ください。
原文を表示
Prompt Engineering, also known as In-Context Prompting, refers to methods for how to communicate with LLM to steer its behavior for desired outcomes *without* updating the model weights. It is an empirical science and the effect of prompt engineering methods can vary a lot among models, thus requiring heavy experimentation and heuristics.
This post only focuses on prompt engineering for autoregressive language models, so nothing with Cloze tests, image generation or multimodality models. At its core, the goal of prompt engineering is about alignment and model steerability. Check my previous post on controllable text generation.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み