3.3 推論のためのプロンプト最適化
LLMは推論タスクにおいて目覚ましい性能を示す一方で、その性能は挙動を導くために用いられるプロンプトに敏感であり得る。特に、適切なプロンプトを選ぶことで、その性能は大幅に向上し得る[49]。プロンプト最適化では、与えられたタスクで良好に性能を発揮するようにLLMの挙動を導くプロンプトまたは指示を見つけることが目標である。特に、我々はしばしば次のような計算グラフを持つ:
| データセット | 手法 | 精度(%) |
| Google-proof QA [27] | CoT [46, 47] | 51.0 |
| 報告されている最良値 [48] | 53.6 | |
| TEXTGRAD | 55.0 | |
| MMLU-機械学習 [45] | CoT [46, 47] | 85.7 |
| TEXTGRAD | 88.4 | |
| MMLU-大学物理学 [45] | CoT [46, 47] | 91.2 |
| TEXTGRAD | 95.1 |
ここで、タスクに対するQuestion、その質問へのAnswer、および正解が与えられたときの出力の質を示すEvaluation Metricがある。例えば、質問応答タスクでは、評価指標は回答の正確性であり、例えば文字列ベースの指標を用いて評価される。
ここでは、プロンプトを最適化するための少数の訓練例が与えられたとき、与えられたタスクにおいてLLMの性能を最大化することが目標である。我々の実験では、より強力なモデル(例:gpt-4o)によって生成されたフィードバックを用いて、より弱く安価なモデル(例:gpt-3.5-turbo-0125)の性能を向上させることが目標である。これは実用上有用である。なぜなら、プロンプトを最適化するために固定費を支払うことで、プロンプト最適化された弱いモデルを、強力でより高価なモデルの代わりに、より安価な推論コストで用いることができるからである。
1 # Initialize the system prompt 2 system_prompt = tg.Variable("You are a helpful language model. Think step by step.", 3 requires_grad=True, 4 role_description="system prompt to the language model") 5 6 # Set up the model object 'parameterized by' the prompt. 7 model = tg.BlackboxLLM(system_prompt=system_prompt) 8 9 # Optimize the system prompt 10 optimizer = tg.TextualGradientDescent(parameters=[system_prompt]) 11 12 for iteration in range(max_iterations): 13 batch_x, batch_y = next(train_loader) 14 optimizer.zero_grad() 15 # Do the forward pass 16 responses = model(batch_x) 17 losses = [loss_fn(response, y) for (response, y) in zip(responses, batch_y)] 18 total_loss = tg.sum(losses) 19 # Perform the backward pass and compute gradients 20 total_loss.backward() 21 # Update the system prompt 22 optimizer.step()
コードスニペット2:TEXTGRADによるプロンプト最適化の簡単な実装。
ここでは、ミニバッチ確率的勾配降下法の設定でTEXTGRADを使用する[18, 34]。特に、各イテレーションで、いくつかの訓練例を用いて式16のフォワードパスを実行する。擬似コードと短い実装は上記のスニペットにある。プロンプト最適化の完全な詳細は付録Eにある。TEXTGRADが各個別の解を最適化しようとするインスタンス最適化とは異なり、ここでの目標は、ベンチマーク内のすべての質問に対してうまく機能する単一のプロンプトを最適化することである。
タスク:我々は複数のデータセットでプロンプト最適化を探求する。それにはBig Bench Hardからの2つの標準的な推論タスク(Object CountingとWord Sorting、ランダムに50/100/100の訓練/検証/テストサンプルに分割)[50, 51]、GSM8kの小学校算数の問題解決[52](DSPyの訓練/検証/テスト分割を使用)が含まれる。GSM8kとObject Countingについては、文字列ベースの完全一致指標を用いて精度を定量化する(すなわち、応答で提示された最終的な数値が正解の答えと同一であるかどうか)。Word Sortingについては、LLMを用いて応答と正解の答えを比較する。タスク、プロンプト、および例示クエリの詳細については付録E.1に記す。
.
.
.
手法:我々は、バックプロパゲーション中にフィードバックを提供するためにgpt-4o [48]を用いて、gpt-3.5-turbo-0125の性能を改善することを探求する。特に、推論を実行するフォワードモデルはgpt-3.5-turbo-0125であるが、フィードバックを提供しプロンプトを改善するためにgpt-4oを使用する。バッチサイズ3で12イテレーション、すなわちモデルは合計36の訓練例を、復元抽出でランダムにサンプリングして見る。各イテレーションの後、データセットの検証セットを用いて検証ループを実行し、性能が前のイテレーションより良ければプロンプトを更新する。
ベースライン:我々には2つの主要なベースラインがある:
1. ゼロショットChain-of-Thought(CoT)[46, 47]:すべてのプロンプトをゼロショットCoTプロンプトとして初期化する。そこではモデルは答えを出す前にその推論を説明するために「ステップごとに考えよ」と指示される。この戦略はプロンプティングの強力なベースラインとしてよく知られている。
2. DSPyは最先端の言語モデルプログラミングおよびプロンプト最適化フレームワーク[10]であるため、我々はこれを参照ベースラインとして用いる。我々はDSPyのBootstrappedFewShotRandomSearch(BFSR)オプティマイザを10個の候補プログラムと8個の少数ショット例でインスタンス化する。このオプティマイザは、プロンプトに少数ショット例として含めるデモンストレーションを特定する。これは、指標(この場合、精度)を個別に通過し、CoT推論を含むLLMの入力と出力のトレースを生成することによって行われる。そして、これらのデモンストレーションを用いて最大サイズ8ショットのサブセットに対してランダムサーチを適用する。
| データセット | 手法 | 精度 (%) |
| 物体数え上げ [50, 51] | CoT(0ショット)[46, 47] | 77.8 |
| DSPy(BFSR、8デモンストレーション)[10] | 84.9 | |
| TExTGRAD(指示のみ、0デモンストレーション) | 91.9 | |
| 単語並べ替え [50, 51] | CoT(0ショット)[46, 47] | 76.7 |
| DSPy(BFSR、8デモンストレーション)[10] | 79.8 | |
| TExTGRAD(指示のみ、0デモンストレーション) | 79.8 | |
| GSM8k [52] | CoT(0ショット)[46, 47] | 72.9 |
| DSPy(BFSR、8デモンストレーション)[10] | 81.1 | |
| TExTGRAD(指示のみ、0デモンストレーション) | 81.1 |
例:gpt-3.5-turbo-0125のためにTextGradが最適化したプロンプト
初期化時のプロンプト(GSM8k精度):
あなたは数学的推論の質問に答えます。ステップごとに考えてください。常に応答の最後の行は次の形式で締めくくられなければなりません:『Answer: VALUE』ここでVALUEは数値です。」
バッチサイズ3で12イテレーション後のプロンプト(GSM8k精度):
あなたは数学的推論の質問に答えます。理解を確実にするために問題を自分の言葉で言い換えてください。問題をより小さなステップに分解し、各計算を詳細に説明してください。各ステップを検証し、正確性のために計算を再確認してください。適切な数学的表記を用い、質問の文脈と一貫性を保ってください。常に次の形式で最終的な答えを締めくくってください:『Answer: VALUE』ここでVALUEは数値です。
結果:3つのタスクすべてにおいて、TExTGRADは0ショットプロンプトの性能を有意に改善する。Word SortingとGSM8kではDSPy [10]と同程度に機能し、Object CountingではDSPyを改善する。コンテキスト内の8つのデモンストレーションはLLMの振る舞いを導くのに役立ち得るが、推論のコストを増加させ得る。興味深いことに、DSPyオプティマイザとTExTGRADは補完的な調整を行う——前者はインコンテキストのデモンストレーション例を追加し、後者はシステムプロンプトを最適化する。DSPyが選択した例をTExTGRADの最適化済みプロンプトに追加すると、性能がさらに改善され得る(GSM8kでは、DSPyからのデモンストレーションとTextGradからの指示を直接組み合わせると精度がに向上する)。これは、両方のアプローチを組み合わせることが実りある方向であることを示唆している。