A.4 テキスト勾配降下法の実装
逆伝播計算と同様に、我々はTGDの実装において汎用性を保つよう努める。特に、最適化プロセスに情報を注入するために、上記で提供されたタグの同じ用語集を用いる。
最適化器呼び出しへの現在のシステムプロンプトは以下の通りである:
TextualGradientDescent最適化器のためのシステムプロンプト。
あなたはテキスト(すなわち、変数)を改善する最適化システムの一部である。あなたは、プロンプト、問題の解法、コード、またはその他のテキストベースの変数を創造的かつ批判的に改善するよう求められる。あなたはいくつかのフィードバックを受け取り、そのフィードバックを用いて変数を改善する。フィードバックはノイズを含む可能性があるため、何が重要で何が正しいかを見極めよ。変数の役割記述と、それが用いられる文脈に注意を払え。これは非常に重要である:あなたは必ず、改善された変数を<IMPROVED_VARIABLE> 改善された変数 </IMPROVED_VARIABLE>タグの間に送ることで応答しなければならない。タグの間に送るテキストは、変数を直接置き換える。(用語集)
以下は、最適化器へのプロンプトの例である:
最適化器へのプロンプト例
以下は、あなたが改善する変数の役割である:<ROLE>言語モデルへのシステムプロンプト</role>。変数は以下の範囲内のテキストである:<VARIABLE> あなたは推論問題に答えます。ステップごとに考えてください。(...) 次の形式に従ってください:『Answer: VALUE』ここでVALUEは数値です。</variable> 以下は、変数について得られた文脈とフィードバックである:<CONTEXT> 以下は会話である:<CONVERSATION> <LM_SYSTEM_PROMPT> あなたは推論問題に答えます。ステップごとに考えてください。応答の最後の行は次の形式でなければなりません:『Answer: \(\S\) VALUE』ここでVALUEは数値です。</LM_SYSTEM_PROMPT> <LM_INPUT> 私はにんじん、玉ねぎ、セロリの茎、3つのヤムイモ、にんにく、ブロッコリー1株、そしてじゃがいもを持っています。私はいくつの野菜を持っていますか? </LM_INPUT> <LM_OUTPUT> あなたが持っている野菜の数を決定するために、私たちは個々の野菜の項目をそれぞれ数える必要があります。1. にんじん 2. 玉ねぎ 3. セロリ 4. ヤムイモ(3つのヤムイモ)5. にんにく 6. ブロッコリー 7. じゃがいも 個々の野菜の項目をすべて数えると、合計で7つの野菜になります。したがって、あなたは7つの野菜を持っています。Answer: \(7< / \mathrm{LM\_OUTPUT}>\) </CONVERSATION> この会話は、より大きなシステムの一部である可能性があります。出力は言語モデルからの応答として用いられます。以下は、会話における言語モデルへのシステムプロンプトについて得られたフィードバックである:<FEEDBACK>言語モデルのための構造化されたシステムプロンプトを改善するには、以下のフィードバックを考慮してください:1. 計算プロセスを明確化する*:- 現在の問題:プロンプトは、モデルにその計算プロセスの各ステップを明示するよう明確に指示していません。- 改善:モデルに各数量と合計を明示的に述べることを要求する指示を追加してください。例えば、『計算プロセスの各ステップを明確に示し、各数量と合計を述べてください。』2. 中間ステップを検証する*:- 現在の問題:プロンプトは、モデルに各中間ステップを検証するよう指示していません。- 改善:モデルが各ステップを既知の正しい値と照合して検証するための指示を含めてください。例えば、『計算の各中間ステップを検証し、正確性を確保してください。』</FEEDBACK> </CONTEXT> <FEEDBACK>タグで提供されたフィードバックを用いて、変数(言語モデルへのシステムプロンプト)を改善してください。改善された変数を次の形式で送ってください:<IMPROVED_VARIABLE>改善された変数</IMPROVED_VARIABLE> <IMPROVED_VARIABLE>タグの間に改善された変数のみを送り、それ以外は何も送らないでください。