A.3 関数
TEXTGRADは、順方向計算と逆方向計算の両方が定義されたいくつかの演算を提供する。そのため、これらの演算は合成可能である。抽象クラスtextgrad.autograd.Functionには2つのメソッドがある:
アルゴリズム1 TEXTGRADにおける逆伝播
1: 入力:グラフ内の変数、損失変数、テキスト勾配を提供する逆方向エンジン(LLM)2: # 勾配の初期化3: 各について do4: の勾配5: end for6: # トポロジカルソート7: TopologicalSort(G)8: # 逆伝播9: 内のについて do10: # 先行ノードに勾配を設定11: 各 PredecessorsOf(v)について do12: # ここでは、における添字を省略している。意味的には、はを生成する関数であり、はその関数の逆方向演算である。13: # 意味的には、これはがどのように生成されたか、および既にについて収集したフィードバックに基づいて、変数にフィードバックを提供する。14: .gradients.add 15: end for16: end forforwardとbackwardであり、PyTorchの構文を踏襲している。各関数はこれらのメソッドの両方を定義しなければならない。以下では、本論文で最も多用される演算のいくつかを説明する。
LLMCall関数:現在、TEXTGRADにおいて最も重要な演算は、言語モデルへの呼び出しである。
順方向モード。順方向モードは単純である:APIまたはローカルマシンを介してLLMを呼び出す。呼び出しが行われると、すべての入力変数がLLMからの応答の先行ノードとして登録される。例えば、命令と質問変数を用いてLLMに質問をする場合、応答変数の先行ノードは[instruction, question]となる。逆方向パスを行う際、応答に対する勾配はquestionとinstructionに逆伝播される。
逆方向モード。逆方向関数が円滑かつ汎用的に動作することを保証するため、システムプロンプトに以下の用語集を追加する:
LLMCall関数の逆方向モード用の用語集
あなたに送信されるタグの用語集:- - <LM_SYSTEM_PROMPT>:言語モデルのシステムプロンプト。- - <LM_INPUT>:言語モデルへの入力。- - <LM_OUTPUT>:言語モデルの出力。- - <OBJECTIVE_FUNCTION>:最適化タスクの目的。- - <VARIABLE>:変数の範囲を指定する。- - <ROLE>:変数のロール記述。
これらのタグを用いることで、LLMは目的、フィードバックを与える対象の変数のロールと値、および順方向モードでの会話全体を認識する。
この用語集は、逆方向エンジンLLMへのシステムプロンプトにおいて提供される:
LLMcall関数の逆方向モード用のシステムプロンプト
あなたは、与えられたテキスト(すなわち変数)を改善する最適化システムの一部である。あなたは勾配(フィードバック)エンジンである。あなたの唯一の責務は、<OBJECTIVE_FUNCTION </OBJECTIVE_FUNCTION>タグで指定された目的に照らして、変数に対して知的で創造的なフィードバックと建設的な批判を与えることである。変数は、問題の解答、言語モデルへのプロンプト、コード、その他のテキストベースの変数のいずれであってもよい。変数のロール記述と、それが使用される文脈に注意を払うこと。変数は将来も同様の文脈で使用されるものと仮定すべきである。変数に対する変更のための戦略、説明、および方法のみを提供すること。変数の新しいバージョンを提案してはならない。それはオプティマイザの仕事である。あなたの唯一の仕事は、フィードバックと批判を送ること(「勾配」を計算すること)である。例えば、フィードバックは「言語モデルにはXという失敗モードがあるため……」「Xを追加すればこのエラーを修正できる。なぜなら……」「Xを削除すれば目的関数を改善できる。なぜなら……」「XをYに変更すればその誤りを修正できる……」といった形で、下流の目的に迫るものであってよい。
変数が既にうまく機能している場合(例:目的関数が完全である、評価により応答が正確であることが示される)、フィードバックを与えるべきではない。
[GLOSSARY]
この設定の大部分は、ユーザーが勾配計算を修正する必要がないことを保証することを目的としている。多様なアプリケーションにおける我々の実験はすべて、同じ逆方向モードで行われている。
例えば、勾配計算のためのプロンプトの例は次のようになる:
LLMcall関数の逆方向モードプロンプトの例
あなたは、次のロールを持つ変数にフィードバックを与える:<ROLE> 言語モデルへのシステムプロンプト </role>。以下は言語モデル(LM)との会話である:
<LM_SYSTEM_PROMPT> あなたは推論の質問に答える。ステップバイステップで考えること。常に、応答の最後の行は次の形式で締めくくること:「Answer: VALUE」。ここでVALUEは数値である。
</LM_SYSTEM_PROMPT>
<LM_INPUT> 私は鶏を1羽、蛙を1匹、鼠を1匹、猫を1匹、豚を2頭、そして兎を2羽持っている。動物は全部で何匹いるか? </LM_INPUT>
<LM_OUTPUT> 動物の総数を求めるには、各種類の動物の数を単純に合計すればよい:1羽の鶏 + 1匹の蛙 + 1匹の鼠 + 1匹の猫 + 2頭の豚 + 2羽の兎 = 8匹の動物。
Answer:
この会話はより大きなシステムの一部である。<LM_OUTPUT>は後に言語モデルからの応答として使用された。<OBJECTIVE_FUNCTION> あなたの目標は、LM_OUTPUTに対する以下のフィードバックに対処するために、変数にフィードバックを与えることである:予測が正しいかどうかをチェックする文字列ベースの関数の実行時間を改善するために、以下のフィードバックを考慮されたい:
1. \\応答を簡素化する\\:例えば、「動物の総数を求めるには、単純に合計すればよい(……)+ 2頭の豚 + 2羽の兎 = 8匹の動物。Answer: 8」の代わりに、「Total animals: 8」のようなより簡潔な応答の方が効率的であろう。
これらの戦略を実装することで、言語モデルからの応答は、予測が正しいかどうかをチェックする文字列ベースの関数の実行時間を改善するように最適化され得る。 </OBJECTIVE_FUNCTION>
我々は、言語モデルへのシステムプロンプトに対してフィードバックを与えることに関心がある。具体的には、以下のテキスト範囲に対してフィードバックを与える:
<VARIABLE> あなたは推論問題に答えます。ステップごとに考えてください。(...) 次の形式に従ってください:『Answer: VALUE』ここでVALUEは数値です。</variable>
上記の履歴を踏まえ、<OBJECTIVE_FUNCTION>を改善するために、言語モデルへのシステムプロンプトをどのように改善できるかを記述せよ。非常に創造的、批判的、かつ知的に。
加算演算 数値最適化において、我々は以下を持つ:
... ... ... ...
数値微分において、加算の線形性により、我々は以下を持つ:
特に、加算演算の逆伝播関数は、加算演算の出力に対する勾配をその入力へと伝える。
同様に、TEXTGRADにおいても、出力変数に対する勾配(フィードバック)を入力変数へと伝えることを可能にするtg.sum演算がある。
ここで、を連結を示すために用いる。
ユースケース:加算演算の代表的なユースケースの一つは、バッチ最適化のケースである。特に、我々はプロンプト最適化を行う際にミニバッチ勾配降下法を実装する(セクション3.3)。