メインコンテンツへスキップ
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

ウォームアップ:2つのLLM呼び出しからなるシステム

計算グラフの例。従来の自動微分では、連鎖律を用いて下流の損失に関して変数を改善する方向を提供する勾配を計算する。単純な類推として、次の単純なシステムを見てみよう:

Prediction=LLM(Prompt+Question),Evaluation=LLM(Evaluation+Prediction),(1)\begin{array}{r}\mathrm{Prediction} = \mathrm{LLM}(\mathrm{Prompt} + \mathrm{Question}),\\ \mathrm{Evaluation} = \mathrm{LLM}(\mathrm{Evaluation} + \mathrm{Prediction}), \end{array} \quad (1)

a 数値勾配を用いたニューラルネットワークと誤差逆伝播法

b ブラックボックスAIシステムと自然言語の「勾配」を用いた誤差逆伝播法

C 1 抽象化における類推

数学PyTorchTextGrad
入力xTensor(image)tg.Variable(article)
モデルy = fθ(x)ResNet50( )tg.BlackboxLLM("You are a summarizer.")
損失L(y, y) = ∑ y; log( y; )CrossEntropyLoss( )tg.TextLoss("Rate the summary.")
オプティマイザGD(θ; θ) = θ - θL/θ0SGD(List(model.parameters( )))tg.TGD(List(model.parameters( )))

2 自動微分

PyTorchとTextGradは、逆伝播と最適化のための同一の構文を共有している。

d 分子最適化のためのTextGrad

e コード最適化のためのTextGrad

f 治療計画最適化のためのTextGrad

g プロンプト最適化のためのTextGrad

あなたは推論問題に答えます。ステップごとに考えてください。回答の最終行は次の形式でなければなりません:「Answer: $VALUE」。ここでVALUEは数値です。

初期化時のプロンプト(精度 = 77.8%)

あなたは推論問題に答えます。各項目とその数量を「- 項目:数量」のような明確で一貫した形式で列挙してください。リストから直接値を合計し、簡潔な総和を示してください。最終的な答えが「Answer: $VALUE」の形式で明確に示されるようにしてください。ここでVALUEは数値です。各項目がクエリの文脈に関連していることを確認し、入力における潜在的な誤りや曖昧さに対処してください。最終的な計数を再確認して正確性を確保してください。」

最適化後のプロンプト(精度 = 91.9%)

図1:テキストによる自動「微分」(a、b)。勾配の逆伝播は深層学習の原動力である。ブラックボックスAIシステムの複合システムには勾配が存在しないが、テキストベースのフィードバックに対して類似の逆伝播を構築することができ、これがTEXTGRADの基盤を成す。TEXTGRADにおける抽象化(c)。我々のフレームワークを汎用化し、習得しやすくするために、PyTorchと同じ抽象化と構文を共有している。TEXTGRADの応用(d、e、f、g)。セクション3.4では、薬剤性やタンパク質結合親和性などの特性のために分子構造を最適化する(d)。セクション3.1では、コーディング問題の解答を最適化する(e)。セクション3.5では、患者の転帰を改善するために放射線治療計画を最適化する(f)。セクション3.3では、言語モデルの推論を改善するためにプロンプトを最適化する(g)。ここで、最適化する自由パラメータであるプロンプトを緑で示し、++ を用いて2つの文字列の連結を表し、LLM(x)\mathrm{LLM}(x) を用いて xx をプロンプトとして言語モデルに与え応答を収集することを表す。我々は連鎖記法:

Prompt+Question→LLMEvaluationInstruction+Prediction→LLMEvaluation,(3)\mathrm{Prompt} + \mathrm{Question} \xrightarrow{\mathrm{LLM}} \mathrm{Evaluation} \mathrm{Instruction} + \mathrm{Prediction} \xrightarrow{\mathrm{LLM}} \mathrm{Evaluation}, \quad (3)

をこのシステムを表す別の方法として用いる。ここでは、プロンプトを用いて質問に対する予測を生成するために1回のLLM呼び出しを行い、この予測を評価するために別のLLM呼び出しを行う。

勾配計算の例。この例のシステムにおいて、評価に関してプロンプトを改善するために、以下のようにして逆伝播[19]アルゴリズムの類似物をインスタンス化する:

単純なグラフに対する勾配計算:プロンプト →LLM\xrightarrow{\mathrm{LLM}} 予測 →LLM\xrightarrow{\mathrm{LLM}} 評価

∂Evaluation∂Prompt=∂Evaluation∂Prediction⋅∂Prediction∂Prompt=∇LLM(Prediction,Evaluation),(4)\frac{\partial\mathrm{Evaluation}}{\partial\mathrm{Prompt}} = \frac{\partial\mathrm{Evaluation}}{\partial\mathrm{Prediction}}\cdot \frac{\partial\mathrm{Prediction}}{\partial\mathrm{Prompt}} = \nabla_{\mathrm{LLM}}(\mathrm{Prediction},\mathrm{Evaluation}), \quad (4)

ここで、順伝播関数がLLM呼び出しである場合の勾配演算子として ∇LLM\nabla_{\mathrm{LLM}} を用いる。特に、この関数は「この予測は…によって改善できる」のような自然言語のフィードバックを返す。このフィードバックは、下流の目的関数を改善するために変数をどのように修正すべきかを記述しており、最適化における勾配に類似している。我々はまず、評価を用いて予測変数へのフィードバックを収集する。次に、このフィードバックと(プロンプト →LLM\xrightarrow{\mathrm{LLM}} 予測)呼び出しが与えられたもとで、プロンプトに関するフィードバックを収集する。

注意として、我々はこの記法を、出力変数が後続を持たない場合(例:∇LLM(Prediction,Evaluation)\nabla_{\mathrm{LLM}}(\mathrm{Prediction},\mathrm{Evaluation}))と、後続を持ち、したがって勾配を持つ場合(例:∇LLM(Prompt,Prediction,∂Loss∂Prediction)\nabla_{\mathrm{LLM}}(\mathrm{Prompt},\mathrm{Prediction},\frac{\partial\mathrm{Loss}}{\partial\mathrm{Prediction}}))の両方を表すために多重定義している。

以下は、x→LLMy→LLMLx \xrightarrow{\mathrm{LLM}} y \xrightarrow{\mathrm{LLM}} \mathcal{L} のような単純なシステムに対してフィードバックを収集するために ∇LLM\nabla_{\mathrm{LLM}} をインスタンス化する柔軟な方法である:

勾配演算子の実装例

\[\begin{array}{r l} & {\frac{\partial\mathcal{L}}{\partial x} = \nabla_{\mathrm{LLM}}(x,y,\frac{\partial\mathcal{L}}{\partial y})\triangleq \mathrm{"H e r e~i s~a~c o n v e r s a t i o n~w i t h~a n~L L M:~}\{x|y\} .}\\ & {\qquad +\qquad}\\ & {\qquad \mathrm{LLM}(\mathrm{H e r e~i s~a~c o n v e r s a t i o n~w i t h~a n~L L M:~}\{x|y\} .}\\ & {\qquad \mathrm{Below~a r e~t h e~c r i t i c i s m s~o n~\{y\} :}}\\ & {\qquad \left\{\frac{\partial\mathcal{L}}{\partial y}\right\}}\\ & {\qquad \mathrm{Explain~h o w~t o~i m p r o v e~\{x\} .),} \end{array} \quad (6)

ここで、勾配オブジェクトは、変数が現れる文脈と LLMa\mathrm{LLM}^a から得られたフィードバックの組み合わせであり、Pryzant et al. [25] と同様に定義される。この演算子は、例えば応用領域に依存しないことに注意されたい。一度実装されれば、LLM呼び出しに対する勾配演算子は、すべての応用に対してフレームワーク全体を通して固定される。

a 我々が使用する正確なプロンプトは、汎用性と柔軟性を確保するために異なるものである;これらの例は説明のためだけに用いている。

最適化器の例。標準的な勾配降下法では、変数の現在の値は減算を通じて勾配と組み合わされる。例えば:

θnew=GradientDescent.step(θ,∂L∂θ)=θ−∂L∂θ.(7)\theta_{\mathrm{new}} = \mathrm{GradientDescent.step}(\theta ,\frac{\partial\mathcal{L}}{\partial\theta}) = \theta -\frac{\partial\mathcal{L}}{\partial\theta}. \quad (7)

勾配に基づく最適化の類推を続けて、我々はテキスト勾配降下法(TGD)を用いる:

TGDによる単純なグラフにおけるPrompt変数の更新。

Promptnew=TGD.step(Prompt,∂Evaluation∂Prompt).(8)\mathrm{Prompt}_{\mathrm{new}} = \mathrm{TGD.step}(\mathrm{Prompt},\frac{\partial\mathrm{Evaluation}}{\partial\mathrm{Prompt}}). \quad (8)

これによりパラメータ、この場合はPromptを更新する。特に、現在の変数とその変数に対して収集した勾配(フィードバック)が与えられると、最適化器はこの変数の更新を試みる。

TGDをインスタンス化する具体的な方法は以下の通りである:

TGDの1反復の実装例

xnew=TGD.step(x,∂L∂x)≜LLM(Below are the criticisms on {x};{∂L∂x}Incorporate the criticisms, and produce a new variable. ).(9)\begin{array}{r l} & {x_{\mathrm{new}} = \mathrm{TGD.step}(x,\frac{\partial\mathcal{L}}{\partial x})\triangleq \mathrm{LLM}(\mathrm{Below~are~the~criticisms~on~}\{x\} ;}\\ & {\qquad \left\{\frac{\partial\mathcal{L}}{\partial x}\right\}}\\ & {\qquad \mathrm{Incorporate~the~criticisms,~and~produce~a~new~variable.~).}} \end{array} \quad (9)

ここで、xx は改善したい変数であり、∂L∂x\frac{\partial\mathcal{L}}{\partial x} は逆伝播中にその変数に対して得られたフィードバックである。勾配演算子と同様に、この関数も応用領域に依存せず、TGDの実装はフレームワークのすべての使用において同一である。

a 我々が使用する正確なプロンプトは、汎用性と柔軟性を確保するために異なるものである;これらの例は説明のためだけに用いている。