メインコンテンツへスキップ
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

一般的な場合

この抽象化は、任意に複雑なシステムに容易に適用できる。計算グラフを次で定義する:

v=fv(PredecessorsOf(v))∀v∈V(10)v = f_{v}(\mathrm{PredecessorsOf}(v))\forall v\in \mathcal{V} \quad (10)

ここで、vv はグラフ内の変数、V\mathcal{V} はグラフ内のすべての変数の集合であり、SuccessorsOfは変数の後続を返し、PredecessorsOfは変数の先行を返す。一般的に言えば、vv の値は自然言語テキストや画像のような非構造化データであり得る。本論文の結果と説明の大部分において、vv は自然言語テキストである。

さらに、fvf_{v} を、変数の集合を消費して変数 vv を生成する変換とする。例えば、変換としてLLMや数値シミュレータを用いることができる。異なる関数は勾配を計算しフィードバックを収集する異なる方法を持つため、一般に関数 ff に対する勾配関数を表すのに ∇f\nabla_{f} を用いる。説明の都合上、関数が明らかな場合は添字を省略する。

勾配は次によって計算される:

∂L∂v=⋃w∈SuccessorsOf(v)∇f(v,w,∂L∂w),(11)\frac{\partial\mathcal{L}}{\partial v} = \bigcup_{w\in \mathrm{SuccessorsOf}(v)}\nabla_{\mathrm{f}}\left(v,w,\frac{\partial\mathcal{L}}{\partial w}\right), \quad (11)

ここで、vv のすべての後続から勾配の集合を収集する。直感的には、変数 vv が使用されたあらゆる文脈からフィードバックを得て、それらを集約する。

式11は、グラフ内の所望の変数 vv に関する下流の目的関数の勾配を再帰的に計算する。∇i\nabla_{i} 関数は、与えられた変数 vv の後続に関する L\mathcal{L} の勾配、変数 vv の値、および後続自体を入力として取る。最終的な勾配変数は、変数が使用されたあらゆる箇所に対する文脈と批判の集合から成ることに注意されたい。

最後に、グラフ内の任意の所望の変数 vv を更新するために、最適化器を用いることができる:

vnew=TGD.step(v,∂L∂v),(12)v_{\mathrm{new}} = \mathrm{TGD.step}\left(v,\frac{\partial\mathcal{L}}{\partial v}\right), \quad (12)

これは、vv の現在の値と勾配に基づいて vv の値を更新する。nn 個の辺を持つ計算グラフでは、最適化の各反復は勾配を計算するために最大 nn 回の追加の言語モデル呼び出しを行う(計算グラフ内の各辺に対して勾配演算子を用いて1回の呼び出し)。TEXTGRADにおける演算の実装については付録Aを参照されたい。