Zum Hauptinhalt springen
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

Der allgemeine Fall

Die Abstraktion lässt sich ohne Weiteres auf beliebig komplexe Systeme anwenden. Definieren Sie einen Berechnungsgraphen durch

v=fv(PredecessorsOf(v))∀v∈V(10)v = f_{v}(\mathrm{PredecessorsOf}(v))\forall v\in \mathcal{V} \quad (10)

wobei vv eine Variable im Graphen ist, V\mathcal{V} die Menge aller Variablen im Graphen ist und SuccessorsOf die Nachfolger und PredecessorsOf die Vorgänger einer Variablen zurückgibt. Im Allgemeinen kann der Wert von vv unstrukturierte Daten wie natürlicher Sprache Text oder Bilder sein. Für die meisten Ergebnisse und Darstellungen in dieser Arbeit ist vv natürlicher Sprache Text.

Weiterhin sei fvf_{v} die Transformation, die eine Menge von Variablen verbraucht und die Variable vv erzeugt. Zum Beispiel können wir ein LLM oder einen numerischen Simulator als Transformation verwenden. Da verschiedene Funktionen unterschiedliche Möglichkeiten haben, Gradienten zu berechnen und Feedback zu sammeln, werden wir im Allgemeinen ∇f\nabla_{f} verwenden, um die Gradientenfunktion für eine Funktion ff zu bezeichnen. Um der Darstellung willen lassen wir den Index weg, wenn die Funktion offensichtlich ist.

Die Gradienten werden berechnet durch

∂L∂v=⋃w∈SuccessorsOf(v)∇f(v,w,∂L∂w),(11)\frac{\partial\mathcal{L}}{\partial v} = \bigcup_{w\in \mathrm{SuccessorsOf}(v)}\nabla_{\mathrm{f}}\left(v,w,\frac{\partial\mathcal{L}}{\partial w}\right), \quad (11)

wo wir die Menge der Gradienten von allen Nachfolgern von vv sammeln. Intuitiv erhalten wir Feedback aus jedem Kontext, in dem eine Variable vv verwendet wurde, und aggregieren diese.

Gleichung 11 berechnet rekursiv die Gradienten der nachgelagerten Zielfunktion in Bezug auf die gewünschten Variablen vv im Graphen. Die Funktion ∇i\nabla_{i} nimmt als Eingabe die Gradienten von L\mathcal{L} in Bezug auf die Nachfolger einer gegebenen Variablen vv, den Wert der Variablen vv und die Nachfolger selbst. Beachten Sie, dass die endgültige Gradientenvariable eine Menge von Kontexten und Kritiken für jede Stelle enthält, an der eine Variable verwendet wurde.

Um schließlich eine gewünschte Variable vv im Graphen zu aktualisieren, können wir einen Optimierer verwenden:

vnew=TGD.step(v,∂L∂v),(12)v_{\mathrm{new}} = \mathrm{TGD.step}\left(v,\frac{\partial\mathcal{L}}{\partial v}\right), \quad (12)

der den Wert von vv basierend auf seinem aktuellen Wert und den Gradienten aktualisiert. Für einen Berechnungsgraphen mit nn Kanten führt jede Iteration der Optimierung höchstens nn zusätzliche Sprachmodellaufrufe durch, um Gradienten zu berechnen (1 Aufruf unter Verwendung des Gradientenoperators für jede Kante im Berechnungsgraphen). Für Implementierungen von Operationen in TEXTGRAD siehe Anhang A.