Der allgemeine Fall
Die Abstraktion lässt sich ohne Weiteres auf beliebig komplexe Systeme anwenden. Definieren Sie einen Berechnungsgraphen durch
wobei eine Variable im Graphen ist, die Menge aller Variablen im Graphen ist und SuccessorsOf die Nachfolger und PredecessorsOf die Vorgänger einer Variablen zurückgibt. Im Allgemeinen kann der Wert von unstrukturierte Daten wie natürlicher Sprache Text oder Bilder sein. Für die meisten Ergebnisse und Darstellungen in dieser Arbeit ist natürlicher Sprache Text.
Weiterhin sei die Transformation, die eine Menge von Variablen verbraucht und die Variable erzeugt. Zum Beispiel können wir ein LLM oder einen numerischen Simulator als Transformation verwenden. Da verschiedene Funktionen unterschiedliche Möglichkeiten haben, Gradienten zu berechnen und Feedback zu sammeln, werden wir im Allgemeinen verwenden, um die Gradientenfunktion für eine Funktion zu bezeichnen. Um der Darstellung willen lassen wir den Index weg, wenn die Funktion offensichtlich ist.
Die Gradienten werden berechnet durch
wo wir die Menge der Gradienten von allen Nachfolgern von sammeln. Intuitiv erhalten wir Feedback aus jedem Kontext, in dem eine Variable verwendet wurde, und aggregieren diese.
Gleichung 11 berechnet rekursiv die Gradienten der nachgelagerten Zielfunktion in Bezug auf die gewünschten Variablen im Graphen. Die Funktion nimmt als Eingabe die Gradienten von in Bezug auf die Nachfolger einer gegebenen Variablen , den Wert der Variablen und die Nachfolger selbst. Beachten Sie, dass die endgültige Gradientenvariable eine Menge von Kontexten und Kritiken für jede Stelle enthält, an der eine Variable verwendet wurde.
Um schließlich eine gewünschte Variable im Graphen zu aktualisieren, können wir einen Optimierer verwenden:
der den Wert von basierend auf seinem aktuellen Wert und den Gradienten aktualisiert. Für einen Berechnungsgraphen mit Kanten führt jede Iteration der Optimierung höchstens zusätzliche Sprachmodellaufrufe durch, um Gradienten zu berechnen (1 Aufruf unter Verwendung des Gradientenoperators für jede Kante im Berechnungsgraphen). Für Implementierungen von Operationen in TEXTGRAD siehe Anhang A.