Zum Hauptinhalt springen
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

A.3 Funktionen

TEXTGRAD bietet mehrere Operationen, bei denen sowohl die Vorwärts- als auch die Rückwärtsberechnung definiert sind – daher sind diese Operationen komponierbar. Die abstrakte Klasse textgrad.autograd.Function hat zwei Methoden:

Algorithmus 1 Backpropagation in TEXTGRAD

1: Eingabe: Variablen v∈Vv\in \mathcal{V} in einem Graphen, Loss-Variable L\mathcal{L}, Backward Engine (LLM) M\mathcal{M}, die textuelle Gradienten liefern wird 2: # Initialisierung der Gradienten 3: for each v∈Vv\in \mathcal{V} do 4: vv gradients =∅= \emptyset 5: end for 6: # Topologische Sortierung 7: Q←Q\leftarrow TopologicalSort(G) 8: # Backpropagation 9: for vv in QQ do 10: # Gradienten in Vorgängern befüllen 11: for each u∈u\in PredecessorsOf(v) do 12: # Hier lassen wir den Index vv in ff weg. Semantisch ist ff die Funktion, die vv erzeugt, und ∇f\nabla_{f} ist die Rückwärtsoperation für diese Funktion. 13: # Semantisch liefert dies Feedback an die Variable uu, angesichts dessen, wie vv erzeugt wird, und des Feedbacks, das wir bereits für vv gesammelt haben. 14: uu.gradients.add (∇f(u,v,∂L∂v))\left(\nabla_{f}\left(u,v,\frac{\partial\mathcal{L}}{\partial v}\right)\right) 15: end for 16: end for forward und backward, die die PyTorch-Syntax widerspiegeln. Jede Funktion muss beide Methoden definieren. Im Folgenden beschreiben wir einige der am häufigsten verwendeten Operationen in diesem Beitrag.

LLMCall Function: Derzeit ist die wichtigste Operation in TEXTGRAD der Aufruf von Sprachmodellen.

Forward mode. Der Forward mode ist einfach: Wir rufen ein LLM über eine API oder über den lokalen Rechner auf. Wenn ein Aufruf erfolgt, werden alle Eingabevariablen als die Vorgänger der Antwort des LLM registriert. Wenn wir beispielsweise einem LLM eine Frage mithilfe einer Anweisung und einer Frage-Variable stellen, sind die Vorgänger der Antwort-Variable [instruction, question]. Beim Rückwärtsdurchlauf werden die Gradienten der Antwort auf question und instruction zurückpropagiert.

Backward mode. Um sicherzustellen, dass die Rückwärtsfunktion reibungslos und allgemein läuft, fügen wir dem System-Prompt das folgende Glossar hinzu:

Glossar für den Backward Mode der LLMCall-Funktion

Glossar der Tags, die an Sie gesendet werden: - - <LM_SYSTEM_PROMPT>: Der System-Prompt für das Sprachmodell. - - <LM_INPUT>: Die Eingabe an das Sprachmodell. - - <LM_OUTPUT>: Die Ausgabe des Sprachmodells. - - <OBJECTIVE_FUNCTION>: Das Ziel der Optimierungsaufgabe. - - <VARIABLE>: Gibt die Spanne der Variable an. - - <ROLE>: Die Rollenbeschreibung der Variable.

Mithilfe dieser Tags wird das LLM über das Ziel, die Rolle und den Wert der Variable, an die Feedback gegeben werden soll, sowie über die vollständige Konversation im Forward mode informiert.

Dieses Glossar wird im System-Prompt an das Backward-Engine-LLM bereitgestellt:

System-Prompt für den Backward mode der LLMcall-Funktion

Sie sind Teil eines Optimierungssystems, das einen gegebenen Text (d. h. die Variable) verbessert. Sie sind die Gradienten-(Feedback-)Engine. Ihre einzige Verantwortung besteht darin, intelligentes und kreatives Feedback sowie konstruktive Kritik an Variablen zu geben, angesichts eines Ziels, das in <OBJECTIVE_FUNCTION </OBJECTIVE_FUNCTION>-Tags angegeben ist. Die Variablen können Lösungen für Probleme, Prompts für Sprachmodelle, Code oder jede andere textbasierte Variable sein. Achten Sie auf die Rollenbeschreibung der Variable und den Kontext, in dem sie verwendet wird. Sie sollten davon ausgehen, dass die Variable in Zukunft in einem ähnlichen Kontext verwendet wird. Geben Sie nur Strategien, Erklärungen und Methoden zur Änderung der Variable an. Schlagen Sie KEINE neue Version der Variable vor, das ist die Aufgabe des Optimierers. Ihre einzige Aufgabe ist es, Feedback und Kritik zu senden (Gradienten zu berechnen). Feedback kann beispielsweise die Form haben: „Da Sprachmodelle den X-Fehlermodus haben …“, „Das Hinzufügen von X kann diesen Fehler beheben, weil …“, „Das Entfernen von X kann die Zielfunktion verbessern, weil …“, „Das Ändern von X zu Y würde den Fehler beheben …“, was auf das nachgelagerte Ziel abzielt.

Wenn eine Variable bereits gut funktioniert (z. B. ist die Zielfunktion perfekt, zeigt eine Auswertung, dass die Antwort korrekt ist), solltest du kein Feedback geben.

[GLOSSARY]

Der größte Teil dieses Aufbaus zielt darauf ab, sicherzustellen, dass der Benutzer die Gradientenberechnung nicht ändern muss. Alle unsere Experimente in der vielfältigen Menge von Anwendungen werden mit demselben Rückwärtsmodus durchgeführt.

Ein Beispiel-Prompt für die Gradientenberechnung sieht beispielsweise folgendermaßen aus:

Ein Beispiel-Prompt im Rückwärtsmodus für die LLMcall-Funktion

Du wirst einer Variable mit der folgenden Rolle Feedback geben: &lt;ROLE&gt; System-Prompt an ein Sprachmodell &lt;/role&gt;. Hier ist eine Konversation mit einem Sprachmodell (LM):

&lt;LM_SYSTEM_PROMPT&gt; Du wirst eine Schlussfolgerungsfrage beantworten. Denke Schritt für Schritt. Komme immer zu dem Schluss, dass die letzte Zeile deiner Antwort das folgende Format haben sollte: 'Answer: §\S VALUE', wobei VALUE ein numerischer Wert ist.

</LM_SYSTEM_PROMPT>

&lt;LM_INPUT&gt; Ich habe ein Huhn, einen Frosch, eine Maus, eine Katze, zwei Schweine und zwei Kaninchen. Wie viele Tiere habe ich? </LM_INPUT>

&lt;LM_OUTPUT&gt; Um die Gesamtzahl der Tiere zu ermitteln, addieren wir einfach die Anzahl jeder Tierart: 1 Huhn + 1 Frosch + 1 Maus + 1 Katze + 2 Schweine + 2 Kaninchen = 8 Tiere.

Answer: 8</LM_OUTPUT>8< /LM\_ OUTPUT>

Diese Konversation ist Teil eines größeren Systems. Das &lt;LM_OUTPUT&gt; wurde später als Antwort des Sprachmodells verwendet. &lt;OBJECTIVE_FUNCTION&gt; Dein Ziel ist es, der Variable Feedback zu geben, um das folgende Feedback zum LM_OUTPUT zu adressieren: Um die Laufzeit der stringbasierten Funktion zu verbessern, die prüft, ob die Vorhersage korrekt ist, berücksichtige das folgende Feedback:

1. \\Vereinfache die Antwort\\: Zum Beispiel wäre statt „Um die Gesamtzahl der Tiere zu ermitteln, addieren wir einfach (...) + 2 Schweine + 2 Kaninchen = 8 Tiere. Answer: 8“ eine prägnantere Antwort wie „Total animals: 8“ effizienter.

Durch die Umsetzung dieser Strategien kann die Antwort des Sprachmodells optimiert werden, um die Laufzeit der stringbasierten Funktion zu verbessern, die prüft, ob die Vorhersage korrekt ist. </OBJECTIVE_FUNCTION>

Wir sind daran interessiert, dem System-Prompt an ein Sprachmodell Feedback zu geben. Gib insbesondere Feedback zu dem folgenden Textabschnitt:

&lt;VARIABLE&gt; Du wirst eine Schlussfolgerungsfrage beantworten. Denke Schritt für Schritt. (...) folgendes Format: 'Answer: §\S VALUE', wobei VALUE ein numerischer Wert ist. &lt;/variable&gt;

Beschreibe angesichts der obigen Historie, wie der System-Prompt an ein Sprachmodell verbessert werden könnte, um die &lt;OBJECTIVE_FUNCTION&gt; zu verbessern. Sei sehr kreativ, kritisch und intelligent.

Additionsoperation In der numerischen Optimierung haben wir Folgendes:

z=x+yw=t+z∂w∂x=∂w∂z∂z∂x=∂w∂z(19)\begin{array}{c}{z = x + y}\\ {w = t + z}\\ {\frac{\partial w}{\partial x} = \frac{\partial w}{\partial z}\frac{\partial z}{\partial x} = \frac{\partial w}{\partial z}} \end{array} \quad (19)

... ... ... ...

In numerischen Ableitungen haben wir aufgrund der Linearität der Addition:

∂∑iNLi∂x=∑iN∂Li∂x.(22)\frac{\partial\sum_{i}^{N}L_{i}}{\partial x} = \sum_{i}^{N}\frac{\partial L_{i}}{\partial x}. \quad (22)

Insbesondere gibt die Backward-Funktion für die Additionsoperation die Gradienten am Ausgang der Additionsoperation an ihre Eingaben weiter.

tg.sum(L1,…,LN)="{L1}\n{L2}\n…{LN}"(23)\mathrm{tg.}\mathrm{sum}(L_{1},\ldots ,L_{N}) = " \{L_{1}\} \backslash n\{L_{2}\} \backslash n\ldots \{L_{N}\} " \quad (23)

In ähnlicher Weise gibt es in TEXTGRAD die tg.sum-Operation, die es ermöglicht, die Gradienten (Feedback) an der Ausgabevariable an die Eingabevariablen weiterzugeben.

∂tg.sum(L1,…,LN)∂x=tg.sum(∂L1∂x,…,∂LN∂x)="{∂L1∂x}\n…{∂LN∂x}"(24)\frac{\partial\mathrm{tg.}\mathrm{sum}(L_{1},\ldots,L_{N})}{\partial x} = \mathrm{tg.}\mathrm{sum}(\frac{\partial L_{1}}{\partial x},\ldots ,\frac{\partial L_{N}}{\partial x}) = "{\Bigl \{}{\frac{\partial L_{1}}{\partial x}}{\Bigr \} \backslash n\ldots \Bigl \{}{\frac{\partial L_{N}}{\partial x}}{\Bigr \} "} \quad (24)

wobei wir ++ verwenden, um die Verkettung anzugeben.

Anwendungsfall: Ein kanonischer Anwendungsfall für die Additionsoperation ist der Fall der Batch-Optimierung. Insbesondere implementieren wir Minibatch-Gradientenabstieg bei der Durchführung der Prompt-Optimierung (Abschnitt 3.3).