A.3 Funktionen
TEXTGRAD bietet mehrere Operationen, bei denen sowohl die Vorwärts- als auch die Rückwärtsberechnung definiert sind – daher sind diese Operationen komponierbar. Die abstrakte Klasse textgrad.autograd.Function hat zwei Methoden:
Algorithmus 1 Backpropagation in TEXTGRAD
1: Eingabe: Variablen in einem Graphen, Loss-Variable , Backward Engine (LLM) , die textuelle Gradienten liefern wird 2: # Initialisierung der Gradienten 3: for each do 4: gradients 5: end for 6: # Topologische Sortierung 7: TopologicalSort(G) 8: # Backpropagation 9: for in do 10: # Gradienten in Vorgängern befüllen 11: for each PredecessorsOf(v) do 12: # Hier lassen wir den Index in weg. Semantisch ist die Funktion, die erzeugt, und ist die Rückwärtsoperation für diese Funktion. 13: # Semantisch liefert dies Feedback an die Variable , angesichts dessen, wie erzeugt wird, und des Feedbacks, das wir bereits für gesammelt haben. 14: .gradients.add 15: end for 16: end for forward und backward, die die PyTorch-Syntax widerspiegeln. Jede Funktion muss beide Methoden definieren. Im Folgenden beschreiben wir einige der am häufigsten verwendeten Operationen in diesem Beitrag.
LLMCall Function: Derzeit ist die wichtigste Operation in TEXTGRAD der Aufruf von Sprachmodellen.
Forward mode. Der Forward mode ist einfach: Wir rufen ein LLM über eine API oder über den lokalen Rechner auf. Wenn ein Aufruf erfolgt, werden alle Eingabevariablen als die Vorgänger der Antwort des LLM registriert. Wenn wir beispielsweise einem LLM eine Frage mithilfe einer Anweisung und einer Frage-Variable stellen, sind die Vorgänger der Antwort-Variable [instruction, question]. Beim Rückwärtsdurchlauf werden die Gradienten der Antwort auf question und instruction zurückpropagiert.
Backward mode. Um sicherzustellen, dass die Rückwärtsfunktion reibungslos und allgemein läuft, fügen wir dem System-Prompt das folgende Glossar hinzu:
Glossar für den Backward Mode der LLMCall-Funktion
Glossar der Tags, die an Sie gesendet werden: - - <LM_SYSTEM_PROMPT>: Der System-Prompt für das Sprachmodell. - - <LM_INPUT>: Die Eingabe an das Sprachmodell. - - <LM_OUTPUT>: Die Ausgabe des Sprachmodells. - - <OBJECTIVE_FUNCTION>: Das Ziel der Optimierungsaufgabe. - - <VARIABLE>: Gibt die Spanne der Variable an. - - <ROLE>: Die Rollenbeschreibung der Variable.
Mithilfe dieser Tags wird das LLM über das Ziel, die Rolle und den Wert der Variable, an die Feedback gegeben werden soll, sowie über die vollständige Konversation im Forward mode informiert.
Dieses Glossar wird im System-Prompt an das Backward-Engine-LLM bereitgestellt:
System-Prompt für den Backward mode der LLMcall-Funktion
Sie sind Teil eines Optimierungssystems, das einen gegebenen Text (d. h. die Variable) verbessert. Sie sind die Gradienten-(Feedback-)Engine. Ihre einzige Verantwortung besteht darin, intelligentes und kreatives Feedback sowie konstruktive Kritik an Variablen zu geben, angesichts eines Ziels, das in <OBJECTIVE_FUNCTION </OBJECTIVE_FUNCTION>-Tags angegeben ist. Die Variablen können Lösungen für Probleme, Prompts für Sprachmodelle, Code oder jede andere textbasierte Variable sein. Achten Sie auf die Rollenbeschreibung der Variable und den Kontext, in dem sie verwendet wird. Sie sollten davon ausgehen, dass die Variable in Zukunft in einem ähnlichen Kontext verwendet wird. Geben Sie nur Strategien, Erklärungen und Methoden zur Änderung der Variable an. Schlagen Sie KEINE neue Version der Variable vor, das ist die Aufgabe des Optimierers. Ihre einzige Aufgabe ist es, Feedback und Kritik zu senden (Gradienten zu berechnen). Feedback kann beispielsweise die Form haben: „Da Sprachmodelle den X-Fehlermodus haben …“, „Das Hinzufügen von X kann diesen Fehler beheben, weil …“, „Das Entfernen von X kann die Zielfunktion verbessern, weil …“, „Das Ändern von X zu Y würde den Fehler beheben …“, was auf das nachgelagerte Ziel abzielt.
Wenn eine Variable bereits gut funktioniert (z. B. ist die Zielfunktion perfekt, zeigt eine Auswertung, dass die Antwort korrekt ist), solltest du kein Feedback geben.
[GLOSSARY]
Der größte Teil dieses Aufbaus zielt darauf ab, sicherzustellen, dass der Benutzer die Gradientenberechnung nicht ändern muss. Alle unsere Experimente in der vielfältigen Menge von Anwendungen werden mit demselben Rückwärtsmodus durchgeführt.
Ein Beispiel-Prompt für die Gradientenberechnung sieht beispielsweise folgendermaßen aus:
Ein Beispiel-Prompt im Rückwärtsmodus für die LLMcall-Funktion
Du wirst einer Variable mit der folgenden Rolle Feedback geben: <ROLE> System-Prompt an ein Sprachmodell </role>. Hier ist eine Konversation mit einem Sprachmodell (LM):
<LM_SYSTEM_PROMPT> Du wirst eine Schlussfolgerungsfrage beantworten. Denke Schritt für Schritt. Komme immer zu dem Schluss, dass die letzte Zeile deiner Antwort das folgende Format haben sollte: 'Answer: VALUE', wobei VALUE ein numerischer Wert ist.
</LM_SYSTEM_PROMPT>
<LM_INPUT> Ich habe ein Huhn, einen Frosch, eine Maus, eine Katze, zwei Schweine und zwei Kaninchen. Wie viele Tiere habe ich? </LM_INPUT>
<LM_OUTPUT> Um die Gesamtzahl der Tiere zu ermitteln, addieren wir einfach die Anzahl jeder Tierart: 1 Huhn + 1 Frosch + 1 Maus + 1 Katze + 2 Schweine + 2 Kaninchen = 8 Tiere.
Answer:
Diese Konversation ist Teil eines größeren Systems. Das <LM_OUTPUT> wurde später als Antwort des Sprachmodells verwendet. <OBJECTIVE_FUNCTION> Dein Ziel ist es, der Variable Feedback zu geben, um das folgende Feedback zum LM_OUTPUT zu adressieren: Um die Laufzeit der stringbasierten Funktion zu verbessern, die prüft, ob die Vorhersage korrekt ist, berücksichtige das folgende Feedback:
1. \\Vereinfache die Antwort\\: Zum Beispiel wäre statt „Um die Gesamtzahl der Tiere zu ermitteln, addieren wir einfach (...) + 2 Schweine + 2 Kaninchen = 8 Tiere. Answer: 8“ eine prägnantere Antwort wie „Total animals: 8“ effizienter.
Durch die Umsetzung dieser Strategien kann die Antwort des Sprachmodells optimiert werden, um die Laufzeit der stringbasierten Funktion zu verbessern, die prüft, ob die Vorhersage korrekt ist. </OBJECTIVE_FUNCTION>
Wir sind daran interessiert, dem System-Prompt an ein Sprachmodell Feedback zu geben. Gib insbesondere Feedback zu dem folgenden Textabschnitt:
<VARIABLE> Du wirst eine Schlussfolgerungsfrage beantworten. Denke Schritt für Schritt. (...) folgendes Format: 'Answer: VALUE', wobei VALUE ein numerischer Wert ist. </variable>
Beschreibe angesichts der obigen Historie, wie der System-Prompt an ein Sprachmodell verbessert werden könnte, um die <OBJECTIVE_FUNCTION> zu verbessern. Sei sehr kreativ, kritisch und intelligent.
Additionsoperation In der numerischen Optimierung haben wir Folgendes:
... ... ... ...
In numerischen Ableitungen haben wir aufgrund der Linearität der Addition:
Insbesondere gibt die Backward-Funktion für die Additionsoperation die Gradienten am Ausgang der Additionsoperation an ihre Eingaben weiter.
In ähnlicher Weise gibt es in TEXTGRAD die tg.sum-Operation, die es ermöglicht, die Gradienten (Feedback) an der Ausgabevariable an die Eingabevariablen weiterzugeben.
wobei wir verwenden, um die Verkettung anzugeben.
Anwendungsfall: Ein kanonischer Anwendungsfall für die Additionsoperation ist der Fall der Batch-Optimierung. Insbesondere implementieren wir Minibatch-Gradientenabstieg bei der Durchführung der Prompt-Optimierung (Abschnitt 3.3).