Zum Hauptinhalt springen
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

Optimierungstechniken

Die automatische Differenzierung ist eine starke Analogie für TEXTGRAD und bietet konzeptionelle Unterstützung für die im Framework implementierten Optimierungstechniken. Im Folgenden beschreiben wir einige Beispiele.

Batch-Optimierung: Wir implementieren stochastischen Minibatch-Gradientenabstieg [18, 34] für die Prompt-Optimierung. Konkret summieren wir nach einem Vorwärtsdurchlauf mit mehreren Instanzen in einem Batch und der Bewertung einzelner Verlustterme die Verluste mit der Funktion tg.sum (ähnlich wie torch.sum). Im Rückwärtsdurchlauf werden Gradienten bezüglich der Variablen über einzelne Verlustterme hinwegkonkateniert, was der Rückpropagierung durch eine Addition entspricht.

Eingeschränkte Optimierung: Wir verwenden natürlichsprachliche Einschränkungen und bauen dabei auf der eingeschränkten Optimierung als Analogie auf [35]. Insbesondere verwenden wir natürlichsprachliche Einschränkungen (z. B. wie „Die letzte Zeile Ihrer Antwort sollte folgendes Format haben: ‚Answer: \*SELECT‘, wobei LETTER eines von ABCD ist.“), um das Verhalten des Optimierers zu lenken. Wir beobachten, dass Sprachmodelle dank Instruction-Tuning [36, 37] diese einfachen Einschränkungen befolgen können, obwohl ihre Zuverlässigkeit bei zu vielen Einschränkungen abnehmen kann [38, 39].

Momentum: Wir verwenden die Analogie zum Momentum beim Gradientenabstieg [40, 41]. Bei der Optimierung einer Variablen kann der TGD-Optimierer optional die früheren Iterationen der Variablen sehen, wenn er die Aktualisierung vornimmt. Weitere Details zu den in TEXTGRAD implementierten Optimierungstechniken finden Sie in Anhang B.