Zum Hauptinhalt springen
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

Batch-Optimierung

Bei der Batch-Optimierung verwenden wir die oben beschriebene tg.sum-Funktion. Insbesondere werden Gradienten, die von mehreren Instanzen propagiert werden, miteinander verkettet, sodass der Optimizer das gesamte Feedback zu einer Variable sieht, das aus mehreren Quellen stammt.

Die Syntax ist so einfach wie die folgende:

1 losses == [loss_fn(answer, model(question)) for question, answer in batch] 2 total_loss == tg.sum(losses) 3 total_loss.backward()

Code-Snippet 4: Ein Beispiel für die Verwendung der Batch-Optimierung für Fragebeantwortung.