Aller au contenu principal
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

Optimisation par lots

Dans l'optimisation par lots, nous utilisons la fonction tg.sum décrite ci-dessus. En particulier, les gradients provenant de plusieurs instances sont concaténés ensemble, de sorte que l'optimiseur voit tous les retours adressés à une variable provenant de plusieurs sources.

La syntaxe est aussi simple que ce qui suit :

1 losses == [loss_fn(answer, model(question)) for question, answer in batch] 2 total_loss == tg.sum(losses) 3 total_loss.backward()

Extrait de code 4 : Un exemple d'utilisation de l'optimisation par lots pour la réponse aux questions.