Aller au contenu principal
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

Techniques d’optimisation

La différentiation automatique constitue une analogie forte pour TEXTGRAD et fournit un support conceptuel aux techniques d’optimisation mises en œuvre dans le cadre. Ci-dessous, nous décrivons quelques exemples.

Optimisation par lots : Nous mettons en œuvre la descente de gradient stochastique par mini-lots [18, 34] pour l’optimisation d’invites. Plus précisément, après avoir effectué une passe avant avec plusieurs instances dans un lot et évalué les termes de perte individuels, nous utilisons la fonction tg.sum pour sommer les pertes (de manière analogue à torch.sum). Dans la passe arrière, les gradients sur les variables à travers les termes de perte individuels sont concaténés, ce qui reflète la rétropropagation à travers une addition.

Optimisation sous contraintes : Nous utilisons des contraintes en langage naturel, en nous appuyant sur l’analogie avec l’optimisation sous contraintes [35]. En particulier, nous utilisons des contraintes en langage naturel (par exemple, telles que « La dernière ligne de votre réponse doit être au format suivant : 'Answer: \*SELECT' où LETTER est l’une des lettres ABCD. ») pour guider le comportement de l’optimiseur. Nous observons que, grâce à l’instruction-tuning [36, 37], les modèles de langage peuvent suivre ces contraintes simples, bien que leur fiabilité puisse diminuer avec trop de contraintes [38, 39].

Momentum : Nous utilisons l'analogie avec le momentum en descente de gradient [40, 41]. Lors de l'optimisation d'une variable, l'optimiseur TGD peut éventuellement consulter les itérations antérieures de la variable au moment de effectuer la mise à jour. Pour plus de détails sur les techniques d'optimisation implémentées dans TEXTGRAD, voir l'annexe B.