Aller au contenu principal
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

3.2 Optimisation de solution par entraînement au moment du test pour améliorer la résolution de problèmes

Ici, nous nous concentrons sur la tâche d'optimisation de solution via TEXTGRAD. Dans l'optimisation de solution, l'objectif est d'améliorer la solution à un problème complexe, tel qu'une question sur la mécanique quantique ou la chimie organique. En particulier, nous avons souvent un graphe de calcul comme le suivant :

Solution Refinement Objective=LLM(Question+Solution+Test−time Instruction)(15)\mathrm{Solution~Refinement~Objective} = \mathrm{LLM}(\mathrm{Question} + \mathrm{Solution} + \mathrm{Test - time~Instruction}) \quad (15)

où le paramètre que nous optimisons est la Solution, et la fonction de perte est obtenue par une évaluation de la solution, par exemple avec un LLM. À chaque itération, le LLM est invité avec la question, la solution courante et une instruction de test demandant de critiquer ou d'examiner l'itération courante. Au fil de la trajectoire d'optimisation, la solution est raffinée à l'aide de cette auto-évaluation au moment du test. Plus généralement, cette idée est connue sous le nom d'entraînement au moment du test [42, 43], où un modèle d'apprentissage automatique est entraîné sur une instance de test au moment du test, souvent avec un objectif auto-supervisé. De même, des travaux récents ont montré les mérites de l'auto-raffinement également pour les tâches de raisonnement [26, 30, 44]. En particulier, même si un LLM peut ne pas trouver la réponse à une question ou la solution à un problème dès la première tentative, il peut améliorer la réponse par un raffinement itératif. Par exemple, la fonction objectif pour le raffinement ressemble à ce qui suit :

Objectif de raffinement de solution

LLM("Ci-dessous se trouvent une question à choix multiples et une prédiction. Vous êtes un scientifique critique et créatif. Votre travail est d'examiner la prédiction. Parcourez de manière critique les étapes de raisonnement et voyez s'il existe une raison pour laquelle la prédiction pourrait être incorrecte. Utilisez le processus janusien, réfléchissez à si des réponses alternatives pourraient être vraies. Question : {Question} Réponse du modèle de langage : {Solution}")

Voici une implémentation représentative de l'optimisation de solution dans TEXTGRAD.

1 # Supposons que nous ayons le test_dataset 2 question, answer == test_dataset[i] 3 # Initialiser la fonction de perte au moment du test 4 # Celle-ci a le prompt système fourni ci-dessus comme « Solution Refinement Objective » 5 test_time_loss_fn == MultipleChoiceTestTime() 6 # Obtenir une solution zero-shot d'un LLM 7 solution: Variable == zero_shot_llm(question) 8 # Optimiser la solution elle-même 9 optimizer == tg.TextualGradientDescent(parameters == [solution]) 10 11 for iteration in range(max_iterations): 12 optimizer.zero_grad() 13 # Notez comment la perte est auto-supervisée (elle ne dépend d'aucune vérité terrain.) 14 loss == test_time_loss_fn(question, solution) 15 # Remplir les gradients et mettre à jour la solution 16 loss.backward() 17 optimizer.step()

Extrait de code 1 : Une implémentation représentative de l'optimisation de solution dans TEXTGRAD.

Tâche : Google-proof Question Answering (GPQA) [27] est une référence récente où des questions à choix multiples difficiles en physique, biologie et chimie sont créées et étiquetées par des experts du domaine titulaires ou en cours de préparation d'un doctorat. Dans cette référence, il est rapporté que les experts et les non-experts qualifiés atteignent respectivement une précision de 81%81\% et 22%22\%, ce qui démontre la difficulté des questions. Il est important de noter qu'il s'agit d'une référence où les performances ne sont pas encore saturées, où, à notre connaissance, les meilleurs résultats rapportés, obtenus par gpt-4o, atteignent une précision de 53,6%53,6\% sur le sous-ensemble diamond. Nous utilisons également deux sous-ensembles difficiles (Machine Learning et College Physics) de la référence de question-réponse MMLU [45], utilisée pour suivre les progrès de la modélisation du langage et déterminer si les LLM ont atteint des performances de niveau humain. Ici, la précision humaine experte est en moyenne d'environ 90%90\%. Pour les détails du format des questions et des prompts, veuillez consulter l'annexe D.

Méthode : Nous rapportons deux références. Premièrement, les résultats rapportés dans le document de publication de gpt-4o indiquent une précision de 53.6%53.6\%. Cependant, leur implémentation officielle utilise une température de 0,5 pour les générations ; nous testons donc également gpt-4o avec une température de 0 et une invite de raisonnement en chaîne de pensée (CoT) [46, 47] fournie dans l'implémentation officielle1. Pour TEXTGRAD, nous effectuons 3 itérations de mises à jour au moment du test (c'est-à-dire que nous mettons à jour la solution trois fois) et effectuons un vote majoritaire sur toutes les solutions pour obtenir la réponse finale. Nous utilisons des métriques basées sur les chaînes de caractères pour calculer la précision finale de chaque réponse.

Résultats : Avec TEXTGRAD, nous améliorons les performances de gpt-4o dans les tâches difficiles de réponse aux questions et rapportons les résultats dans le tableau 2. À notre connaissance, 55%55\% est le meilleur résultat connu à ce jour sur le jeu de données GPQA. De même, nous améliorons les performances dans les sous-ensembles du MMLU, de 85.7%85.7\% à 88.4%88.4\% (Machine Learning) et de 91.2%91.2\% à 95.1%95.1\% (College Physics). Ces résultats montrent qu'en dépensant davantage de calcul au moment du test grâce à l'auto-raffinement de TEXTGRAD, nous pouvons améliorer les performances de réponse aux questions même des modèles les plus performants.