Aller au contenu principal
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

D.1 Méthodologie

Pour la prédiction CoT 0-shot, nous utilisons le modèle de question et le prompt système publiés avec GPT-4o dans le dépôt simple-evals. En particulier, pour correspondre étroitement à leurs évaluations, nous utilisons le prompt système ChatGPT : You are ChatGPT, a large language model trained by OpenAI, based on the GPT-4 architecture. \n Knowledge cutoff: 2023-12 \n Current date: 2024-04-01". De plus, nous utilisons le modèle suivant :

Modèle de réponse à une question à choix multiples

Répondez à la question à choix multiples suivante. La dernière ligne de votre réponse doit être au format suivant : 'Answer: \(LETTER' (sans les guillemets), où LETTER est l'une des lettres ABCD. Réfléchissez étape par étape avant de répondre.

{Question}

A) {A}

B) {B}

C) {C}

D) {D}

Pendant l'optimisation, nous fournissons à l'optimiseur la contrainte que la prédiction doit se conclure par une réponse, en suivant le dépôt simple-evals, via la description de contrainte suivante : La dernière ligne de votre réponse doit être au format suivant : 'Answer: \(LETTER\)' (sans les guillemets) où LETTER est l'une des lettres ABCD.

Évaluation : De même, en utilisant la pratique du dépôt simple-evals, nous effectuons une correspondance de chaînes pour trouver la réponse finale, qui est l'une des lettres ABCD, et la comparons à la réponse de référence. Le sous-ensemble GPQA Diamond contient 198 questions. Le sous-ensemble MMLU Machine Learning contient 112 questions, et le sous-ensemble College Physics contient 92 questions. À chaque itération de l'optimisation, nous effectuons 1 appel à gpt-4o pour évaluer la perte au moment du test, 1 appel pour collecter les gradients, et 1 appel pour mettre à jour la solution.