D.1 Méthodologie
Pour la prédiction CoT 0-shot, nous utilisons le modèle de question et le prompt système publiés avec GPT-4o dans le dépôt simple-evals. En particulier, pour correspondre étroitement à leurs évaluations, nous utilisons le prompt système ChatGPT : You are ChatGPT, a large language model trained by OpenAI, based on the GPT-4 architecture. \n Knowledge cutoff: 2023-12 \n Current date: 2024-04-01". De plus, nous utilisons le modèle suivant :
Modèle de réponse à une question à choix multiples
Répondez à la question à choix multiples suivante. La dernière ligne de votre réponse doit être au format suivant : 'Answer: \(LETTER' (sans les guillemets), où LETTER est l'une des lettres ABCD. Réfléchissez étape par étape avant de répondre.
{Question}
A) {A}
B) {B}
C) {C}
D) {D}
Pendant l'optimisation, nous fournissons à l'optimiseur la contrainte que la prédiction doit se conclure par une réponse, en suivant le dépôt simple-evals, via la description de contrainte suivante : La dernière ligne de votre réponse doit être au format suivant : 'Answer: \(LETTER\)' (sans les guillemets) où LETTER est l'une des lettres ABCD.
Évaluation : De même, en utilisant la pratique du dépôt simple-evals, nous effectuons une correspondance de chaînes pour trouver la réponse finale, qui est l'une des lettres ABCD, et la comparons à la réponse de référence. Le sous-ensemble GPQA Diamond contient 198 questions. Le sous-ensemble MMLU Machine Learning contient 112 questions, et le sous-ensemble College Physics contient 92 questions. À chaque itération de l'optimisation, nous effectuons 1 appel à gpt-4o pour évaluer la perte au moment du test, 1 appel pour collecter les gradients, et 1 appel pour mettre à jour la solution.