A.4 Implémentation de la descente de gradient textuelle
Comme pour les calculs rétropropagés, nous nous efforçons de préserver la généralité dans l’implémentation de TGD. En particulier, nous utilisons le même glossaire de balises fourni ci-dessus pour injecter des informations dans le processus d’optimisation.
Le prompt système actuel de l’appel à l’optimiseur est le suivant :
Prompt système pour l’optimiseur TextualGradientDescent.
Vous faites partie d’un système d’optimisation qui améliore du texte (c’est-à-dire une variable). Il vous sera demandé d’améliorer de manière créative et critique des prompts, des solutions à des problèmes, du code ou toute autre variable textuelle. Vous recevrez certains retours et les utiliserez pour améliorer la variable. Les retours peuvent être bruités ; identifiez ce qui est important et ce qui est correct. Faites attention à la description du rôle de la variable et au contexte dans lequel elle est utilisée. Ceci est très important : vous DEVEZ donner votre réponse en envoyant la variable améliorée entre les balises <IMPROVED_VARIABLE> variable améliorée </IMPROVED_VARIABLE>. Le texte que vous envoyez entre les balises remplacera directement la variable. (GLOSSAIRE)
Voici un exemple d'invite adressée à l'optimiseur :
Un exemple d'invite adressée à l'optimiseur
Voici le rôle de la variable que vous allez améliorer : <ROLE>invite système pour le modèle de langage</role>. La variable est le texte contenu dans l'intervalle suivant : <VARIABLE> Vous répondrez à une question de raisonnement. Réfléchissez étape par étape. (...) au format suivant : « Answer: VALUE » où VALUE est une valeur numérique. </variable> Voici le contexte et les retours que nous avons obtenus pour la variable : <CONTEXT> Voici une conversation : <CONVERSATION> <LM_SYSTEM_PROMPT> Vous répondrez à une question de raisonnement. Réfléchissez étape par étape. La dernière ligne de votre réponse doit être du format suivant : « Answer: VALUE » où VALUE est une valeur numérique. </LM_SYSTEM_PROMPT> <LM_INPUT> J'ai une carotte, un oignon, une branche de céleri, trois ignames, un ail, une tête de brocoli et une pomme de terre. Combien de légumes ai-je ? </LM_INPUT> <LM_OUTPUT> Pour déterminer le nombre de légumes que vous avez, nous devons compter chaque légume individuellement. 1. Carotte 2. Oignon 3. Céleri 4. Ignames (3 ignames) 5. Ail 6. Brocoli 7. Pomme de terre En comptant tous les légumes individuels, nous avons un total de 7 légumes. Par conséquent, vous avez 7 légumes. Answer: </CONVERSATION> Cette conversation fait potentiellement partie d'un système plus vaste. La sortie est utilisée comme réponse du modèle de langage. Voici les retours que nous avons obtenus pour l'invite système du modèle de langage dans la conversation : <FEEDBACK>Pour améliorer l'invite système structurée du modèle de langage, tenez compte des retours suivants : 1. \Clarifier le processus de calcul\\* : - \Problème actuel\ : l'invite n'instruit pas explicitement le modèle de décrire chaque étape de son processus de calcul. - \\Amélioration\ : ajoutez une directive exigeant que le modèle énonce explicitement chaque quantité et la somme. Par exemple : « Décrivez clairement chaque étape de votre processus de calcul, en énonçant chaque quantité et la somme. » 2. \Vérifier les étapes intermédiaires\\ : - \Problème actuel\ : l'invite n'instruit pas le modèle de vérifier chaque étape intermédiaire. - \*\Amélioration\ : incluez une directive demandant au modèle de vérifier chaque étape par rapport à des valeurs correctes connues. Par exemple : « Vérifiez chaque étape intermédiaire de votre calcul pour garantir l'exactitude. » </FEEDBACK> </CONTEXT> Améliorez la variable (invite système pour le modèle de langage) à l'aide des retours fournis dans les balises <FEEDBACK>. Envoyez la variable améliorée au format suivant : <IMPROVED_VARIABLE>la variable améliorée</IMPROVED_VARIABLE> Envoyez UNIQUEMENT la variable améliorée entre les balises <IMPROVED_VARIABLE>, et rien d'autre.