E.1 Tâches
Ci-dessous, nous fournissons un exemple de requête pour chacune des tâches de la section sur l'optimisation des prompts.
Exemple de requête pour le tri de mots
Triez les mots suivants par ordre alphabétique : Liste : oakland seaborg jacobi membrane trapezoidal allis marmot toggle anthology.
Exemple de requête pour le comptage d'objets
J'ai un canapé, un lit, une voiture, un réfrigérateur, deux tables, un four, un grille-pain et une chaise. Combien d'objets ai-je ?
Exemple de requête pour GSM8k
Amber, Micah et Ahito ont couru 52 miles au total. Amber a couru 8 miles. Micah a couru 3,5 fois ce qu'Amber a couru. Combien de miles Ahito a-t-il courus ?
Pour le tri de mots et le comptage d'objets, nous obtenons les jeux de données du dépôt BBH, et nous répartissons aléatoirement les exemples en 50 (entraînement)/100 (validation)/100 (test) échantillons. Pour GSM8k, nous utilisons les divisions fournies dans DSPy [10], qui comporte 200 (entraînement)/300 (validation)/1319 (test) échantillons.
Évaluation : Pour le comptage d'objets et GSM8k, nous utilisons la métrique de correspondance exacte basée sur les chaînes, qui examine la dernière valeur numérique fournie dans la réponse et la compare à la réponse de référence. Pour le tri de mots, nous demandons à gpt-4o de comparer la liste de référence à la réponse fournie, via le prompt suivant :
Prompt système d'évaluation pour l'évaluation du tri de mots
Prompt système : Voici une question issue d'une tâche de questions-réponses, la réponse de référence, et le raisonnement avec la prédiction finale. La prédiction finale est-elle correcte, c'est-à-dire identique à la réponse de référence ? Répondez uniquement par 1 (oui) ou 0 (non). Retournez votre réponse entre les balises . Par exemple, ou .
Exemple de prompt : \\Question pour la tâche :\\ {question} \\Réponse de référence :\\ {answer} \\Raisonnement et prédiction du modèle de langage :\\ {prediction}