Aller au contenu principal
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

3.3 Optimisation d'invite pour le raisonnement

Bien que les LLM démontrent des performances impressionnantes dans les tâches de raisonnement, leurs performances peuvent être sensibles à l'invite utilisée pour guider leur comportement. En particulier, avec le bon choix d'une invite, leurs performances peuvent être significativement améliorées [49]. Dans l'optimisation d'invite, l'objectif est de trouver une invite ou une instruction pour guider le comportement d'un LLM, de sorte qu'il performe bien sur une tâche donnée. En particulier, nous avons souvent un graphe de calcul comme le suivant :

Answer=LLM(Prompt,Question)(16)\mathrm{Answer} = \mathrm{LLM}(\mathrm{Prompt},\mathrm{Question}) \quad (16)
Jeu de donnéesMéthodeExactitude (%)
Google-proof QA [27]CoT [46, 47]51,0
Meilleur résultat rapporté [48]53,6
TEXTGRAD55,0
MMLU-Machine Learning [45]CoT [46, 47]85,7
TEXTGRAD88,4
MMLU-College Physics [45]CoT [46, 47]91,2
TEXTGRAD95,1
Tableau 2 : Optimisation de la solution pour la réponse aux questions en mode zéro-shot avec gpt-4o.

où nous avons une Question pour la tâche, une Réponse à la question, et une Métrique d'évaluation indiquant la qualité de la sortie compte tenu de la réponse de référence. Par exemple, pour une tâche de réponse aux questions, la métrique d'évaluation serait la précision de la réponse, évaluée par exemple à l'aide de métriques basées sur les chaînes de caractères.

Ici, étant donné une poignée d'exemples d'entraînement pour optimiser une Invite, l'objectif est de maximiser les performances d'un LLM sur la tâche donnée. Dans nos expériences, notre objectif est d'améliorer les performances d'un modèle plus faible et moins coûteux (par exemple, gpt-3.5-turbo-0125) en utilisant le retour généré par des modèles plus forts (par exemple, gpt-4o). Cela est utile en pratique car, en payant un coût fixe pour optimiser une Invite, le modèle plus faible optimisé par invite peut être utilisé avec des coûts d'inférence moins élevés au lieu d'utiliser le modèle fort et plus coûteux.

1 # Initialiser le prompt système 2 system_prompt = tg.Variable("Vous êtes un modèle de langage utile. Réfléchissez étape par étape.", 3 requires_grad=True, 4 role_description="prompt système pour le modèle de langage") 5 6 # Configurer l'objet modèle 'paramétré par' le prompt. 7 model = tg.BlackboxLLM(system_prompt=system_prompt) 8 9 # Optimiser le prompt système 10 optimizer = tg.TextualGradientDescent(parameters=[system_prompt]) 11 12 for iteration in range(max_iterations): 13 batch_x, batch_y = next(train_loader) 14 optimizer.zero_grad() 15 # Effectuer la passe avant 16 responses = model(batch_x) 17 losses = [loss_fn(response, y) for (response, y) in zip(responses, batch_y)] 18 total_loss = tg.sum(losses) 19 # Effectuer la passe arrière et calculer les gradients 20 total_loss.backward() 21 # Mettre à jour le prompt système 22 optimizer.step()

Extrait de code 2 : Une implémentation simple de l'optimisation de prompt avec TEXTGRAD.

Ici, nous utilisons TEXTGRAD dans un cadre de descente de gradient stochastique par mini-lots [18, 34]. En particulier, à chaque itération, nous utilisons quelques exemples d'entraînement pour exécuter la passe avant de l'équation 16. Un pseudocode et une courte implémentation figurent dans l'extrait ci-dessus. Les détails complets de l'optimisation de prompt se trouvent en annexe E. Contrairement à l'optimisation d'instance, où TEXTGRAD cherche à optimiser chaque solution individuelle, l'objectif ici est d'optimiser un prompt unique qui fonctionne bien sur toutes les questions d'un benchmark.

Tâches : Nous explorons l'optimisation de prompt sur plusieurs jeux de données, notamment les deux tâches de raisonnement standard (Object Counting et Word Sorting) de Big Bench Hard (réparties aléatoirement en 50/100/100 échantillons d'entraînement/validation/test) [50, 51], la résolution de problèmes mathématiques de niveau scolaire GSM8k [52] (en utilisant les partitions entraînement/validation/test de DSPy). Pour GSM8k et Object Counting, nous utilisons une métrique de correspondance exacte basée sur les chaînes de caractères pour quantifier l'exactitude (c'est-à-dire si le nombre final fourni dans la réponse est le même que la réponse de référence).Pour Word Sorting, nous utilisons un LLM pour comparer la réponse et la réponse de référence. Nous donnons plus de détails sur les tâches, les prompts et des exemples de requêtes en annexe E.1.

.

.

.

Méthodes : Nous explorons l'amélioration des performances de gpt- 3.5- turbo- 0125 en utilisant gpt- 4o [48] pour fournir un retour pendant la rétropropagation. En particulier, alors que le modèle avant qui effectue le raisonnement est gpt- 3.5- turbo- 0125, nous utilisons gpt- 4o pour fournir le retour et améliorer le prompt. Nous utilisons une taille de lot de 3 avec 12 itérations, c'est-à-dire que le modèle voit 36 exemples d'entraînement au total, échantillonnés aléatoirement avec remise. Après chaque itération, nous exécutons une boucle de validation avec l'ensemble de validation des jeux de données, et si la performance est meilleure que celle de l'itération précédente, nous mettons à jour le Prompt.

Références de base : Nous avons deux références de base principales :

1. Zero-shot Chain-of-Thought (CoT) [46, 47] : Nous initialisons tous les prompts comme un prompt CoT zero-shot, où un modèle est instruit de « Réfléchis étape par étape » pour expliquer son raisonnement avant de donner sa réponse. Cette stratégie est bien connue pour être une référence de base solide pour le prompt engineering.

2. DSPy est un framework de pointe de programmation de modèles de langage et d'optimisation de prompts [10], nous l'utilisons donc comme référence de base de référence. Nous instancions l'optimiseur BootstrappedFewShotRandomSearch (BFSR) de DSPy avec 10 programmes candidats et 8 exemples few-shot. Cet optimiseur identifie les démonstrations à inclure dans le prompt comme exemples few-shot. Cela se fait en générant des traces d'entrées et de sorties du LLM qui passent individuellement la métrique (dans ce cas, l'exactitude) et incluent un raisonnement CoT. Il applique ensuite une recherche aléatoire sur des sous-ensembles allant jusqu'à huit shots avec ces démonstrations.

Données contextuelles en lecture seule pour comprendre la source (il ne s’agit pas du texte source à traduire) : 2. DSPy est un cadre de programmation de modèles de langage et d’optimisation de prompts à la pointe de l’état de l’art [10], nous l’utilisons donc comme référence de base. Nous instancions l’optimiseur BootstrappedFewShotRandomSearch (BFSR) de DSPy avec 10 programmes candidats et 8 exemples few-shot. Cet optimiseur identifie des démonstrations à inclure dans le prompt comme exemples few-shot. Cela se fait en générant des traces d’entrées et de sorties du LLM qui passent individuellement la métrique (dans ce cas, l’exactitude) et en Texte à traduire : Jeu de donnéesMéthodeExactitude (%)
Comptage d’objets [50, 51]CoT (0-shot) [46, 47]77,8
DSPy (BFSR, 8 démonstrations) [10]84,9
TExTGRAD (instruction uniquement, 0 démonstration)91,9
Tri de mots [50, 51]CoT (0-shot) [46, 47]76,7
DSPy (BFSR, 8 démonstrations) [10]79,8
TExTGRAD (instruction uniquement, 0 démonstration)79,8
GSM8k [52]CoT (0-shot) [46, 47]72,9
DSPy (BFSR, 8 démonstrations) [10]81,1
TExTGRAD (instruction uniquement, 0 démonstration)81,1
Tableau 3 : Optimisation de prompts pour des tâches de raisonnement. Avec TExTGRAD, nous optimisons un prompt système pour gpt-3.5-turbo en utilisant gpt-4o comme moteur de gradient qui fournit le retour d’information pendant la rétropropagation.

Exemple : Prompt optimisé par TextGrad pour gpt- 3.5- turbo- 0125

Prompt à l'initialisation (Exactitude GSM8k =72.9%= 72.9\% ) :

Vous répondrez à une question de raisonnement mathématique. Réfléchissez étape par étape. Concluez toujours la dernière ligne de votre réponse au format suivant : 'Answer: §\S VALUE' où VALUE est une valeur numérique."

Prompt après 12 itérations avec une taille de lot de 3 (Exactitude GSM8k =81.1%= 81.1\% ) :

Vous répondrez à une question de raisonnement mathématique. Reformulez le problème avec vos propres mots pour garantir la compréhension. Décomposez le problème en étapes plus petites, en expliquant chaque calcul en détail. Vérifiez chaque étape et revérifiez vos calculs pour en garantir l'exactitude. Utilisez une notation mathématique appropriée et maintenez la cohérence avec le contexte de la question. Concluez toujours par la réponse finale au format suivant : 'Answer: §\S VALUE' où VALUE est une valeur numérique.

Résultats : Sur les trois tâches, TExTGRAD améliore significativement les performances du prompt 0- shot. Il se comporte de manière similaire à DSPy [10] pour Word Sorting et GSM8k, et améliore DSPy de 7%7\% pour Object Counting. Bien que les 8 démonstrations en contexte puissent aider à guider le comportement du LLM, elles peuvent augmenter le coût de l'inférence. Il est intéressant de noter que l'optimiseur DSPy et TExTGRAD effectuent des ajustements complémentaires—le premier ajoute des exemples de démonstration en contexte et le second optimise le prompt système. Ajouter les exemples sélectionnés par DSPy au prompt optimisé par TExTGRAD pourrait encore améliorer les performances (pour GSM8k, combiner directement les démonstrations de DSPy avec l'instruction de TextGrad augmente l'exactitude à 82.1%82.1\% ), ce qui suggère qu'une direction fructueuse consiste à combiner les deux approches.