Aller au contenu principal
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

3.1 Optimisation de code

L'optimisation de code est un cas d'usage emblématique de l'optimisation d'instance. Ici, l'objectif est d'optimiser un certain code pour améliorer par exemple la correction ou la complexité d'exécution. Nous avons souvent un graphe de calcul comme le suivant :

Code- Refinement Objective =LLM(Problem+Code+Test−timeInstruction+LocalTestResults)= \mathrm{LLM}(\mathrm{Problem} + \mathrm{Code} + \mathrm{Test - time} \mathrm{Instruction} + \mathrm{Local} \mathrm{Test} \mathrm{Results}) (14)

où nous optimisons le Code pour résoudre un Problème donné avec une supervision limitée par des tests locaux et une auto-évaluation via une instruction de test demandant de critiquer l'itération courante du code. La figure 1e montre un exemple pour le problème On vous donne un tableau nums de taille n composé d'entiers distincts de 1 à n et un entier positif k. Retournez le nombre de sous-tableaux non vides dans nums dont la médiane est égale à k. La première solution proposée par gpt-4o ne passe pas les tests. TEXTGRAD identifie un cas limite dans la première solution et fournit une suggestion sur la manière de l'améliorer. L'implémentation optimisée passe tous les tests.

Tâche : Nous utilisons le jeu de données LeetCode Hard [26] pour évaluer l'optimisation de code. LeetCode est une plateforme en ligne qui propose des questions d'entraînement à la programmation en préparation aux entretiens techniques. Le jeu de données LeetCode Hard contient des exemples de problèmes de programmation difficiles destinés à être exigeants à la fois pour les humains et pour les modèles de langage, où la métrique de succès est le Taux de complétion, c'est-à-dire le fait de passer tous les cas de test pour un problème donné (GPT-4 aurait atteint un taux de complétion de 7 % [26]). Les cas de test LeetCode ne sont pas publics ; ainsi, après génération, le code doit être soumis à la plateforme LeetCode pour évaluation sur les cas de test non vus. Cela rend la plateforme plus adaptée pour évaluer les performances des modèles de langage.

Référence : Reflexion [26] est la méthode de pointe sur le jeu de données LeetCode Hard. Leur approche invite un LLM à réfléchir sur lui-même à propos d'extraits de code et des erreurs générées au moment du test à l'aide de tests unitaires candidats. Compte tenu de cette auto-réflexion, le LLM est à nouveau invité à fournir un code mis à jour, conditionné sur l'auto-réflexion et les erreurs. Nous avons exécuté Reflexion sur LeetCodeHard avec gpt-4o en utilisant 1 démonstration en contexte pour guider le comportement (one-shot). En plus de Reflexion, nous exécutons également une référence zero-shot avec gpt-4o reproduisant la même référence zero-shot décrite dans [26]. En comparaison, TEXTGRAD fonctionne en mode zero-shot, sans aucune démonstration.

Résultats : Les résultats existants [26] montraient un taux de réussite de 7 % pour GPT-4 zero-shot et de 15 % pour GPT-4 avec Reflexion. Nous montrons que ces résultats ont désormais été portés à 23 % pour gpt-4o zero-shot et à 31 % lorsque Reflexion est utilisée. Avec TEXTGRAD, nous pouvons optimiser les solutions pour atteindre une performance de 36 %. Ces améliorations sont d'autant plus impressionnantes que Reflexion a été exécuté avec des démonstrations en contexte et que TEXTGRAD n'a utilisé aucune démonstration (c'est-à-dire en zero-shot).

Objectif de raffinement de code

LLM("Vous êtes un assistant intelligent utilisé comme évaluateur et faisant partie d'un système d'optimisation. Vous allez analyser une implémentation de code pour un problème de programmation et les résultats de tests unitaires. Le code sera testé avec des tests plus difficiles, donc ne vous contentez pas de vérifier si le code passe les tests fournis. Réfléchissez à la correction du code et à ses performances sur des cas de test plus difficiles. Fournissez un retour très concis. Examinez le problème de code et l'implémentation fournie. Pour chaque cas de test unitaire échoué, commencez à l'analyser en disant « Le code n'a pas passé ce test parce que... ». Expliquez pourquoi l'implémentation actuelle n'obtient pas la sortie attendue. Ne fournissez pas d'implémentation révisée. Suggérez soigneusement pourquoi il y a des problèmes avec le code et fournissez un retour. {Test- time Instruction}\\Le problème de programmation :\\ {Problem}\\Code généré qui doit être évalué pour sa correction et ses performances d'exécution\\ {Code}\\Les résultats des tests :\\ {Local test Results}

TâcheMéthodeTaux d'achèvement
LeetCode Hard [26]Zero-shot [26]0,26
Reflexion (1 démonstration, 5 itérations) [26]0,31 ± 0,012
TEXTGRAD (0 démonstration, 5 itérations)0,36 ± 0,018
Tableau 1 : Optimisation de code pour LeetCode Hard à l'aide de gpt-4o. Les résultats sont moyennés sur 5 graines.