Aller au contenu principal
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

C.1 Méthodologie

Détails des références. Nous avons réexécuté Reflexion [26] à l'aide du code des auteurs actuellement disponible en ligne. Nous avons dû apporter des modifications mineures pour garantir son bon fonctionnement dans notre environnement, mais nous avons également contacté les auteurs originaux pour leur demander un retour sur nos modifications afin de garantir la cohérence de notre évaluation. De plus, nous avons dû réextraire le jeu de données LeetCodeHard [26] à l'aide du pipeline des auteurs ; cela signifie qu'il est probable que le jeu de données que nous utilisons dans ce manuscrit ne soit pas le même que celui utilisé dans l'article Reflexion. Bien que ce jeu de données contienne un ensemble de tests simples pour vérifier si le code fonctionne comme prévu, l'évaluation réelle dans ce contexte est donnée par la réussite des tests sur la plateforme LeetCode.

Reflexion est exécuté avec une invite one shot destinée à instruire le modèle sur la manière de fournir un retour. Le pipeline exécuté par Reflexion est le suivant : étant donné en entrée une invite pour générer du code, un modèle de langage génère une première solution. Si cette solution réussit les tests locaux, elle est ensuite soumise à la plateforme LeetCode pour être évaluée sur des tests plus difficiles. Cependant, si la solution ne réussit pas les tests, nous demandons un retour via Reflexion et optimisons le code. Là encore, si la nouvelle solution réussit les tests locaux, nous la soumettons à la plateforme LeetCode. Nous effectuons cette optimisation pendant 5 itérations.

Nous avons exécuté l'expérience 5 fois avec 5 graines différentes et nous avons fait la moyenne des résultats. À chaque itération d'optimisation, TEXTGRAD effectue 1 appel à gpt-4o pour évaluer la perte au moment du test, 1 appel pour collecter les gradients et 1 appel pour mettre à jour l'extrait de code. Le nombre de problèmes de programmation dans LeetCodeHard est de 39.

Exemple de requête pour LeetCode Hard

def minimumTime(grid: List[List[int]]) -> int :On vous donne une matrice 'grid' de dimensions 'm x n' composée d'entiers non négatifs, où 'grid[row][col]' représente le temps minimum requis pour pouvoir visiter la cellule ('row, col'), ce qui signifie que vous ne pouvez visiter la cellule ('row, col') que lorsque le temps auquel vous la visitez est supérieur ou égal à 'grid[row][col]'.Vous vous trouvez dans la cellule en haut à gauche de la matrice à la '0e' seconde, et vous devez vous déplacer vers n'importe quelle cellule adjacente dans les quatre directions : haut, bas, gauche et droite. Chaque déplacement que vous effectuez prend 1 seconde.Retournez le temps minimum requis pour pouvoir visiter la cellule en bas à droite de la matrice. Si vous ne pouvez pas visiter la cellule en bas à droite, retournez '- 1'.Exemple 1 :Entrée : grid = [[0,1,3,2],[5,1,2,5],[4,3,8,6]]Sortie : 7Explication : L'un des chemins que nous pouvons emprunter est le suivant :- à t = 0, nous sommes sur la cellule (0,0).- à t = 1, nous nous déplaçons vers la cellule (0,1). C'est possible car grid[0][1] <= 1.- à t = 2, nous nous déplaçons vers la cellule (1,1). C'est possible car grid[1][1] <= 2.- à t = 3, nous nous déplaçons vers la cellule (1,2). C'est possible car grid[1][2] <= 3.- à t = 4, nous nous déplaçons vers la cellule (1,1). C'est possible car grid[1][1] <= 4.- à t = 5, nous nous déplaçons vers la cellule (1,2). C'est possible car grid[1][2] <= 5.- à t = 6, nous nous déplaçons vers la cellule (1,3). C'est possible car grid[1][3] <= 6.- à t = 7, nous nous déplaçons vers la cellule (2,3). C'est possible car grid[2][3] <= 7.Le temps final est 7. On peut montrer qu'il s'agit du temps minimum possible.Exemple 2 :Entrée : grid = [[0,2,4],[3,2,1],[1,0,4]]Sortie : - 1Explication : Il n'existe aucun chemin de la cellule en haut à gauche vers la cellule en bas à droite.Contraintes :\'m == grid.length'\'n == grid[i].length'\'2 <= m, n <= 1000'\'4 <= m * n <= 105'\'0 <= grid[i][j] <= 105'\'grid[0][0] == 0'