Zum Hauptinhalt springen
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

C.1 Methodik

Details zur Baseline. Wir haben Reflexion [26] mit dem Code der Autorinnen und Autoren erneut ausgeführt, der derzeit online verfügbar ist. Wir mussten geringfügige Änderungen vornehmen, um sicherzustellen, dass es in unserem Setting korrekt lief, aber wir haben auch die ursprünglichen Autorinnen und Autoren kontaktiert und um Feedback zu unseren Bearbeitungen gebeten, um sicherzustellen, dass unsere Evaluation konsistent war. Darüber hinaus mussten wir den LeetCodeHard-Datensatz [26] mit der Pipeline der Autorinnen und Autoren neu extrahieren; das bedeutet, dass der Datensatz, den wir in diesem Manuskript verwenden, wahrscheinlich nicht derselbe Datensatz ist, der im Reflexion-Paper verwendet wurde. Obwohl dieser Datensatz eine Reihe einfacher Tests enthält, um zu prüfen, ob der Code wie erwartet funktioniert, wird die eigentliche Evaluation in diesem Kontext dadurch bestimmt, dass die Tests auf der LeetCode-Plattform bestanden werden.

Reflexion wird mit einem One-Shot-Prompt ausgeführt, der das Modell dazu anleiten soll, Feedback zu geben. Die von Reflexion ausgeführte Pipeline ist wie folgt: Bei Eingabe eines Prompts zur Codegenerierung erzeugt ein Sprachmodell eine erste Lösung. Wenn diese Lösung die lokalen Tests besteht, wird sie anschließend an die LeetCode-Plattform übermittelt, um an schwierigeren Tests evaluiert zu werden. Wenn die Lösung die Tests jedoch nicht besteht, fordern wir über Reflexion Feedback an und optimieren den Code. Wenn die neue Lösung die lokalen Tests besteht, übermitteln wir sie wiederum an die LeetCode-Plattform. Diese Optimierung führen wir für 5 Iterationen durch.

Wir haben das Experiment 5-mal mit 5 verschiedenen Seeds ausgeführt und die Ergebnisse gemittelt. Bei jeder Iteration der Optimierung führt TEXTGRAD 1 Aufruf an gpt-4o durch, um den Testzeitverlust zu evaluieren, 1 Aufruf, um Gradienten zu sammeln, und 1 Aufruf, um das Codesnippet zu aktualisieren. Die Anzahl der Coding-Probleme in LeetCodeHard beträgt 39.

Beispielabfrage für LeetCode Hard

def minimumTime(grid: List[List[int]]) -> int: You are given a 'm x n' matrix 'grid' consisting of non- negative integers where 'grid[row][col]' represents the minimum time required to be able to visit the cell ('row, col'), which means you can visit the cell ('row, col') only when the time you visit it is greater than or equal to 'grid[row][col]'. You are standing in the top- left cell of the matrix in the '0th' second, and you must move to any adjacent cell in the four directions: up, down, left, and right. Each move you make takes 1 second. Return the minimum time required in which you can visit the bottom- right cell of the matrix. If you cannot visit the bottom- right cell, then return '- 1'. Example 1: Input: grid = [[0,1,3,2],[5,1,2,5],[4,3,8,6]] Output: 7 Explanation: One of the paths that we can take is the following:- at t = 0, we are on the cell (0,0).- at t = 1, we move to the cell (0,1). It is possible because grid[0][1] <= 1.- at t = 2, we move to the cell (1,1). It is possible because grid[1][1] <= 2.- at t = 3, we move to the cell (1,2). It is possible because grid[1][2] <= 3.- at t = 4, we move to the cell (1,1). It is possible because grid[1][1] <= 4.- at t = 5, we move to the cell (1,2). It is possible because grid[1][2] <= 5.- at t = 6, we move to the cell (1,3). It is possible because grid[1][3] <= 6.- at t = 7, we move to the cell (2,3). It is possible because grid[2][3] <= 7. The final time is 7. It can be shown that it is the minimum time possible. Example 2: Input: grid = [[0,2,4],[3,2,1],[1,0,4]] Output: - 1 Explanation: There is no path from the top left to the bottom- right cell. Constraints:\'m == grid.length'\'n == grid[i].length'\'2 <= m, n <= 1000'\'4 <= m * n <= 105'\'0 <= grid[i][j] <= 105'\'grid[0][0] == 0'