Ir al contenido principal
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

C.1 Metodología

Detalles de la línea base. Volvimos a ejecutar Reflexion [26] usando el código de los autores disponible actualmente en línea. Tuvimos que hacer cambios menores para asegurar que se ejecutara correctamente en nuestro entorno, pero también contactamos a los autores originales y solicitamos comentarios sobre nuestras ediciones para garantizar que nuestra evaluación fuera consistente. Además, tuvimos que volver a extraer el conjunto de datos LeetCodeHard [26] usando el pipeline de los autores; esto significa que es probable que el conjunto de datos que usamos en este manuscrito no sea el mismo que se usó en el artículo de Reflexion. Si bien este conjunto de datos contiene un conjunto de pruebas simples para verificar si el código funciona como se espera, la evaluación real en este contexto está dada por aprobar las pruebas en la plataforma LeetCode.

Reflexion se ejecuta con un prompt one shot que está pensado para instruir al modelo sobre cómo proporcionar retroalimentación. El pipeline que ejecuta Reflexion es el siguiente: dado como entrada un prompt para generar código, un modelo de lenguaje genera una primera solución. Si esta solución pasa las pruebas locales, entonces se envía a la plataforma LeetCode para ser evaluada en pruebas más difíciles. Sin embargo, si la solución no pasa las pruebas, solicitamos retroalimentación mediante Reflexion y optimizamos el código. Una vez más, si la nueva solución pasa las pruebas locales, la enviamos a la plataforma LeetCode. Realizamos esta optimización durante 5 iteraciones.

Ejecutamos el experimento 5 veces con 5 semillas diferentes y promediamos los resultados. En cada iteración de optimización, TEXTGRAD realiza 1 llamada a gpt-4o para evaluar la pérdida del tiempo de prueba, 1 llamada para recopilar gradientes y 1 llamada para actualizar el fragmento de código. El número de problemas de programación en LeetCodeHard es 39.

Ejemplo de consulta para LeetCode Hard

def minimumTime(grid: List[List[int]]) -> int:Se te da una matriz 'grid' de 'm x n' que consiste en números enteros no negativos, donde 'grid[row][col]' representa el tiempo mínimo requerido para poder visitar la celda ('row, col'), lo que significa que puedes visitar la celda ('row, col') solo cuando el tiempo en que la visitas es mayor o igual a 'grid[row][col]'.Estás de pie en la celda superior izquierda de la matriz en el '0th' segundo, y debes moverte a cualquier celda adyacente en las cuatro direcciones: arriba, abajo, izquierda y derecha. Cada movimiento que haces toma 1 segundo.Devuelve el tiempo mínimo requerido en el cual puedes visitar la celda inferior derecha de la matriz. Si no puedes visitar la celda inferior derecha, entonces devuelve '- 1'.Ejemplo 1:Entrada: grid = [[0,1,3,2],[5,1,2,5],[4,3,8,6]]Salida: 7Explicación: Uno de los caminos que podemos tomar es el siguiente:- en t = 0, estamos en la celda (0,0).- en t = 1, nos movemos a la celda (0,1). Es posible porque grid[0][1] <= 1.- en t = 2, nos movemos a la celda (1,1). Es posible porque grid[1][1] <= 2.- en t = 3, nos movemos a la celda (1,2). Es posible porque grid[1][2] <= 3.- en t = 4, nos movemos a la celda (1,1). Es posible porque grid[1][1] <= 4.- en t = 5, nos movemos a la celda (1,2). Es posible porque grid[1][2] <= 5.- en t = 6, nos movemos a la celda (1,3). Es posible porque grid[1][3] <= 6.- en t = 7, nos movemos a la celda (2,3). Es posible porque grid[2][3] <= 7.El tiempo final es 7. Se puede demostrar que es el tiempo mínimo posible.Ejemplo 2:Entrada: grid = [[0,2,4],[3,2,1],[1,0,4]]Salida: - 1Explicación: No hay ningún camino desde la celda superior izquierda hasta la celda inferior derecha.Restricciones:\'m == grid.length'\'n == grid[i].length'\'2 <= m, n <= 1000'\'4 <= m * n <= 105'\'0 <= grid[i][j] <= 105'\'grid[0][0] == 0'