C.1 방법론
기준 세부 사항. 우리는 현재 온라인에서 이용 가능한 저자들의 코드를 사용하여 Reflexion [26]을 다시 실행했습니다. 우리 환경에서 올바르게 실행되도록 하기 위해 약간의 변경을 해야 했지만, 평가의 일관성을 보장하기 위해 원저자들에게도 연락하여 우리의 수정 사항에 대한 피드백을 요청했습니다. 또한, 우리는 저자들의 파이프라인을 사용하여 LeetCodeHard [26] 데이터셋을 다시 추출해야 했습니다; 이는 이 원고에서 우리가 사용하는 데이터셋이 Reflexion 논문에서 사용된 데이터셋과 동일하지 않을 가능성이 높다는 것을 의미합니다. 이 데이터셋은 코드가 예상대로 작동하는지 확인하기 위한 일련의 간단한 테스트를 포함하고 있지만, 이 맥락에서 실제 평가는 LeetCode 플랫폼에서 테스트를 통과함으로써 주어집니다.
Reflexion은 모델에게 피드백을 제공하는 방법을 지시하기 위한 원샷 프롬프트로 실행됩니다. Reflexion이 실행하는 파이프라인은 다음과 같습니다: 코드를 생성하기 위한 프롬프트를 입력으로 받으면, 언어 모델이 첫 번째 해를 생성합니다. 이 해가 로컬 테스트를 통과하면, 더 어려운 테스트에서 평가되기 위해 LeetCode 플랫폼에 제출됩니다. 그러나 해가 테스트를 통과하지 못하면, 우리는 Reflexion을 통해 피드백을 요청하고 코드를 최적화합니다. 다시 한 번, 새로운 해가 로컬 테스트를 통과하면, 우리는 이를 LeetCode 플랫폼에 제출합니다. 우리는 이 최적화를 5번의 반복 동안 수행합니다.
우리는 5개의 서로 다른 시드로 실험을 5번 실행하고 결과를 평균했습니다. 최적화의 각 반복에서, TEXTGRAD는 테스트 시간 손실을 평가하기 위해 gpt-4o를 1회 호출하고, 그래디언트를 수집하기 위해 1회 호출하며, 코드 스니펫을 업데이트하기 위해 1회 호출합니다. LeetCodeHard의 코딩 문제 수는 39개입니다.
LeetCode Hard를 위한 질의 예시
def minimumTime(grid: List[List[int]]) -> int:음수가 아닌 정수로 구성된 'm x n' 행렬 'grid'가 주어지며, 'grid[row][col]'은 해당 셀 ('row, col')을 방문할 수 있게 되는 최소 시간을 나타냅니다. 즉, 셀 ('row, col')은 방문하는 시간이 'grid[row][col]' 이상일 때만 방문할 수 있습니다.당신은 '0번째' 초에 행렬의 왼쪽 위 셀에 서 있으며, 위, 아래, 왼쪽, 오른쪽 네 방향으로 인접한 셀로 이동해야 합니다. 각 이동에는 1초가 걸립니다.행렬의 오른쪽 아래 셀을 방문할 수 있는 최소 시간을 반환하세요. 오른쪽 아래 셀을 방문할 수 없다면 '- 1'을 반환하세요.예제 1:입력: grid = [[0,1,3,2],[5,1,2,5],[4,3,8,6]]출력: 7설명: 우리가 택할 수 있는 경로 중 하나는 다음과 같습니다.- t = 0일 때, 우리는 셀 (0,0)에 있습니다.- t = 1일 때, 셀 (0,1)로 이동합니다. grid[0][1] <= 1이므로 가능합니다.- t = 2일 때, 셀 (1,1)로 이동합니다. grid[1][1] <= 2이므로 가능합니다.- t = 3일 때, 셀 (1,2)로 이동합니다. grid[1][2] <= 3이므로 가능합니다.- t = 4일 때, 셀 (1,1)로 이동합니다. grid[1][1] <= 4이므로 가능합니다.- t = 5일 때, 셀 (1,2)로 이동합니다. grid[1][2] <= 5이므로 가능합니다.- t = 6일 때, 셀 (1,3)로 이동합니다. grid[1][3] <= 6이므로 가능합니다.- t = 7일 때, 셀 (2,3)로 이동합니다. grid[2][3] <= 7이므로 가능합니다.최종 시간은 7입니다. 이것이 가능한 최소 시간임을 보일 수 있습니다.예제 2:입력: grid = [[0,2,4],[3,2,1],[1,0,4]]출력: - 1설명: 왼쪽 위에서 오른쪽 아래 셀로 가는 경로가 없습니다.제약 조건:\'m == grid.length'\'n == grid[i].length'\'2 <= m, n <= 1000'\'4 <= m * n <= 105'\'0 <= grid[i][j] <= 105'\'grid[0][0] == 0'