C.1 方法
基线细节。我们使用作者目前在线提供的代码重新运行了 Reflexion [26]。我们不得不做出一些细微修改,以确保它能在我们的设置中正确运行,但我们也联系了原始作者,就我们的修改征求反馈,以确保我们的评估是一致的。此外,我们不得不使用作者的流水线重新提取 LeetCodeHard [26] 数据集;这意味着本手稿中使用的数据集很可能与 Reflexion 论文中使用的数据集并不相同。虽然该数据集包含一组简单测试以检查代码是否按预期工作,但在这一语境下真正的评估取决于能否在 LeetCode 平台上通过测试。
Reflexion 使用一次性提示运行,该提示旨在指导模型如何提供反馈。Reflexion 运行的流水线如下:给定一个用于生成代码的输入提示,语言模型生成第一个解决方案。如果该解决方案通过了本地测试,则将其提交到 LeetCode 平台,在更难的测试上进行评估。然而,如果该解决方案未通过测试,我们通过 Reflexion 请求反馈并优化代码。再次,如果新解决方案通过了本地测试,我们将其提交到 LeetCode 平台。我们进行 5 次迭代的优化。
我们用 5 个不同的随机种子运行了 5 次实验,并对结果取平均。在优化的每次迭代中,TEXTGRAD 会调用 gpt-4o 一次以评估测试时损失,调用一次以收集梯度,并调用一次以更新代码片段。LeetCodeHard 中的编程问题数量为 39。
LeetCode Hard 的示例查询
def minimumTime(grid: List[List[int]]) -> int:给定一个由非负整数组成的 'm x n' 矩阵 'grid',其中 'grid[row][col]' 表示能够访问单元格 ('row, col') 所需的最短时间,这意味着只有当访问该单元格的时间大于或等于 'grid[row][col]' 时,你才能访问单元格 ('row, col')。你在第 '0' 秒时站在矩阵的左上角单元格,并且必须向上、下、左、右四个方向中的任意相邻单元格移动。你每移动一次需要 1 秒。返回你能够访问矩阵右下角单元格所需的最短时间。如果你无法访问右下角单元格,则返回 '- 1'。示例 1:输入:grid = [[0,1,3,2],[5,1,2,5],[4,3,8,6]]输出:7解释:我们可以采用的一条路径如下:- 在 t = 0 时,我们在单元格 (0,0)。- 在 t = 1 时,我们移动到单元格 (0,1)。这是可能的,因为 grid[0][1] <= 1。- 在 t = 2 时,我们移动到单元格 (1,1)。这是可能的,因为 grid[1][1] <= 2。- 在 t = 3 时,我们移动到单元格 (1,2)。这是可能的,因为 grid[1][2] <= 3。- 在 t = 4 时,我们移动到单元格 (1,1)。这是可能的,因为 grid[1][1] <= 4。- 在 t = 5 时,我们移动到单元格 (1,2)。这是可能的,因为 grid[1][2] <= 5。- 在 t = 6 时,我们移动到单元格 (1,3)。这是可能的,因为 grid[1][3] <= 6。- 在 t = 7 时,我们移动到单元格 (2,3)。这是可能的,因为 grid[2][3] <= 7。最终时间为 7。可以证明这是可能的最短时间。示例 2:输入:grid = [[0,2,4],[3,2,1],[1,0,4]]输出:- 1解释:不存在从左上角单元格到右下角单元格的路径。约束:\'m == grid.length'\'n == grid[i].length'\'2 <= m, n <= 1000'\'4 <= m * n <= 105'\'0 <= grid[i][j] <= 105'\'grid[0][0] == 0'