C.1 方法論
ベースラインの詳細。我々は、著者らにより現在オンラインで公開されているコードを用いて Reflexion [26] を再実行しました。我々の設定で正しく動作することを確実にするために若干の変更を加える必要がありましたが、評価の一貫性を確保するため、元の著者らにも連絡して我々の編集についてフィードバックを求めました。さらに、著者らのパイプラインを用いて LeetCodeHard [26] データセットを再抽出する必要がありました。これは、本稿で使用しているデータセットが Reflexion 論文で使用されたデータセットと同一でない可能性が高いことを意味します。このデータセットにはコードが期待通りに動作するかを確認するための簡単なテストのセットが含まれていますが、この文脈における実際の評価は LeetCode プラットフォーム上のテストに合格することによって与えられます。
Reflexion は、モデルにフィードバックを提供する方法を指示することを目的としたワンショットプロンプトで実行されます。Reflexion が実行するパイプラインは以下の通りです:コードを生成するためのプロンプトを入力として与えると、言語モデルが最初の解を生成します。この解がローカルテストに合格すれば、より難しいテストで評価するために LeetCode プラットフォームに提出されます。しかし、解がテストに合格しない場合、Reflexion を通じてフィードバックを求め、コードを最適化します。再度、新しい解がローカルテストに合格すれば、それを LeetCode プラットフォームに提出します。この最適化を5回のイテレーションで行います。
我々は実験を5つの異なるシードで5回実行し、結果を平均しました。最適化の各イテレーションにおいて、TEXTGRAD はテスト時間損失を評価するために gpt-4o を1回呼び出し、勾配を収集するために1回呼び出し、コードスニペットを更新するために1回呼び出します。LeetCodeHard のコーディング問題の数は39です。
LeetCode Hard のクエリ例
以下に翻訳を示します。 def minimumTime(grid: List[List[int]]) -> int: 非負整数からなる 'm x n' 行列 'grid' が与えられます。ここで 'grid[row][col]' は、セル ('row, col') を訪れることが可能になるために必要な最小時間を表します。つまり、セル ('row, col') を訪れるのは、その訪問時刻が 'grid[row][col]' 以上である場合に限り可能です。あなたは '0' 秒目に行列の左上のセルに立っており、上下左右の4方向の隣接セルのいずれかへ移動しなければなりません。各移動には1秒かかります。行列の右下のセルを訪れるために必要な最小時間を返してください。右下のセルを訪れることができない場合は、'-1' を返してください。例1:入力: grid = [[0,1,3,2],[5,1,2,5],[4,3,8,6]]出力: 7説明: たどることができる経路の一つは次のとおりです:- t = 0 のとき、セル (0,0) にいます。- t = 1 のとき、セル (0,1) へ移動します。grid[0][1] <= 1 であるため可能です。- t = 2 のとき、セル (1,1) へ移動します。grid[1][1] <= 2 であるため可能です。- t = 3 のとき、セル (1,2) へ移動します。grid[1][2] <= 3 であるため可能です。- t = 4 のとき、セル (1,1) へ移動します。grid[1][1] <= 4 であるため可能です。- t = 5 のとき、セル (1,2) へ移動します。grid[1][2] <= 5 であるため可能です。- t = 6 のとき、セル (1,3) へ移動します。grid[1][3] <= 6 であるため可能です。- t = 7 のとき、セル (2,3) へ移動します。grid[2][3] <= 7 であるため可能です。最終時刻は7です。これが可能な最小時間であることを示せます。例2:入力: grid = [[0,2,4],[3,2,1],[1,0,4]]出力: -1説明: 左上から右下のセルへの経路は存在しません。制約:* 'm == grid.length'* 'n == grid[i].length'* '2 <= m, n <= 1000'* '4 <= m * n <= 10^5'* '0 <= grid[i][j] <= 10^5'* 'grid[0][0] == 0'