3.1 コード最適化
コード最適化は、インスタンス最適化の代表的なユースケースである。ここでの目標は、例えば正しさや実行時計算量を改善するために、何らかのコードを最適化することである。しばしば、次のような計算グラフを持つ:
Code-Refinement Objective (14)
ここで、我々は与えられたProblemを解くためにCodeを最適化する。その際、限られたローカルなテストによる監督と、現在のコードの反復を批評するよう求めるテスト命令を通じた自己評価を用いる。図1eは、問題「You are given an array nums of size n consisting of distinct integers from 1 to n and a positive integer k. Return the number of non-empty subarrays in nums that have a median equal to k.」の例を示している。gpt-4oによって最初に提案された解はテストに合格しない。TEXTGRADは最初の解におけるエッジケースを特定し、それを改善する方法について提案を与える。最適化された実装はすべてのテストに合格する。
タスク:コード最適化のベンチマークにはLeetCode Hardデータセット[26]を用いる。LeetCodeは、技術面接の準備のためのコーディング練習問題を提供するオンラインプラットフォームである。LeetCode Hardデータセットには、人間にとっても言語モデルにとっても困難となるように作られた難しいコーディング問題の例が含まれており、成功指標はCompletion Rate、すなわち与えられた問題のすべてのテストケースに合格することである(GPT-4は7%の完了率を達成したと報告されている[26])。LeetCodeのテストケースは非公開であるため、生成後、コードは未見のテストケースで評価するためにLeetCodeプラットフォームに提出されなければならない。このことが、このプラットフォームを言語モデルの性能評価により適したものにしている。
ベースライン:Reflexion [26]はLeetCode Hardデータセットにおける最先端の手法である。彼らのアプローチでは、LLMにコードスニペットと、候補となる単体テストを用いてテスト時に生成されたエラーについて自己反省させる。自己反省が与えられると、LLMは再びプロンプトされ、自己反省とエラーを条件として更新されたコード片を提供する。我々は、振る舞いを導くために1つのインコンテキスト実演を用いて(one-shot)、gpt-4oを用いてLeetCodeHard上でReflexionを実行した。Reflexionに加えて、[26]で説明されているのと同じzero-shotベースラインを模倣した、gpt-4oを用いるzero-shotベースラインも実行した。比較として、TEXTGRADは実演を一切用いないzero-shot設定で実行される。
結果:既存の結果[26]では、GPT-4 zero-shotで7%、Reflexionを用いたGPT-4で15%の合格率が示されていた。我々は、これらの結果が現在、gpt-4o zero-shotで23%、Reflexionを用いた場合で31%に向上したことを示す。TEXTGRADを用いると、解を最適化して36%の性能を達成できる。Reflexionがインコンテキスト実演を用いて実行されたのに対し、TEXTGRADはいかなる実演も用いなかった(すなわちzero-shotであった)ことを考慮すると、これらの改善はより印象的である。
Code Refinement Objective
LLM("You are an intelligent assistant used as an evaluator, and part of an optimization system. You will analyze a code implementation for a coding problem and unit test results. The code will be tested with harder tests, so do not just check if the code passes the provided tests. Think about the correctness of the code and its performance in harder test cases. Give very concise feedback. Investigate the code problem and the provided implementation. For each failed unit test case, start analyzing it by saying "The code did not pass this test because...". Explain why the current implementation is not getting the expected output. Do not provide a revised implementation. Carefully suggest why there are issues with the code and provide feedback. {Test-time Instruction}\\The coding problem:\\ {Problem}\\Code generated that must be evaluated for correctness and runtime performance\\ {Code}\\The test results:\\ {Local test Results}
| タスク | 手法 | 完了率 |
| LeetCode Hard [26] | ゼロショット [26] | 0.26 |
| Reflexion(1回のデモンストレーション、5回の反復)[26] | 0.31 ± 0.012 | |
| TEXTGRAD(0回のデモンストレーション、5回の反復) | 0.36 ± 0.018 |