跳到主要内容
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

3.1 代码优化

代码优化是实例优化的一个典型用例。在这里,目标是优化某些代码以改进例如正确性或运行时复杂度。我们通常有一个如下的计算图:

代码精炼目标 =LLM(Problem+Code+Test−timeInstruction+LocalTestResults)= \mathrm{LLM}(\mathrm{Problem} + \mathrm{Code} + \mathrm{Test - time} \mathrm{Instruction} + \mathrm{Local} \mathrm{Test} \mathrm{Results}) (14)

其中我们优化代码以解决给定的问题,并借助有限的局部测试监督以及通过要求对当前迭代代码进行批判的测试指令所进行的自我评估。图1e展示了一个问题的示例:给定一个大小为n的数组nums,由1到n中互不相同的整数组成,以及一个正整数k。返回nums中中位数等于k的非空子数组的数量。gpt-4o提出的第一个解决方案未通过测试。TEXTGRAD识别出第一个解决方案中的一个边界情况,并提供了如何改进它的建议。优化后的实现通过了所有测试。

任务:我们使用LeetCode Hard数据集[26]来对代码优化进行基准测试。LeetCode是一个在线平台,提供编程练习题以备战技术面试。LeetCode Hard数据集包含一些困难的编程问题示例,这些问题对人和语言模型都具有挑战性,其成功指标为完成率,即通过给定问题的所有测试用例(据报道GPT-4的完成率为7%[26])。LeetCode的测试用例不公开,因此生成代码后必须将其提交到LeetCode平台以在未见过的测试用例上进行评估。这使得该平台更适合评估语言模型的性能。

基线:Reflexion[26]是LeetCode Hard数据集上的最先进方法。他们的方法提示LLM使用候选单元测试对代码片段及测试时生成的错误进行自我反思。在获得自我反思后,再次提示LLM以自我反思和错误为条件提供更新后的代码。我们在LeetCodeHard上使用gpt-4o运行Reflexion,使用1个上下文示例来引导行为(单样本)。除Reflexion外,我们还使用gpt-4o运行了一个零样本基线,模仿[26]中描述的相同零样本基线。相比之下,TEXTGRAD在零样本设置下运行,不使用任何示例。

结果:现有结果[26]显示GPT-4零样本的通过率为7%,使用Reflexion的GPT-4为15%。我们表明这些结果现已提升至gpt-4o零样本的23%,使用Reflexion时为31%。借助TEXTGRAD,我们可以优化解决方案以达到36%的性能。考虑到Reflexion是在有上下文示例的情况下运行的,而TEXTGRAD未使用任何示例(即零样本),这些改进更加令人印象深刻。

代码精炼目标

LLM("你是一个被用作评估者的智能助手,是一个优化系统的一部分。你将分析一个编码问题的代码实现和单元测试结果。代码将用更难的测试进行测试,因此不要只检查代码是否通过了提供的测试。思考代码的正确性及其在更难测试用例中的性能。给出非常简洁的反馈。调查代码问题和提供的实现。对于每个失败的单元测试用例,通过说"代码未通过此测试,因为……"来开始分析它。解释为什么当前实现没有得到预期的输出。不要提供修订后的实现。仔细建议代码为何存在问题并提供反馈。{Test-time Instruction}\\编码问题:\\ {Problem}\\必须评估正确性和运行时性能的生成代码\\ {Code}\\测试结果:\\ {Local test Results}

任务方法完成率
LeetCode Hard [26]零样本 [26]0.26
Reflexion(1 个示例,5 次迭代)[26]0.31 ± 0.012
TEXTGRAD(0 个示例,5 次迭代)0.36 ± 0.018
表 1:使用 gpt-4o 对 LeetCode Hard 进行代码优化。结果是在 5 个随机种子上取平均值。