跳到主要内容
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

3.2 通过测试时训练优化解决方案以改进问题求解

在这里,我们聚焦于通过TEXTGRAD进行解决方案优化的任务。在解决方案优化中,目标是改进复杂问题的解决方案,例如关于量子力学或有机化学的问题。特别地,我们通常有一个如下的计算图:

Solution Refinement Objective=LLM(Question+Solution+Test−time Instruction)(15)\mathrm{Solution~Refinement~Objective} = \mathrm{LLM}(\mathrm{Question} + \mathrm{Solution} + \mathrm{Test - time~Instruction}) \quad (15)

其中我们优化的参数是解决方案,损失函数通过评估解决方案获得,例如用LLM进行评估。在每次迭代中,LLM被提示以问题、当前解决方案以及一些要求批判或调查当前迭代的测试时指令。在优化轨迹上,解决方案通过这种测试时自我评估进行精炼。更一般地,这一思想被称为测试时训练[42, 43],其中机器学习模型在测试时在测试实例上进行训练,通常使用自监督目标。类似地,最近的工作也展示了自我精炼在推理任务中的优势[26, 30, 44]。特别是,即使LLM在第一次尝试时可能无法正确回答问题或给出问题的解决方案,它也可以通过迭代精炼来改进响应。例如,精炼的目标函数如下所示:

解决方案精炼目标

LLM("下面是一个多项选择题和一个预测。你是一位具有批判性和创造力的科学家。你的工作是调查这个预测。批判性地梳理推理步骤,看看是否有理由认为预测可能是错误的。使用Janusian过程,思考替代答案是否可能为真。问题:{Question} 语言模型的答案:{Solution}")

以下是TEXTGRAD中解决方案优化的一个代表性实现。

1 # 假设我们有test_dataset 2 question, answer == test_dataset[i] 3 # 初始化测试时损失函数 4 # 这具有上面作为'Solution Refinement Objective'提供的系统提示 5 test_time_loss_fn == MultipleChoiceTestTime() 6 # 从LLM获取零样本解决方案 7 solution: Variable == zero_shot_llm(question) 8 # 优化解决方案本身 9 optimizer == tg.TextualGradientDescent(parameters == [solution]) 10 11 for iteration in range(max_iterations): 12 optimizer.zero_grad() 13 # 注意损失是自监督的(不依赖于任何真实标签。) 14 loss == test_time_loss_fn(question, solution) 15 # 填充梯度,并更新解决方案 16 loss.backward() 17 optimizer.step()

代码片段1:TEXTGRAD中解决方案优化的一个代表性实现。

任务:Google-proof问答(GPQA)[27]是一个最近的基准,其中物理、生物和化学领域的具有挑战性的多项选择题由拥有或正在攻读博士学位的领域专家创建和标注。在该基准中,据报道专家和熟练的非专家分别达到81%81\%和22%22\%的准确率,展示了问题的难度。重要的是,这是一个性能尚未饱和的基准,据我们所知,gpt-4o取得的最佳报告结果在diamond子集上达到53.6%53.6\%的准确率。我们还使用了MMLU[45]问答基准中两个具有挑战性的子集(机器学习和大学物理),该基准用于跟踪语言建模的进展以及LLM是否达到人类水平的性能。这里专家人类的平均准确率约为90%90\%。关于问题格式和提示的详细信息,请参见附录D。

方法:我们报告两个基线。首先,gpt-4o发布文档中报告的结果表明准确率为53.6%53.6\%。然而,他们的官方实现使用温度为0.5进行生成,因此我们也测试了gpt-4o在温度为0和官方实现中提供的思维链(CoT)[46, 47]提示下的表现1。对于TEXTGRAD,我们执行3次测试时更新迭代(即更新解决方案三次),并对所有解决方案进行多数投票以得到最终答案。我们使用基于字符串的指标来计算每个答案的最终准确率。

结果:借助 TEXTGRAD,我们提升了 gpt-4o 在具有挑战性的问答任务中的表现,并在表 2 中报告了结果。据我们所知,55%55\% 是迄今为止 GPQA 数据集中已知的最佳结果。类似地,我们将 MMLU 子集中的表现从 85.7%85.7\% 提升到 88.4%88.4\%(机器学习)以及从 91.2%91.2\% 提升到 95.1%95.1\%(大学物理)。这些结果表明,通过在测试时借助 TEXTGRAD 自我优化花费更多计算,我们可以提升即使是最有能力模型的问答表现。