跳到主要内容
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

3.3 面向推理的提示优化

尽管 LLM 在推理任务中展现出令人印象深刻的表现,但其表现可能对用于引导其行为的提示敏感。特别是,在正确选择提示的情况下,其表现可以显著提升 [49]。在提示优化中,目标是找到一个提示或指令来引导 LLM 的行为,使其在给定任务上表现良好。特别是,我们通常有如下计算图:

Answer=LLM(Prompt,Question)(16)\mathrm{Answer} = \mathrm{LLM}(\mathrm{Prompt},\mathrm{Question}) \quad (16)
数据集方法准确率(%)
Google-proof QA [27]CoT [46, 47]51.0
最佳报告值 [48]53.6
TEXTGRAD55.0
MMLU-机器学习 [45]CoT [46, 47]85.7
TEXTGRAD88.4
MMLU-大学物理 [45]CoT [46, 47]91.2
TEXTGRAD95.1
表 2:使用 gpt-4o 进行零样本问答的解决方案优化。

其中我们有任务的 Question、问题的 Answer,以及一个 Evaluation Metric,用于指示在给定真实答案时输出的质量。例如,对于问答任务,评估指标将是答案的准确率,例如使用基于字符串的指标进行评估。

在这里,给定少量训练示例来优化 Prompt,目标是在给定任务上最大化 LLM 的表现。在我们的实验中,我们的目标是利用更强模型(例如 gpt-4o)生成的反馈来提升较弱且更便宜模型(例如 gpt-3.5-turbo-0125)的表现。这在实践中很有用,因为通过支付固定成本来优化 Prompt,提示优化后的较弱模型可以以更便宜的推理成本使用,而不是使用强大且更昂贵的模型。

1 # 初始化系统提示 2 system_prompt = tg.Variable("你是一个有帮助的语言模型。逐步思考。", 3 requires_grad=True, 4 role_description="给语言模型的系统提示") 5 6 # 设置由该提示“参数化”的模型对象。 7 model = tg.BlackboxLLM(system_prompt=system_prompt) 8 9 # 优化系统提示 10 optimizer = tg.TextualGradientDescent(parameters=[system_prompt]) 11 12 for iteration in range(max_iterations): 13 batch_x, batch_y = next(train_loader) 14 optimizer.zero_grad() 15 # 执行前向传播 16 responses = model(batch_x) 17 losses = [loss_fn(response, y) for (response, y) in zip(responses, batch_y)] 18 total_loss = tg.sum(losses) 19 # 执行反向传播并计算梯度 20 total_loss.backward() 21 # 更新系统提示 22 optimizer.step()

代码片段 2:使用 TEXTGRAD 进行提示优化的简单实现。

在这里,我们在小批量随机梯度下降设置中使用 TEXTGRAD [18, 34]。具体而言,在每次迭代中,我们使用少量训练样本运行公式 16 中的前向传播。伪代码和简短实现可在上方代码片段中找到。提示优化的完整细节可在附录 E 中找到。与实例优化中 TEXTGRAD 试图优化每个单独解不同,这里的目标是优化一个在基准中所有问题上都表现良好的单一提示。

任务:我们在多个数据集中探索提示优化,包括来自 Big Bench Hard 的两个标准推理任务(物体计数和单词排序)(随机划分为 50/100/100 的训练/验证/测试样本)[50, 51]、GSM8k 小学数学习题求解 [52](使用来自 DSPy 的训练/验证/测试划分)。对于 GSM8k 和物体计数,我们使用基于字符串的精确匹配指标来量化准确率(即响应中提供的最终数字是否与真实答案相同)。对于单词排序,我们使用 LLM 来比较响应和真实答案。我们在附录 E.1 中给出了关于任务、提示和示例查询的更多细节。

.

.

.

方法:我们探索使用 gpt-4o [48] 在反向传播期间提供反馈来提升 gpt-3.5-turbo-0125 的性能。具体而言,执行推理的前向模型是 gpt-3.5-turbo-0125,而我们使用 gpt-4o 提供反馈并改进提示。我们使用批量大小为 3、迭代 12 次,即模型总共看到 36 个训练样本,采用有放回随机采样。每次迭代后,我们使用数据集的验证集运行验证循环,如果性能优于上一次迭代,则更新提示。

基线:我们有两个主要基线:

1. 零样本思维链(CoT)[46, 47]:我们将所有提示初始化为零样本 CoT 提示,其中模型被指示“逐步思考”,在给出答案之前解释其推理。众所周知,这种策略是提示的一个强基线。

2. DSPy 是最先进的语言模型编程和提示优化框架 [10],因此我们将其用作参考基线。我们实例化 DSPy 的 BootstrappedFewShotRandomSearch(BFSR)优化器,使用 10 个候选程序和 8 个少样本示例。该优化器识别要作为少样本示例包含在提示中的演示。这是通过生成 LLM 输入和输出的轨迹来完成的,这些轨迹各自通过指标(在此情况下为准确率)并包含 CoT 推理。然后,它对这些演示的最多八个示例的子集应用随机搜索。

数据集方法准确率(%)
物体计数 [50, 51]CoT(0-shot)[46, 47]77.8
DSPy(BFSR,8 个演示)[10]84.9
TExTGRAD(仅指令,0 个演示)91.9
单词排序 [50, 51]CoT(0-shot)[46, 47]76.7
DSPy(BFSR,8 个演示)[10]79.8
TExTGRAD(仅指令,0 个演示)79.8
GSM8k [52]CoT(0-shot)[46, 47]72.9
DSPy(BFSR,8 个演示)[10]81.1
TExTGRAD(仅指令,0 个演示)81.1
表 3:推理任务的提示优化。使用 TExTGRAD,我们为 gpt-3.5-turbo 优化系统提示,使用 gpt-4o 作为梯度引擎,在反向传播过程中提供反馈。

示例:针对 gpt-3.5-turbo-0125 的 TextGrad 优化提示

初始化时的提示(GSM8k 准确率 =72.9%= 72.9\% ):

你将回答一个数学推理问题。逐步思考。始终以如下格式结束响应的最后一行:'Answer: §\S VALUE',其中 VALUE 是一个数值。”

使用批量大小 3 进行 12 次迭代后的提示(GSM8k 准确率 =81.1%= 81.1\% ):

你将回答一个数学推理问题。用你自己的话重述问题以确保理解。将问题分解为更小的步骤,详细解释每个计算。验证每个步骤并重新检查你的计算以确保准确性。使用适当的数学符号并保持与问题上下文的一致性。始终以如下格式给出最终答案:'Answer: §\S VALUE',其中 VALUE 是一个数值。

结果:在所有三个任务中,TExTGRAD 显著提升了 0-shot 提示的性能。它在单词排序和 GSM8k 上的表现与 DSPy [10] 相似,并在物体计数上比 DSPy 提升了 7%7\% 。虽然上下文中的 8 个演示可以帮助引导 LLM 的行为,但它可能增加推理成本。有趣的是,DSPy 优化器和 TExTGRAD 做出了互补的调整——前者添加了上下文演示示例,后者优化了系统提示。将 DSPy 选择的示例添加到 TExTGRAD 的优化提示中可能会进一步提升性能(对于 GSM8k,直接将 DSPy 的演示与 TextGrad 的指令结合可将准确率提升至 82.1%82.1\% ),这表明结合这两种方法是一个富有成效的方向。