跳到主要内容
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

优化技术

自动微分为TEXTGRAD提供了一个有力的类比,并为框架中实现的优化技术提供了概念支持。下面我们描述一些示例。

批优化:我们为提示优化实现了随机小批量梯度下降[18, 34]。具体而言,在对一个批次中的多个实例进行前向传播并评估各个损失项之后,我们使用tg.sum函数对损失求和(类似于torch.sum)。在反向传播中,通过各个损失项得到的变量梯度被拼接起来,这与通过加法进行反向传播相对应。

约束优化:我们使用自然语言约束,以约束优化作为类比[35]。特别地,我们使用自然语言约束(例如,如“你的回答的最后一行应采用以下格式:'Answer: \*SELECT',其中LETTER是ABCD之一。”)来引导优化器的行为。我们观察到,得益于指令微调[36, 37],语言模型可以遵循这些简单约束,尽管当约束过多时其可靠性可能会降低[38, 39]。

动量:我们使用梯度下降中动量的类比[40, 41]。在优化一个变量时,TGD优化器在做出更新时可以可选地查看该变量较早的迭代。关于TEXTGRAD中实现的优化技术的更多细节,见附录B。