跳到主要内容
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

批量优化

在批量优化中,我们使用上文所述的 tg.sum 函数。特别地,从多个实例传播的梯度会被拼接在一起,因此优化器能够看到来自多个来源的、针对某个变量的全部反馈。

其语法如下所示,非常简单:

1 losses == [loss_fn(answer, model(question)) for question, answer in batch] 2 total_loss == tg.sum(losses) 3 total_loss.backward()

代码片段 4:用于问答任务的批量优化示例。