TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.
批量优化
在批量优化中,我们使用上文所述的 tg.sum 函数。特别地,从多个实例传播的梯度会被拼接在一起,因此优化器能够看到来自多个来源的、针对某个变量的全部反馈。
其语法如下所示,非常简单:
1 losses [loss_fn(answer, model(question)) for question, answer in batch] 2 total_loss tg.sum(losses) 3 total_loss.backward()
代码片段 4:用于问答任务的批量优化示例。