TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.
バッチ最適化
バッチ最適化では、前述の tg.sum 関数を使用します。特に、複数のインスタンスから伝播する勾配が連結されるため、オプティマイザは変数に対するすべてのフィードバックを複数のソースから受け取ることができます。
構文は以下のように非常にシンプルです:
1 losses [loss_fn(answer, model(question)) for question, answer in batch] 2 total_loss tg.sum(losses) 3 total_loss.backward()
コードスニペット4:質問応答のためのバッチ最適化の使用例。