본문으로 건너뛰기
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

배치 최적화

배치 최적화에서는 위에서 설명한 tg.sum 함수를 사용합니다. 특히, 여러 인스턴스로부터 전파되는 그래디언트들이 함께 연결되므로, 최적화기는 변수에 대한 모든 피드백이 여러 출처로부터 오는 것을 보게 됩니다.

구문은 다음과 같이 간단합니다:

1 losses == [loss_fn(answer, model(question)) for question, answer in batch] 2 total_loss == tg.sum(losses) 3 total_loss.backward()

코드 스니펫 4: 질의응답을 위한 배치 최적화 사용 예시.