TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.
모멘텀
TEXTGRAD는 텍스트 그래디언트 하강법에서 모멘텀의 사용을 지원합니다. 표준 SGD에서 모멘텀은 과거 그래디언트와 가장 최근 그래디언트의 선형 결합을 사용하여 변수를 업데이트할 새로운 그래디언트를 정의합니다. 마찬가지로, TEXTGRAD는 변수의 과거 반복들을 추적합니다. 이 접미사는 최적화기를 위한 프롬프트에 추가됩니다.
1 optimizer = TextualGradientDescent(parameters=[solution], momentum_window=3)
코드 스니펫 6: TextualGradientDescent 최적화기에서 3개의 이전 단계를 사용하여 모멘텀을 활성화하는 방법.
모멘텀 프롬프트
다음은 이 변수의 과거 반복들입니다: <PAST_ITERATIONS> {past_values}</PAST_ITERATIONS>