본문으로 건너뛰기
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

최적화 기법

자동 미분은 TEXTGRAD에 대한 강력한 유추이며, 프레임워크에서 구현된 최적화 기법에 대한 개념적 지원을 제공합니다. 아래에서 몇 가지 예를 설명합니다.

배치 최적화: 우리는 프롬프트 최적화를 위해 확률적 미니배치 경사 하강법 [18, 34]을 구현합니다. 구체적으로, 배치의 여러 인스턴스로 순전파를 수행하고 개별 손실 항을 평가한 후, tg.sum 함수를 사용하여 손실을 합산합니다(torch.sum과 유사). 역전파에서는 개별 손실 항을 통한 변수에 대한 그레이디언트가 연결되며, 이는 덧셈을 통한 역전파를 반영합니다.

제약 최적화: 우리는 제약 최적화를 유추하여 [35], 자연어 제약을 사용합니다. 특히, 우리는 자연어 제약(예: '응답의 마지막 줄은 다음 형식이어야 합니다: 'Answer: \*SELECT' 여기서 LETTER는 ABCD 중 하나입니다.'')을 사용하여 최적화기의 동작을 안내합니다. 우리는 명령어 튜닝 [36, 37] 덕분에 언어 모델이 이러한 단순한 제약을 따를 수 있지만, 제약이 너무 많으면 신뢰성이 떨어질 수 있음을 관찰합니다 [38, 39].

모멘텀: 우리는 경사 하강법에서의 모멘텀에 대한 유추를 사용합니다 [40, 41]. 변수를 최적화할 때, TGD 최적화기는 선택적으로 업데이트를 수행할 때 변수의 이전 반복을 볼 수 있습니다. TEXTGRAD에서 구현된 최적화 기법에 대한 자세한 내용은 부록 B를 참조하십시오.