본문으로 건너뛰기
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

워밍업: 두 개의 LLM 호출로 구성된 시스템

예시 계산 그래프. 전통적인 자동 미분에서 우리는 연쇄 법칙을 사용하여 하류 손실에 대해 변수를 개선할 방향을 제공하는 기울기를 계산한다. 간단한 유사 사례로, 다음과 같은 간단한 시스템을 살펴보자:

Prediction=LLM(Prompt+Question),Evaluation=LLM(Evaluation+Prediction),(1)\begin{array}{r}\mathrm{Prediction} = \mathrm{LLM}(\mathrm{Prompt} + \mathrm{Question}),\\ \mathrm{Evaluation} = \mathrm{LLM}(\mathrm{Evaluation} + \mathrm{Prediction}), \end{array} \quad (1)

a 수치적 기울기를 사용한 신경망과 역전파

b 자연어 '기울기'를 사용한 블랙박스 AI 시스템과 역전파

C 1 추상화의 유사성

수학PyTorchTextGrad
입력xTensor(image)tg.Variable(article)
모델y = fθ(x)ResNet50( )tg.BlackboxLLM("You are a summarizer.")
손실L(y, y) = ∑ y; log( y; )CrossEntropyLoss( )tg.TextLoss("Rate the summary.")
옵티마이저GD(θ; θ) = θ - θL/θ0SGD(List(model.parameters( )))tg.TGD(List(model.parameters( )))

2 자동 미분

PyTorch와 TextGrad는 역전파와 최적화에 대해 동일한 구문을 공유한다.

d 분자 최적화를 위한 TextGrad

e 코드 최적화를 위한 TextGrad

f 치료 계획 최적화를 위한 TextGrad

g 프롬프트 최적화를 위한 TextGrad

당신은 추론 질문에 답할 것입니다. 단계별로 생각하세요. 응답의 마지막 줄은 다음 형식이어야 합니다: 'Answer: 'SVAULE' 여기서 VALUE는 수치 값입니다.

초기화 시 프롬프트 (정확도 = 77.8%)

당신은 추론 질문에 답할 것입니다. 각 항목과 그 수량을 명확하고 일관된 형식으로 나열하세요, 예: - 항목: 수량'. 목록에서 직접 값을 합산하고 간결한 합계를 제공하세요. 최종 답변이 다음 형식으로 명확하게 표시되도록 하세요: 'Answer: 'SVAULE' 여기서 VALUE는 수치 값입니다. 각 항목이 질의의 맥락과 관련이 있는지 확인하고 입력의 잠재적 오류나 모호성을 처리하세요. 최종 개수를 다시 확인하여 정확성을 보장하세요."

최적화 후 프롬프트 (정확도 = 91.9%)

그림 1: 텍스트를 통한 자동 "미분"(a, b). 기울기의 역전파는 딥러닝의 원동력이다. 우리는 블랙박스 AI 시스템의 복합 시스템에 대해서는 기울기를 가지고 있지 않지만, 텍스트 기반 피드백에 대해 유사한 역전파를 구성할 수 있으며, 이것이 TEXTGRAD의 기반을 이룬다. TEXTGRAD의 추상화(c). 우리는 PyTorch와 동일한 추상화와 구문을 공유하여 우리 프레임워크를 일반화 가능하고 배우기 쉽게 만들었다. TEXTGRAD의 응용(d, e, f, g). 3.4절에서 우리는 약물 유사성과 단백질 결합 친화력 같은 속성에 대해 분자 구조를 최적화한다(d). 3.1절에서 우리는 코딩 문제에 대한 해답을 최적화한다(e). 3.5절에서 우리는 환자 결과를 개선하기 위해 방사선 치료 계획을 최적화한다(f). 3.3절에서 우리는 언어 모델의 추론을 개선하기 위해 프롬프트를 최적화한다(g). 여기서 우리는 최적화할 자유 매개변수인 프롬프트를 초록색으로 표시하고, 두 문자열의 연결을 나타내기 위해 ++를 사용하며, LLM(x)\mathrm{LLM}(x)를 사용하여 xx를 언어 모델에 프롬프트로 제공하여 응답을 수집한다. 우리는 다음과 같은 연쇄 표기법을 사용할 것이다:

Prompt+Question→LLMEvaluationInstruction+Prediction→LLMEvaluation,(3)\mathrm{Prompt} + \mathrm{Question} \xrightarrow{\mathrm{LLM}} \mathrm{Evaluation} \mathrm{Instruction} + \mathrm{Prediction} \xrightarrow{\mathrm{LLM}} \mathrm{Evaluation}, \quad (3)

이는 이 시스템을 나타내는 또 다른 방식으로, 여기서 우리는 한 번의 LLM 호출로 Prompt를 사용하여 Question에 대한 Prediction을 생성하고, 또 다른 LLM 호출로 이 Prediction을 평가한다.

예시 기울기 계산. 이 예시 시스템에서 평가에 대해 Prompt를 개선하기 위해, 우리는 다음과 같은 과정을 통해 역전파[19] 알고리즘의 유사체를 인스턴스화한다:

단순 그래프에 대한 기울기 계산: Prompt →LLM\xrightarrow{\mathrm{LLM}} Prediction →LLM\xrightarrow{\mathrm{LLM}} Evaluation

∂Evaluation∂Prompt=∂Evaluation∂Prediction⋅∂Prediction∂Prompt=∇LLM(Prediction,Evaluation),(4)\frac{\partial\mathrm{Evaluation}}{\partial\mathrm{Prompt}} = \frac{\partial\mathrm{Evaluation}}{\partial\mathrm{Prediction}}\cdot \frac{\partial\mathrm{Prediction}}{\partial\mathrm{Prompt}} = \nabla_{\mathrm{LLM}}(\mathrm{Prediction},\mathrm{Evaluation}), \quad (4)

여기서 우리는 순방향 함수가 LLM 호출일 때 기울기 연산자에 ∇LLM\nabla_{\mathrm{LLM}}을 사용한다. 특히, 이 함수는 '이 예측은 다음과 같이 개선될 수 있습니다...'와 같은 자연어 피드백을 반환하며, 여기서 피드백은 최적화에서의 기울기와 유사하게, 하류 목표를 개선하기 위해 변수를 어떻게 수정할지 설명한다. 우리는 먼저 평가를 사용하여 Prediction 변수에 대한 피드백을 수집한다. 그다음, 이 피드백과 (Prompt →LLM\xrightarrow{\mathrm{LLM}} Prediction) 호출이 주어지면, 우리는 Prompt에 대한 피드백을 수집한다.

“여기서 우리는 출력 변수에 후속자가 없는 경우(예: ∇LLM(Prediction,Evaluation)\nabla_{\mathrm{LLM}}(\mathrm{Prediction},\mathrm{Evaluation}))와 후속자가 있어 그래디언트를 가지는 경우(예: ∇LLM(Prompt,Prediction,∂Loss∂Prediction)\nabla_{\mathrm{LLM}}(\mathrm{Prompt},\mathrm{Prediction},\frac{\partial\mathrm{Loss}}{\partial\mathrm{Prediction}})) 모두를 표기하기 위해 표기를 중복 정의한다는 점에 유의하라.

다음은 x→LLMy→LLMLx \xrightarrow{\mathrm{LLM}} y \xrightarrow{\mathrm{LLM}} \mathcal{L}와 같은 단순한 시스템에 대해 피드백을 수집하기 위해 ∇LLM\nabla_{\mathrm{LLM}}을 인스턴스화하는 유연한 방법이다:

그래디언트 연산자에 대한 예시 구현

\[\begin{array}{r l} & {\frac{\partial\mathcal{L}}{\partial x} = \nabla_{\mathrm{LLM}}(x,y,\frac{\partial\mathcal{L}}{\partial y})\triangleq \mathrm{"H e r e~i s~a~c o n v e r s a t i o n~w i t h~a n~L L M:~}\{x|y\} .}\\ & {\qquad +\qquad}\\ & {\qquad \mathrm{LLM}(\mathrm{H e r e~i s~a~c o n v e r s a t i o n~w i t h~a n~L L M:~}\{x|y\} .}\\ & {\qquad \mathrm{Below~a r e~t h e~c r i t i c i s m s~o n~\{y\} :}}\\ & {\qquad \left\{\frac{\partial\mathcal{L}}{\partial y}\right\}}\\ & {\qquad \mathrm{Explain~h o w~t o~i m p r o v e~\{x\} .),} \end{array} \quad (6)

여기서 그래디언트 객체는 변수가 등장하는 맥락과 LLMa\mathrm{LLM}^a으로부터 얻은 피드백의 조합이며, Pryzant 등 [25]과 유사하게 정의된다. 이 연산자는 예를 들어 응용 도메인에 의존하지 않는다는 점에 유의하라. 일단 구현되면, LLM 호출에 대한 그래디언트 연산자는 모든 응용에서 프레임워크 전반에 걸쳐 고정된다.

a우리가 사용하는 정확한 프롬프트는 일반성과 유연성을 보장하기 위해 다르다; 우리는 이 예시들을 설명 목적으로만 사용한다.

예시 옵티마이저. 표준 그래디언트 하강법에서는 변수의 현재 값이 그래디언트와 뺄셈을 통해 결합된다. 예를 들어:

θnew=GradientDescent.step(θ,∂L∂θ)=θ−∂L∂θ.(7)\theta_{\mathrm{new}} = \mathrm{GradientDescent.step}(\theta ,\frac{\partial\mathcal{L}}{\partial\theta}) = \theta -\frac{\partial\mathcal{L}}{\partial\theta}. \quad (7)

그래디언트 기반 최적화 유추를 계속하여, 우리는 텍스트 그래디언트 하강법(Textual Gradient Descent, TGD)을 사용한다:

TGD를 통해 단순 그래프의 Prompt 변수를 업데이트하기.

Promptnew=TGD.step(Prompt,∂Evaluation∂Prompt).(8)\mathrm{Prompt}_{\mathrm{new}} = \mathrm{TGD.step}(\mathrm{Prompt},\frac{\partial\mathrm{Evaluation}}{\partial\mathrm{Prompt}}). \quad (8)

를 사용하여 매개변수, 이 경우에는 Prompt를 업데이트한다. 특히, 현재 변수와 이 변수에 대해 수집한 그래디언트(피드백)가 주어지면, 옵티마이저는 이 변수를 업데이트하고자 한다.

TGD를 인스턴스화하는 구체적인 방법은 다음과 같다:

TGD 한 반복의 예시 구현

xnew=TGD.step(x,∂L∂x)≜LLM(Below are the criticisms on {x};{∂L∂x}Incorporate the criticisms, and produce a new variable. ).(9)\begin{array}{r l} & {x_{\mathrm{new}} = \mathrm{TGD.step}(x,\frac{\partial\mathcal{L}}{\partial x})\triangleq \mathrm{LLM}(\mathrm{Below~are~the~criticisms~on~}\{x\} ;}\\ & {\qquad \left\{\frac{\partial\mathcal{L}}{\partial x}\right\}}\\ & {\qquad \mathrm{Incorporate~the~criticisms,~and~produce~a~new~variable.~).}} \end{array} \quad (9)

여기서 xx는 우리가 개선하고자 하는 변수이고, ∂L∂x\frac{\partial\mathcal{L}}{\partial x}는 역방향 패스 동안 변수에 대해 얻은 피드백이다. 그래디언트 연산자와 마찬가지로, 이 함수 또한 응용 도메인에 의존하지 않으며, TGD 구현은 프레임워크의 모든 사용에서 동일하다.

a우리가 사용하는 정확한 프롬프트는 일반성과 유연성을 보장하기 위해 다르다; 우리는 이 예시들을 설명 목적으로만 사용한다.