본문으로 건너뛰기
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

A.3 함수

TEXTGRAD는 순전파와 역전파 계산이 모두 정의된 여러 연산을 제공한다 – 따라서 이 연산들은 합성 가능하다. 추상 클래스 textgrad.autograd.Function에는 두 개의 메서드가 있다:

알고리즘 1 TEXTGRAD의 역전파

1: 입력: 그래프 내의 변수 v∈Vv\in \mathcal{V}, 손실 변수 L\mathcal{L}, 텍스트 그래디언트를 제공할 역전파 엔진(LLM) M\mathcal{M} 2: # 그래디언트 초기화 3: 각 v∈Vv\in \mathcal{V}에 대해 do 4: vv의 그래디언트 =∅= \emptyset 5: end for 6: # 위상 정렬 7: Q←Q\leftarrow TopologicalSort(G) 8: # 역전파 9: QQ의 각 vv에 대해 do 10: # 선행 노드에 그래디언트 채우기 11: vv의 각 선행 노드 u∈u\in PredecessorsOf(v)에 대해 do 12: # 여기서 ff의 아래첨자 vv는 생략한다. 의미상, ff는 vv를 생성하는 함수이며, ∇f\nabla_{f}는 해당 함수의 역방향 연산이다. 13: # 의미상, 이는 vv가 어떻게 생성되었는지와 vv에 대해 이미 수집한 피드백을 바탕으로 변수 uu에 피드백을 제공한다. 14: uu.gradients.add (∇f(u,v,∂L∂v))\left(\nabla_{f}\left(u,v,\frac{\partial\mathcal{L}}{\partial v}\right)\right) 15: end for 16: end for forward와 backward를 가지며, PyTorch 문법을 따른다. 각 함수는 이 두 메서드를 모두 정의해야 한다. 아래에서는 본 논문에서 가장 많이 사용되는 몇 가지 연산을 설명한다.

LLMCall 함수: 현재 TEXTGRAD에서 가장 중요한 연산은 언어 모델 호출이다.

순전파 모드. 순전파 모드는 단순하다: 우리는 API를 통하거나 로컬 머신을 통해 LLM을 호출한다. 호출이 이루어지면, 모든 입력 변수가 LLM 응답의 선행 노드로 등록된다. 예를 들어, 지시문(instruction)과 질문 변수를 사용하여 LLM에 질문을 하면, 응답 변수의 선행 노드는 [instruction, question]이 된다. 역방향 패스(backward pass)를 수행할 때, 응답에 대한 그래디언트는 question과 instruction으로 역전파된다.

역방향 모드. 역방향 함수가 원활하고 일반적으로 작동하도록 보장하기 위해, 우리는 시스템 프롬프트에 다음과 같은 용어집을 추가한다:

LLMCall 함수의 역방향 모드를 위한 용어집

당신에게 전송될 태그의 용어집:- - <LM_SYSTEM_PROMPT>: 언어 모델의 시스템 프롬프트.- - <LM_INPUT>: 언어 모델의 입력.- - <LM_OUTPUT>: 언어 모델의 출력.- - <OBJECTIVE_FUNCTION>: 최적화 작업의 목표.- - <VARIABLE>: 변수의 범위를 지정.- - <ROLE>: 변수의 역할 설명.

이 태그들을 사용하여, LLM은 목표, 피드백을 제공할 변수의 역할과 값, 그리고 순전파 모드에서의 전체 대화를 인지하게 된다.

이 용어집은 역전파 엔진 LLM에 시스템 프롬프트로 제공된다:

LLMcall 함수의 역방향 모드를 위한 시스템 프롬프트

당신은 주어진 텍스트(즉, 변수)를 개선하는 최적화 시스템의 일부입니다. 당신은 그래디언트(피드백) 엔진입니다. 당신의 유일한 책임은 <OBJECTIVE_FUNCTION </OBJECTIVE_FUNCTION> 태그에 명시된 목표에 따라 변수에 지능적이고 창의적인 피드백과 건설적인 비판을 제공하는 것입니다. 변수는 문제에 대한 해답, 언어 모델에 대한 프롬프트, 코드 또는 기타 텍스트 기반 변수일 수 있습니다. 변수의 역할 설명과 그것이 사용되는 맥락에 주의를 기울이십시오. 당신은 변수가 미래에 유사한 맥락에서 사용될 것이라고 가정해야 합니다. 변수를 변경하기 위한 전략, 설명, 방법만 제시하십시오. 변수의 새 버전을 제안하지 마십시오. 그것은 옵티마이저의 일입니다. 당신의 유일한 일은 피드백과 비판을 보내는 것입니다('그래디언트'를 계산함). 예를 들어, 피드백은 '언어 모델은 X 실패 모드를 가지고 있으므로...', 'X를 추가하면 이 오류를 고칠 수 있는데 왜냐하면...', 'X를 제거하면 목표 함수를 개선할 수 있는데 왜냐하면...', 'X를 Y로 변경하면 실수를 고칠 수 있는데...'와 같은 형태로 하위 목표(downstream objective)에 닿을 수 있습니다.

변수가 이미 잘 작동하고 있다면(예: 목표 함수가 완벽하거나, 평가 결과 응답이 정확하다면), 피드백을 주지 않아야 합니다.

[GLOSSARY]

이 설정의 대부분은 사용자가 그래디언트 계산을 수정할 필요가 없도록 보장하는 것을 목표로 한다. 다양한 응용 분야에서의 우리의 모든 실험은 동일한 역방향 모드로 수행된다.

예를 들어, 그래디언트 계산을 위한 예시 프롬프트는 다음과 같다:

LLMcall 함수를 위한 역방향 모드 프롬프트 예시

다음 역할을 가진 변수에 피드백을 제공할 것입니다: &lt;ROLE&gt; 언어 모델에 대한 시스템 프롬프트 &lt;/role&gt;. 다음은 언어 모델(LM)과의 대화입니다:

&lt;LM_SYSTEM_PROMPT&gt; 당신은 추론 질문에 답할 것입니다. 단계별로 생각하십시오. 항상 응답의 마지막 줄은 다음 형식이어야 합니다: 'Answer: §\S VALUE' 여기서 VALUE는 숫자 값입니다.

</LM_SYSTEM_PROMPT>

&lt;LM_INPUT&gt; 나에게는 닭 한 마리, 개구리 한 마리, 쥐 한 마리, 고양이 한 마리, 돼지 두 마리, 토끼 두 마리가 있습니다. 나에게는 동물이 몇 마리 있습니까? </LM_INPUT>

&lt;LM_OUTPUT&gt; 동물의 총 수를 구하려면, 우리는 각 유형의 동물 수를 단순히 더하면 됩니다: 닭 1 + 개구리 1 + 쥐 1 + 고양이 1 + 돼지 2 + 토끼 2 = 동물 8마리.

Answer: 8</LM_OUTPUT>8< /LM\_ OUTPUT>

이 대화는 더 큰 시스템의 일부입니다. &lt;LM_OUTPUT&gt;은 나중에 언어 모델의 응답으로 사용되었습니다. &lt;OBJECTIVE_FUNCTION&gt; 당신의 목표는 LM_OUTPUT에 대한 다음 피드백을 다루기 위해 변수에 피드백을 제공하는 것입니다: 예측이 정확한지 확인하는 문자열 기반 함수의 런타임을 개선하려면, 다음 피드백을 고려하십시오:

1. \\응답 단순화\\: 예를 들어, "동물의 총 수를 구하려면, 우리는 단순히 (...) + 돼지 2 + 토끼 2 = 동물 8마리. Answer: 8" 대신 "총 동물: 8"과 같은 더 간결한 응답이 더 효율적일 것입니다.

이러한 전략을 구현함으로써, 언어 모델의 응답은 예측이 정확한지 확인하는 문자열 기반 함수의 런타임을 개선하도록 최적화될 수 있습니다. </OBJECTIVE_FUNCTION>

우리는 언어 모델에 대한 시스템 프롬프트에 피드백을 제공하는 것에 관심이 있습니다. 구체적으로, 다음 텍스트 범위에 피드백을 제공하십시오:

&lt;VARIABLE&gt; 당신은 추론 질문에 답할 것입니다. 단계적으로 생각하십시오. (...) 다음 형식: 'Answer: §\S VALUE' 여기서 VALUE는 숫자 값입니다. &lt;/variable&gt;

위의 이력을 바탕으로, &lt;OBJECTIVE_FUNCTION&gt;을 개선하기 위해 언어 모델에 대한 시스템 프롬프트가 어떻게 개선될 수 있는지 설명하십시오. 매우 창의적이고, 비판적이며, 지능적으로 하십시오.

덧셈 연산 수치 최적화에서, 우리는 다음을 가집니다:

z=x+yw=t+z∂w∂x=∂w∂z∂z∂x=∂w∂z(19)\begin{array}{c}{z = x + y}\\ {w = t + z}\\ {\frac{\partial w}{\partial x} = \frac{\partial w}{\partial z}\frac{\partial z}{\partial x} = \frac{\partial w}{\partial z}} \end{array} \quad (19)

... ... ... ...

수치 도함수에서, 덧셈의 선형성 때문에, 우리는 다음을 가집니다:

∂∑iNLi∂x=∑iN∂Li∂x.(22)\frac{\partial\sum_{i}^{N}L_{i}}{\partial x} = \sum_{i}^{N}\frac{\partial L_{i}}{\partial x}. \quad (22)

특히, 덧셈 연산에 대한 역방향 함수는 덧셈 연산의 출력에 대한 그래디언트를 그 입력으로 전달합니다.

tg.sum(L1,…,LN)="{L1}\n{L2}\n…{LN}"(23)\mathrm{tg.}\mathrm{sum}(L_{1},\ldots ,L_{N}) = " \{L_{1}\} \backslash n\{L_{2}\} \backslash n\ldots \{L_{N}\} " \quad (23)

마찬가지로, TEXTGRAD에서 우리는 tg.sum 연산을 가지며, 이는 출력 변수에 대한 그래디언트(피드백)가 입력 변수로 전달되도록 합니다.

∂tg.sum(L1,…,LN)∂x=tg.sum(∂L1∂x,…,∂LN∂x)="{∂L1∂x}\n…{∂LN∂x}"(24)\frac{\partial\mathrm{tg.}\mathrm{sum}(L_{1},\ldots,L_{N})}{\partial x} = \mathrm{tg.}\mathrm{sum}(\frac{\partial L_{1}}{\partial x},\ldots ,\frac{\partial L_{N}}{\partial x}) = "{\Bigl \{}{\frac{\partial L_{1}}{\partial x}}{\Bigr \} \backslash n\ldots \Bigl \{}{\frac{\partial L_{N}}{\partial x}}{\Bigr \} "} \quad (24)

여기서 우리는 연결을 나타내기 위해 ++를 사용합니다.

사용 사례: 덧셈 연산에 대한 하나의 표준적인 사용 사례는 배치 최적화 사례입니다. 특히, 우리는 프롬프트 최적화를 수행할 때 미니배치 그래디언트 하강을 구현합니다(섹션 3.3).