본문으로 건너뛰기
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

일반적인 경우

이 추상화는 임의로 복잡한 시스템에도 쉽게 적용된다. 계산 그래프를 다음과 같이 정의하자.

v=fv(PredecessorsOf(v))∀v∈V(10)v = f_{v}(\mathrm{PredecessorsOf}(v))\forall v\in \mathcal{V} \quad (10)

여기서 vv는 그래프의 변수, V\mathcal{V}는 그래프의 모든 변수 집합이며, SuccessorsOf는 변수의 후속자를, PredecessorsOf는 변수의 선행자를 반환한다. 일반적으로 말해, vv의 값은 자연어 텍스트나 이미지와 같은 비구조적 데이터일 수 있다. 이 논문의 대부분의 결과와 설명에서 vv는 자연어 텍스트이다.

또한, fvf_{v}를 변수 집합을 입력으로 받아 변수 vv를 생성하는 변환으로 두자. 예를 들어, 우리는 LLM이나 수치 시뮬레이터를 변환으로 사용할 수 있다. 서로 다른 함수는 그래디언트를 계산하고 피드백을 수집하는 방식이 다르기 때문에, 우리는 일반적으로 함수 ff에 대한 그래디언트 함수를 나타내기 위해 ∇f\nabla_{f}를 사용할 것이다. 설명을 위해, 함수가 명백한 경우에는 아래첨자를 생략할 것이다.

그래디언트는 다음과 같이 계산된다.

∂L∂v=⋃w∈SuccessorsOf(v)∇f(v,w,∂L∂w),(11)\frac{\partial\mathcal{L}}{\partial v} = \bigcup_{w\in \mathrm{SuccessorsOf}(v)}\nabla_{\mathrm{f}}\left(v,w,\frac{\partial\mathcal{L}}{\partial w}\right), \quad (11)

여기서 우리는 vv의 모든 후속자로부터 그래디언트 집합을 수집한다. 직관적으로, 우리는 변수 vv가 사용된 모든 맥락으로부터 피드백을 얻고, 그것들을 집계한다.

식 11은 그래프에서 원하는 변수 vv에 대한 하류 목적 함수의 그래디언트를 재귀적으로 계산한다. ∇i\nabla_{i} 함수는 주어진 변수 vv의 후속자에 대한 L\mathcal{L}의 그래디언트, 변수 vv의 값, 그리고 후속자 자체를 입력으로 받는다. 최종 그래디언트 변수는 변수가 사용된 모든 위치에 대한 맥락과 비평의 집합으로 구성된다는 점에 유의하라.

마지막으로, 그래프에서 원하는 변수 \(v\)를 업데이트하기 위해, 우리는 옵티마이저를 사용할 수 있다:

vnew=TGD.step(v,∂L∂v),(12)v_{\mathrm{new}} = \mathrm{TGD.step}\left(v,\frac{\partial\mathcal{L}}{\partial v}\right), \quad (12)

이는 vv의 현재 값과 그래디언트를 기반으로 vv의 값을 업데이트한다. nn개의 간선이 있는 계산 그래프의 경우, 최적화의 각 반복은 그래디언트를 계산하기 위해 최대 nn개의 추가 언어 모델 호출을 수행한다(계산 그래프의 각 간선에 대해 그래디언트 연산자를 사용하는 1회 호출). TEXTGRAD에서 연산 구현에 대해서는 부록 A를 참조하라.