일반적인 경우
이 추상화는 임의로 복잡한 시스템에도 쉽게 적용된다. 계산 그래프를 다음과 같이 정의하자.
여기서 는 그래프의 변수, 는 그래프의 모든 변수 집합이며, SuccessorsOf는 변수의 후속자를, PredecessorsOf는 변수의 선행자를 반환한다. 일반적으로 말해, 의 값은 자연어 텍스트나 이미지와 같은 비구조적 데이터일 수 있다. 이 논문의 대부분의 결과와 설명에서 는 자연어 텍스트이다.
또한, 를 변수 집합을 입력으로 받아 변수 를 생성하는 변환으로 두자. 예를 들어, 우리는 LLM이나 수치 시뮬레이터를 변환으로 사용할 수 있다. 서로 다른 함수는 그래디언트를 계산하고 피드백을 수집하는 방식이 다르기 때문에, 우리는 일반적으로 함수 에 대한 그래디언트 함수를 나타내기 위해 를 사용할 것이다. 설명을 위해, 함수가 명백한 경우에는 아래첨자를 생략할 것이다.
그래디언트는 다음과 같이 계산된다.
여기서 우리는 의 모든 후속자로부터 그래디언트 집합을 수집한다. 직관적으로, 우리는 변수 가 사용된 모든 맥락으로부터 피드백을 얻고, 그것들을 집계한다.
식 11은 그래프에서 원하는 변수 에 대한 하류 목적 함수의 그래디언트를 재귀적으로 계산한다. 함수는 주어진 변수 의 후속자에 대한 의 그래디언트, 변수 의 값, 그리고 후속자 자체를 입력으로 받는다. 최종 그래디언트 변수는 변수가 사용된 모든 위치에 대한 맥락과 비평의 집합으로 구성된다는 점에 유의하라.
마지막으로, 그래프에서 원하는 변수 \(v\)를 업데이트하기 위해, 우리는 옵티마이저를 사용할 수 있다:
이는 의 현재 값과 그래디언트를 기반으로 의 값을 업데이트한다. 개의 간선이 있는 계산 그래프의 경우, 최적화의 각 반복은 그래디언트를 계산하기 위해 최대 개의 추가 언어 모델 호출을 수행한다(계산 그래프의 각 간선에 대해 그래디언트 연산자를 사용하는 1회 호출). TEXTGRAD에서 연산 구현에 대해서는 부록 A를 참조하라.