본문으로 건너뛰기
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

1 서론

대규모 언어 모델(LLM) [1-6]의 돌파구 덕분에 AI 시스템이 구축되는 방식에 새로운 패러다임 전환이 나타나고 있다. 새로운 세대의 AI 응용 프로그램은 점점 더 여러 정교한 구성 요소를 포함하는 복합 시스템이 되고 있으며, 각 구성 요소는 LLM 기반 에이전트, 시뮬레이터와 같은 도구, 또는 웹 검색일 수 있다. 예를 들어, 기호 솔버와 통신하는 LLM 시스템은 올림피아드 수준의 수학 문제를 해결할 수 있으며 [7]; 검색 엔진과 코드 인터프리터 도구를 사용하는 LLM 시스템은 인간 경쟁 프로그래머와 비교할 만한 성능을 발휘하고 [8] 실제 GitHub 이슈를 해결하고 있다 [9]. 그러나 이러한 돌파구 중 다수는 응용 분야의 전문가가 수작업으로 제작하고 휴리스틱을 통해 조정한 시스템에서 비롯되었다. 따라서 AI 시스템을 최적화하는 원리적이고 자동화된 방법을 개발하는 것은 LLM을 사용한 복합 시스템 구축을 위한 가장 중요한 과제 중 하나이며, AI의 힘을 발휘하는 데 필요하다 [10–12].

지난 15년 동안 AI의 많은 발전은 인공 신경망과 미분 가능한 최적화에 의존해 왔다 [7, 13–17]. 신경망의 서로 다른 부분(예: 두 개의 인공 뉴런)은 행렬 곱셈과 같은 미분 가능한 함수를 통해 통신한다 [18]. 따라서 모델을 개선하기 위해 각 매개변수를 조정할 방향을 제공하는 수치적 기울기와 역전파 [19]를 사용하는 것이 AI 모델을 훈련하는 자연스러운 방법이었다. 역전파를 구현하는 유연한 자동 미분 프레임워크 [20–24]는 AI 모델 개발에 없어서는 안 될 필수 요소였다.

새로운 세대의 AI 시스템을 최적화하기 위해, 우리는 텍스트를 통한 자동 미분인 TEXTGRAD를 소개한다. 여기서 우리는 미분과 기울기를 LLM의 텍스트 피드백에 대한 은유로 사용한다. 이 프레임워크에서 각 AI 시스템은 계산 그래프로 변환되며, 변수는 복잡한(반드시 미분 가능하지는 않은) 함수 호출의 입력과 출력이다. 변수에 대한 피드백(‘텍스트 기울기’ [25]라고 불림)은 변수에 대한 정보적이고 해석 가능한 자연어 비평의 형태로 제공되며, 변수가 시스템을 개선하기 위해 어떻게 변경되어야 하는지를 설명한다. 기울기는 LLM API 호출, 시뮬레이터 또는 외부 수치 솔버와 같은 임의의 함수를 통해 전파된다.

우리는 질의응답 벤치마크에서 방사선 치료 계획 최적화 및 분자 생성에 이르기까지 다양한 영역에서 우리 프레임워크의 힘을 보여준다(그림 1). LLM은 이 광범위한 영역의 변수에 대해 분자 수정 제안, 다른 LLM에 대한 프롬프트, 코드 스니펫과 같이 매우 풍부하고 읽기 쉬우며 표현력 있는 자연어 기울기를 제공할 수 있다. 우리의 프레임워크는 현재의 최첨단 LLM이 최적화하려는 시스템의 개별 구성 요소와 하위 작업에 대해 추론할 수 있다는 가정에 기반한다. 우리는 다음 결과를 통해 TEXTGRAD의 유연성을 보여준다:

1. 코딩: 섹션 3.1에서 우리는 LeetCode [26]의 어려운 코딩 문제에 대한 해결책을 최적화하며, gpt-4o와 최고의 기존 방법의 성능을 2020%의 관련 성능 이득으로 향상시킨다. 2. 문제 해결: 섹션 3.2에서 우리는 GPT-4o의 제로샷 성능을 개선하기 위해 복잡한 과학적 질문에 대한 해결책을 최적화한다. 예를 들어, Google-Proof Question Answering [27] 벤치마크에서 테스트 시점에 해결책을 정제하여 제로샷 정확도를 5151%에서 5555%로 향상시킨다. 3. 추론: 섹션 3.3에서 우리는 LLM 성능을 개선하기 위해 프롬프트를 최적화하며, 여러 추론 작업에서 GPT-3.5의 성능을 GPT-4에 가깝게 끌어올린다. 4. 화학: 섹션 3.4에서 우리는 바람직한 약물 유사성과 약물 표적에 대한 in silico 결합 친화도를 가진 새로운 소분자를 설계한다. 5. 의학: 섹션 3.5에서 우리는 전립선암 환자를 위한 방사선 치료 계획을 최적화하여 바람직한 표적 용량을 달성하고 부작용을 줄인다.

광범위한 응용 분야에서의 우리의 결과는 텍스트 피드백의 역전파를 통해 복합 AI 시스템을 자동으로 최적화하는 TEXTGRAD의 가능성을 보여준다. 이 방향의 발전을 가속화하기 위해 우리는 https://github.com/zou-group/textgrad 에서 우리의 프레임워크를 오픈소스로 공개한다.