요약
AI는 패러다임 전환을 겪고 있으며, 다수의 대규모 언어 모델(LLM)과 기타 복잡한 구성 요소를 조정하는 시스템을 통해 돌파구가 달성되고 있다. 그 결과, 복합 AI 시스템을 위한 원리적이고 자동화된 최적화 방법을 개발하는 것이 가장 중요한 새로운 과제 중 하나가 되었다. 신경망은 초창기에 역전파와 자동 미분이 최적화를 간편하게 만들어 분야를 변혁하기 전까지 유사한 과제에 직면했다. 이에 영감을 받아, 우리는 텍스트를 통한 자동 "미분"을 수행하는 강력한 프레임워크인 TEXTGRAD를 소개한다. TEXTGRAD는 LLM이 제공하는 텍스트 피드백을 역전파하여 복합 AI 시스템의 개별 구성 요소를 개선한다. 우리의 프레임워크에서 LLM은 코드 스니펫에서 분자 구조에 이르기까지 계산 그래프의 변수를 최적화하기 위한 풍부하고 일반적이며 자연어적인 제안을 제공한다. TEXTGRAD는 PyTorch의 구문과 추상화를 따르며 유연하고 사용하기 쉽다. 이는 사용자가 프레임워크의 구성 요소나 프롬프트를 조정하지 않고 목적 함수만 제공하면 다양한 작업에서 즉시 작동한다. 우리는 질의응답 및 분자 최적화에서 방사선 치료 계획에 이르기까지 다양한 응용 분야에서 TEXTGRAD의 효과성과 일반성을 보여준다. 프레임워크를 수정하지 않고도 TEXTGRAD는 Google-Proof Question Answering에서 GPT-4o의 제로샷 정확도를 51%에서 55%로 향상시키고, LeetCode-Hard 코딩 문제 해결책 최적화에서 20%의 상대적 성능 이득을 산출하며, 추론을 위한 프롬프트를 개선하고, 바람직한 in silico 결합을 가진 새로운 약물 유사 소분자를 설계하며, 높은 특이성을 가진 방사선 종양학 치료 계획을 설계한다. TEXTGRAD는 차세대 AI 시스템의 개발을 가속화할 기반을 마련한다.