5 논의
TextGrad는 세 가지 핵심 원칙 위에 구축된다: i) 특정 응용 영역을 위해 수작업으로 만들어진 것이 아닌 일반적이고 성능이 좋은 프레임워크이며, ii) PyTorch 추상화를 반영하여 사용하기 쉽고 따라서 지식 전이를 가능하게 하며, iii) 완전히 오픈소스이다. TEXTGRAD를 통해 우리는 코드 최적화와 박사 수준 질의응답에서 최첨단 결과를 얻었고, 프롬프트를 최적화하였으며, 분자 개발과 치료 계획 최적화 같은 과학적 응용에서 개념 증명 결과를 제공하였다.
우리가 첫걸음을 내디뎠지만, LLM이 구동하는 자동 미분 프레임워크의 잠재력을 실현하기 위한 향후 연구를 촉발하는 다양한 한계가 있다. 첫째, 우리가 텍스트 피드백의 역전파 가능성을 입증하였지만, 우리 프레임워크가 확장될 수 있는 많은 응용이 있다. 우리는 TEXTGRAD가 과학적 발견에서 반복 과정을 가속화하고 엔지니어링 노력의 생산성을 높이는 데 사용될 수 있기를 바란다. 예를 들어, 이를 허용하기 위해 우리는 계산 그래프의 연산을 도구 사용[83]이나 검색 증강 생성 시스템[93]과 같이 실제 LLM 응용에서 사용되는 더 많은 구성 요소를 포함하도록 확장하고자 한다. 둘째, 자동 미분 유추는 알고리즘을 위한 큰 설계 공간을 가능하게 한다. 우리는 수치 최적화, 자동 미분, TEXTGRAD 사이에서 도출할 수 있는 많은 유익한 연결이 있다고 믿는다. 특히, 분산 감소 기법[94], 적응형 그래디언트[95], 또는 LLM을 이용한 자기 검증[96]을 사용하여 최적화의 안정성을 높이는 것은 흥미로운 연결이다. TextGrad 자체와 같은 방법을 사용하여 TextGrad 프레임워크를 최적화하는 메타 학습 접근법[97-99] 또한 흥미로운 향후 연구 방향이다.
마지막으로, 우리가 생체 외 검증을 통해 새로운 분자와 치료 계획을 설계하기 위한 TEXTGRAD의 개념 증명 응용을 수행하였지만, 궁극적인 시험은 실험적 및 임상적 평가를 필요로 하며, 이는 본 논문의 범위를 벗어난다.
AI의 패러다임이 개별 모델 훈련에서 상호작용하는 여러 LLM 구성 요소와 도구를 포함하는 복합 시스템 최적화로 전환됨에 따라, 우리는 새로운 세대의 자동 최적화기가 필요하다. TEXTGRAD는 LLM의 추론 능력과 역전파의 분해 가능한 효율성을 결합하여 AI 시스템을 최적화하는 일반적인 프레임워크를 만든다.