4 관련 연구
한 관련된 연구 흐름은 프롬프트 최적화 문제를 조사하였다. 실무자들은 지능적으로 퓨샷 예시를 고르는 것, 문맥 내 학습, CoT, 앙상블과 같은 프롬프트 엔지니어링 전략이 LLM의 성능을 크게 향상시킬 수 있음을 입증하였다[66]. 이 과정을 자동화하기 위해 수치 그래디언트를 활용하는 화이트박스 방법이 프롬프트를 최적화하기 위해 개발되었으나[67-70], 이러한 방법들은 모델 파라미터에 대한 접근을 필요로 하므로 폐쇄형 모델에는 사용할 수 없다. 다양한 연구들이 LLM을 프롬프트 최적화기로 사용하는 것을 조사하였다[12, 25, 71].
프롬프트 최적화 아래에서, 우리의 철학에 가장 가까운 두 연구가 우리의 영감이 되었다. 첫째, DSPy[10, 72, 73]는 복잡한 LLM 기반 시스템을 잠재적으로 여러 계층을 가진 프로그램으로 보는 아이디어를 개척하고, 이를 프로그래밍 방식으로 구축하고 최적화하는 방법을 제안한다. 이 프레임워크는 광범위하며, 다양한 질의응답, 추론, 프롬프트 최적화 과제에서 LLM 성능을 향상시키는 결과를 보여준다. 우리의 연구는 역전파와 그 확장이 새로운 세대의 AI 시스템을 최적화하는 일반적이고 강력한 프레임워크가 될 수 있으며 프롬프트 최적화 외의 여러 과제를 수행할 수 있다는 다른 관점을 취한다. 특히, 우리는 지시문이나 시연뿐만 아니라 우리가 관심을 가지는 인스턴스 자체—예컨대 분자, 치료 계획, 코드 스니펫 등—도 최적화할 변수로 취급한다. 둘째, 우리에게 큰 영감을 준 텍스트 그래디언트를 이용한 프롬프트 최적화(ProTeGi)[25]는 프롬프트 최적화 맥락에서 텍스트 그래디언트를 정의하며, 여기서 그래디언트는 과제 중 발생한 실수에 대해 LLM이 주는 자연어 피드백이다. ProTeGi는 텍스트 그래디언트 유추 위에 구축되었지만, 우리는 이 유추를 자동 미분으로 더 광범위하게 확장하고 프롬프트 최적화 과제를 상당히 넘어선다. 특히, DSPy와 ProTeGi는 모두 프롬프트 최적화에 초점을 맞추었으나, 우리의 다양한 응용을 통해 입증된 TExTGRAD의 중요한 진전은 인스턴스 최적화에 있다.
더 일반적으로, LLM을 비평가 또는 최적화기로 사용한다는 고수준 아이디어 위에 구축된 신흥 연구 흐름이 있다[10, 12, 25, 26, 30, 71, 74-80]. 이러한 초기 프레임워크들 중 다수가 최적화기로서 LLM의 유용성을 입증하였으나, 우리는 다양한 응용에서 성공적으로 검증된 단일하고 일반적인 프레임워크를 제안한다. 이 프레임워크 내에서 우리는 LLM의 체인 또는 스택을 최적화하는 것에 대해 추론할 수 있다[81-83]: 우리는 자연어 피드백을 전파한다. 마찬가지로, 일단 범용 최적화 엔진으로 보면, 우리는 테스트 시점 훈련[42, 43]이나 해답의 자기 정제 및 자기 개선[26, 30, 44, 84-91]과 같은 많은 관련 문제를 우리 프레임워크에서 몇 줄의 코드로 인스턴스화하여 정식화할 수 있다. 최적화 유추에 기반하여, 우리는 이미 모멘텀[40]과 같은 전통적 최적화 문헌의 여러 유추를 컨텍스트에서 이전 반복을 사용하는 방식, 배치 최적화의 사용[92], 자연어 제약을 이용한 제약 최적화[35] 등으로 전이하였다. 우리의 연구는 모두 같은 프레임워크 안에서 새로운 세대의 최적화 알고리즘을 설계할 수 있는 큰 공간을 연다.