3.3 추론을 위한 프롬프트 최적화
LLM은 추론 과제에서 인상적인 성능을 보이지만, 그 성능은 행동을 이끄는 데 사용되는 프롬프트에 민감할 수 있다. 특히, 적절한 프롬프트를 선택하면 그 성능이 상당히 향상될 수 있다 [49]. 프롬프트 최적화에서 목표는 LLM의 행동을 이끄는 프롬프트 또는 지시를 찾아, 주어진 과제에서 좋은 성능을 내도록 하는 것이다. 특히, 우리는 종종 다음과 같은 연산 그래프를 가진다:
| 데이터셋 | 방법 | 정확도 (%) |
| Google-proof QA [27] | CoT [46, 47] | 51.0 |
| 최고 보고 기록 [48] | 53.6 | |
| TEXTGRAD | 55.0 | |
| MMLU-Machine Learning [45] | CoT [46, 47] | 85.7 |
| TEXTGRAD | 88.4 | |
| MMLU-College Physics [45] | CoT [46, 47] | 91.2 |
| TEXTGRAD | 95.1 |
여기에는 과제에 대한 Question, 질문에 대한 Answer, 그리고 정답이 주어졌을 때 출력의 품질을 나타내는 Evaluation Metric이 있다. 예를 들어, 질의응답 과제의 경우 평가 지표는 예컨대 문자열 기반 지표를 사용하여 평가된 답변의 정확도일 것이다.
여기서 Prompt를 최적화하기 위해 소수의 훈련 예시가 주어졌을 때, 목표는 주어진 과제에서 LLM의 성능을 최대화하는 것이다. 우리의 실험에서 목표는 더 강력한 모델(예: gpt-4o)이 생성한 피드백을 사용하여 더 약하고 저렴한 모델(예: gpt-3.5-turbo-0125)의 성능을 향상시키는 것이다. 이는 고정 비용을 지불하여 Prompt를 최적화함으로써, 프롬프트 최적화된 약한 모델을 강력하고 더 비싼 모델 대신 더 저렴한 추론 비용으로 사용할 수 있기 때문에 실제로 유용하다.
1 # 시스템 프롬프트 초기화 2 system_prompt = tg.Variable("You are a helpful language model. Think step by step.", 3 requires_grad=True, 4 role_description="system prompt to the language model") 5 6 # 프롬프트에 의해 '매개변수화된' 모델 객체 설정 7 model = tg.BlackboxLLM(system_prompt=system_prompt) 8 9 # 시스템 프롬프트 최적화 10 optimizer = tg.TextualGradientDescent(parameters=[system_prompt]) 11 12 for iteration in range(max_iterations): 13 batch_x, batch_y = next(train_loader) 14 optimizer.zero_grad() 15 # 순전파 수행 16 responses = model(batch_x) 17 losses = [loss_fn(response, y) for (response, y) in zip(responses, batch_y)] 18 total_loss = tg.sum(losses) 19 # 역전파 수행 및 그래디언트 계산 20 total_loss.backward() 21 # 시스템 프롬프트 업데이트 22 optimizer.step()
코드 스니펫 2: TEXTGRAD를 사용한 프롬프트 최적화의 간단한 구현.
여기서 우리는 미니배치 확률적 경사 하강 설정에서 TEXTGRAD를 사용한다[18, 34]. 특히, 각 반복에서 우리는 몇 개의 훈련 예제를 사용하여 방정식 16의 순방향 패스를 실행한다. 의사 코드와 짧은 구현은 위의 스니펫에서 찾을 수 있다. 프롬프트 최적화의 전체 세부 사항은 부록 E에서 찾을 수 있다. TEXTGRAD가 각 개별 솔루션을 최적화하려고 시도하는 인스턴스 최적화와 달리, 여기서의 목표는 벤치마크의 모든 질문에 대해 잘 작동하는 단일 프롬프트를 최적화하는 것이다.
작업: 우리는 Big Bench Hard의 두 가지 표준 추론 작업(Object Counting 및 Word Sorting, 무작위로 50/100/100 훈련/검증/테스트 샘플로 분할됨)[50, 51], GSM8k 초등학교 수학 문제 해결[52](DSPy의 훈련/검증/테스트 분할 사용)을 포함한 여러 데이터셋에서 프롬프트 최적화를 탐구한다. GSM8k와 Object Counting의 경우, 우리는 정확도를 정량화하기 위해 문자열 기반 정확 일치 메트릭을 사용한다(즉, 응답에서 제공된 최종 숫자가 정답과 동일한지 여부). Word Sorting의 경우, 우리는 LLM을 사용하여 응답과 정답을 비교한다. 작업, 프롬프트 및 예제 쿼리에 대한 자세한 내용은 부록 E.1에서 제공한다.
.
.
.
방법: 우리는 역전파 중 피드백을 제공하기 위해 gpt-4o[48]를 사용하여 gpt-3.5-turbo-0125의 성능을 개선하는 것을 탐구한다. 특히, 추론을 수행하는 순방향 모델은 gpt-3.5-turbo-0125이지만, 우리는 피드백을 제공하고 프롬프트를 개선하기 위해 gpt-4o를 사용한다. 우리는 배치 크기 3과 12회 반복을 사용한다. 즉, 모델은 총 36개의 훈련 예제를 보게 되며, 복원 추출로 무작위로 샘플링된다. 각 반복 후, 우리는 데이터셋의 검증 세트로 검증 루프를 실행하고, 성능이 이전 반복보다 더 좋으면 프롬프트를 업데이트한다.
기준선: 우리는 두 가지 주요 기준선을 가진다:
1. 제로샷 사고의 연쇄(CoT)[46, 47]: 우리는 모든 프롬프트를 제로샷 CoT 프롬프트로 초기화하며, 여기서 모델은 답을 제공하기 전에 추론을 설명하기 위해 '단계별로 생각하라'고 지시받는다. 이 전략은 프롬프팅을 위한 강력한 기준선으로 잘 알려져 있다.
2. DSPy는 최첨단 언어 모델 프로그래밍 및 프롬프트 최적화 프레임워크[10]이므로, 우리는 이를 참조 기준선으로 사용한다. 우리는 DSPy의 BootstrappedFewShotRandomSearch(BFSR) 최적화기를 10개의 후보 프로그램과 8개의 퓨샷 예제로 인스턴스화한다. 이 최적화기는 메트릭(이 경우 정확도)을 개별적으로 통과하고 CoT 추론을 포함하는 LLM 입력 및 출력의 추적을 생성함으로써 프롬프트에 퓨샷 예제로 포함할 시연을 식별한다. 그런 다음 이러한 시연과 함께 최대 크기 8샷의 부분 집합에 대해 무작위 검색을 적용한다.
| 데이터셋 | 방법 | 정확도 (%) |
| 객체 세기 [50, 51] | CoT (0-shot) [46, 47] | 77.8 |
| DSPy (BFSR, 8개 시연) [10] | 84.9 | |
| TExTGRAD (지시문만, 0개 시연) | 91.9 | |
| 단어 정렬 [50, 51] | CoT (0-shot) [46, 47] | 76.7 |
| DSPy (BFSR, 8개 시연) [10] | 79.8 | |
| TExTGRAD (지시문만, 0개 시연) | 79.8 | |
| GSM8k [52] | CoT (0-shot) [46, 47] | 72.9 |
| DSPy (BFSR, 8개 시연) [10] | 81.1 | |
| TExTGRAD (지시문만, 0개 시연) | 81.1 |
예: gpt-3.5-turbo-0125에 대해 TextGrad가 최적화한 프롬프트
초기화 시 프롬프트 (GSM8k 정확도 ):
당신은 수학적 추론 질문에 답할 것입니다. 단계별로 생각하십시오. 항상 응답의 마지막 줄은 다음 형식이어야 합니다: 'Answer: VALUE' 여기서 VALUE는 숫자 값입니다."
배치 크기 3으로 12회 반복 후 프롬프트 (GSM8k 정확도 ):
당신은 수학적 추론 질문에 답할 것입니다. 이해를 보장하기 위해 문제를 자신의 말로 다시 진술하십시오. 문제를 더 작은 단계로 나누고 각 계산을 자세히 설명하십시오. 각 단계를 검증하고 정확성을 위해 계산을 다시 확인하십시오. 적절한 수학적 표기법을 사용하고 질문의 맥락과 일관성을 유지하십시오. 항상 다음 형식으로 최종 답변으로 결론을 맺으십시오: 'Answer: VALUE' 여기서 VALUE는 숫자 값입니다.
결과: 세 가지 작업 모두에서 TExTGRAD는 0-shot 프롬프트의 성능을 크게 향상시킨다. Word Sorting과 GSM8k에 대해서는 DSPy[10]와 유사하게 수행되며, Object Counting에 대해서는 DSPy보다 향상된다. 컨텍스트의 8개 시연은 LLM의 행동을 안내하는 데 도움이 될 수 있지만, 추론 비용을 증가시킬 수 있다. 흥미롭게도, DSPy 최적화기와 TExTGRAD는 상호 보완적인 조정을 한다—전자는 컨텍스트 내 시연 예제를 추가하고 후자는 시스템 프롬프트를 최적화한다. DSPy에 의해 선택된 예제를 TExTGRAD의 최적화된 프롬프트에 추가하면 성능이 더 향상될 수 있다(GSM8k의 경우, DSPy의 시연을 TextGrad의 지시와 직접 결합하면 정확도가 로 증가한다). 이는 두 접근법을 결합하는 것이 유망한 방향임을 시사한다.