3.2 문제 해결을 개선하기 위한 테스트 시점 훈련을 통한 솔루션 최적화
여기서 우리는 TEXTGRAD를 통한 솔루션 최적화 과제에 초점을 맞춥니다. 솔루션 최적화에서 목표는 양자역학이나 유기화학에 관한 질문과 같은 복잡한 문제에 대한 솔루션을 개선하는 것입니다. 특히, 우리는 종종 다음과 같은 계산 그래프를 가집니다:
여기서 우리가 최적화하는 매개변수는 Solution이며, 손실 함수는 예를 들어 LLM을 사용한 솔루션 평가를 통해 얻어집니다. 각 반복에서 LLM은 질문, 현재 솔루션, 그리고 현재 반복을 비판하거나 조사하도록 요청하는 일부 테스트 시점 지시와 함께 프롬프트됩니다. 최적화 궤적 전반에 걸쳐, 솔루션은 이 테스트 시점 자기 평가를 사용하여 개선됩니다. 더 일반적으로, 이 아이디어는 테스트 시점 훈련 [42, 43]으로 알려져 있으며, 여기서 머신러닝 모델은 종종 자기 지도 목표를 가지고 테스트 시점에 테스트 인스턴스에서 훈련됩니다. 마찬가지로, 최근 연구들은 추론 과제에 대해서도 자기 개선의 장점을 보여주었습니다 [26, 30, 44]. 특히, LLM이 첫 시도에서 질문에 대한 답이나 문제에 대한 솔루션을 맞추지 못할 수 있더라도, 반복적 개선을 통해 응답을 향상시킬 수 있습니다. 예를 들어, 개선을 위한 목적 함수는 다음과 같습니다:
Solution Refinement Objective
LLM("Below is a multi- choice question and a prediction. You are a critical and creative scientist. Your job is to investigate the prediction. Critically go through reasoning steps, and see if there is a reason why the prediction could be incorrect.Use the Janusian Process, think about whether alternative answers could be true.Question: {Question}Answer by the language model: {Solution}")
다음은 TEXTGRAD에서 솔루션 최적화의 대표적인 구현입니다.
1 # Assume we have the test_dataset 2 question, answer test_dataset[i] 3 # Initialize the test time loss function 4 # This has the system prompt provided above as 'Solution Refinement Objective' 5 test_time_loss_fn MultipleChoiceTestTime() 6 # Get a zero- shot solution from an LLM 7 solution: Variable zero_shot_llm(question) 8 # Optimize the solution itself 9 optimizer tg.TextualGradientDescent(parameters [solution]) 10 11 for iteration in range(max_iterations): 12 optimizer.zero_grad() 13 # Note how the loss is self- supervised (does not depend on any ground truth.) 14 loss test_time_loss_fn(question, solution) 15 # Populate the gradients, and update the solution 16 loss.backward() 17 optimizer.step()
Code Snippet 1: TEXTGRAD에서 솔루션 최적화의 대표적인 구현.
과제: Google- proof Question Answering (GPQA) [27]은 물리학, 생물학, 화학 분야의 어려운 객관식 질문들이 박사 학위를 보유했거나 취득 중인 도메인 전문가들에 의해 만들어지고 레이블링되는 최근 벤치마크입니다. 이 벤치마크에서 전문가와 숙련된 비전문가는 각각 와 의 정확도를 달성하는 것으로 보고되어, 질문의 난이도를 보여줍니다. 중요하게도, 이는 성능이 아직 포화되지 않은 벤치마크이며, 우리가 아는 한 gpt-4o가 달성한 최고 보고 결과는 다이아몬드 하위 집합에서 의 정확도입니다. 우리는 또한 언어 모델링의 진행 상황과 LLM이 인간 수준의 성능에 도달했는지를 추적하는 데 사용되는 MMLU [45] 질의응답 벤치마크의 두 가지 어려운 하위 집합(머신러닝 및 대학 물리학)도 사용합니다. 여기서 전문가 인간의 평균 정확도는 약 입니다. 질문 형식과 프롬프트의 세부 사항은 부록 D를 참조하십시오.
방법: 우리는 두 가지 베이스라인을 보고합니다. 첫째, gpt-4o 릴리스 문서에 보고된 결과는 의 정확도를 명시합니다. 그러나 그들의 공식 구현은 생성에 온도 0.5를 사용하므로, 우리는 또한 공식 구현1에 제공된 온도 0과 Chain- of- Thought (CoT) [46, 47] 프롬프팅으로 gpt-4o를 테스트합니다. TEXTGRAD의 경우, 우리는 3회의 테스트 시점 업데이트(즉, 솔루션을 세 번 업데이트)를 수행하고 최종 답을 얻기 위해 모든 솔루션에 걸쳐 다수결 투표를 수행합니다. 우리는 각 답의 최종 정확도를 계산하기 위해 문자열 기반 지표를 사용합니다.
결과: TEXTGRAD를 통해 우리는 까다로운 질의응답 과제에서 gpt-4o의 성능을 향상시키고 그 결과를 표 2에 보고한다. 우리가 아는 한, 는 GPQA 데이터셋에서 지금까지 알려진 최고의 결과이다. 마찬가지로 우리는 MMLU 하위 집합에서의 성능을 에서 (머신러닝), 에서 (대학 물리학)로 향상시킨다. 이러한 결과는 TEXTGRAD 자기 개선을 통해 테스트 시점에 더 많은 연산을 투입함으로써, 가장 뛰어난 모델조차도 질의응답 성능을 향상시킬 수 있음을 보여준다.