본문으로 건너뛰기
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

D.1 방법론

CoT 0- shot 예측에는 simple- evals 저장소에서 GPT- 4o와 함께 공개된 질문 템플릿과 시스템 프롬프트를 사용합니다. 특히, 그들의 평가와 밀접하게 일치시키기 위해 다음 ChatGPT 시스템 프롬프트를 사용합니다: You are ChatGPT, a large language model trained by OpenAI, based on the GPT- 4 architecture. \n Knowledge cutoff: 2023- 12 \n Current date: 2024- 04- 01". 또한 다음 템플릿을 사용합니다:

객관식 질문 답변 템플릿

다음 객관식 질문에 답하세요. 응답의 마지막 줄은 다음 형식이어야 합니다: 'Answer: \(LETTER' (따옴표 제외), 여기서 LETTER는 ABCD 중 하나입니다. 답하기 전에 단계별로 생각하세요.

{Question}

A) {A}

B) {B}

C) {C}

D) {D}

최적화 중에는 simple- evals 저장소를 따라 예측이 답변으로 끝나야 한다는 제약을 다음 제약 설명을 통해 최적화기에 제공합니다: 응답의 마지막 줄은 다음 형식이어야 합니다: 'Answer: \(LETTER' (따옴표 제외), 여기서 LETTER는 ABCD 중 하나입니다.

평가: 마찬가지로 simple- evals 저장소의 관행을 사용하여 최종 답변, 즉 ABCD 중 하나의 문자를 찾기 위해 문자열 매칭을 수행하고 이를 정답과 비교합니다. GPQA Diamond 하위 집합은 198개의 질문을 포함합니다. MMLU Machine Learning 하위 집합은 112개의 질문을 포함하고, College Physics 하위 집합은 92개의 질문을 포함합니다. 최적화의 각 반복에서 테스트 시간 손실을 평가하기 위해 gpt- 4o를 1회 호출하고, 기울기를 수집하기 위해 1회 호출하며, 솔루션을 업데이트하기 위해 1회 호출합니다.