E.1 작업
아래에서는 프롬프트 최적화 섹션의 각 작업에 대한 예제 쿼리를 제공합니다.
단어 정렬 예제 쿼리
다음 단어들을 알파벳순으로 정렬하세요: 목록: oakland seaborg jacobi membrane trapezoidal allis marmot toggle anthology.
객체 세기 예제 쿼리
저는 소파, 침대, 자동차, 냉장고, 테이블 두 개, 오븐, 토스터, 의자가 있습니다. 저는 몇 개의 물건을 가지고 있나요?
GSM8k에 대한 예시 질의
Amber, Micah, Ahito는 총 52마일을 달렸다. Amber는 8마일을 달렸다. Micah는 Amber가 달린 거리의 3.5배를 달렸다. Ahito는 몇 마일을 달렸는가?
단어 정렬과 객체 세기의 경우, BBH 저장소에서 데이터셋을 얻고, 예시를 무작위로 50(학습)/100(검증)/100(테스트) 샘플로 분할한다. GSM8k의 경우, DSPy [10]에서 제공하는 분할을 사용하며, 이는 200(학습)/300(검증)/1319(테스트) 샘플로 구성된다.
평가: 객체 세기와 GSM8k의 경우, 문자열 기반의 정확 일치 지표를 사용하며, 이는 답변에 제공된 마지막 수치를 보고 정답과 비교한다. 단어 정렬의 경우, 다음 프롬프트를 통해 gpt-4o에게 정답 목록과 답변에 제공된 응답을 비교하도록 요청한다:
단어 정렬 평가를 위한 평가 시스템 프롬프트
시스템 프롬프트: 아래는 질의응답 과제의 질문, 정답, 그리고 최종 예측과 함께 제시된 추론이다. 최종 예측이 올바른가, 즉 정답과 동일한가? 오직 1(예) 또는 0(아니오)만 말하라. 응답을 태그 안에 반환하라. 예: 또는 .
예시 프롬프트: \\과제 질문:\\ {question} \\정답:\\ {answer} \\언어 모델의 추론 및 예측:\\ {prediction}