같은 프롬프트를 수만 번 샘플링하면 커버리지가 계속 오르고, 검증기가 정답으로 바꾼다. 2024년 논문, 전문 무료.
Large Language Monkeys: Scaling Inference Compute with Repeated Sampling
Large Language Monkeys: 반복 샘플링으로 추론 연산 확장하기
Bradley Brown\†‡, Jordan Juravsky\†, Ryan Ehrlich\*†, Ronald Clark‡, Quoc V. Le§, Christopher Ré†, Azalia Mirhoseini†§
†컴퓨터과학과, 스탠퍼드 대학교 ‡옥스퍼드 대학교 §구글 딥마인드
bradley.brown@cs.ox.ac.uk, jbj@stanford.edu, ryanehrlich@stanford.edu, ronald.clark@cs.ox.ac.uk, qvl@google.com, chrismre@stanford.edu, azalia@stanford.edu
초록
언어 모델을 훈련하는 데 사용되는 연산량을 확장하는 것은 그들의 능력을 극적으로 향상시켜 왔다. 그러나 추론에 있어서는, 우리는 종종 모델이 문제에 대해 단 한 번의 시도만 하도록 제한한다. 여기서 우리는 또 다른 확장 축으로서 추론 연산을 탐구하며, 모델로부터 후보 해답을 반복적으로 샘플링하는 단순한 기법을 사용한다. 여러 과제와 모델에 걸쳐, 우리는 커버리지 – 생성된 임의의 샘플에 의해 해결되는 문제의 비율 – 가 네 자릿수에 걸쳐 샘플 수에 따라 확장됨을 관찰한다. 흥미롭게도, 커버리지와 샘플 수 사이의 관계는 종종 로그-선형이며 지수화된 거듭제곱 법칙으로 모델링될 수 있어, 추론-시간 스케일링 법칙의 존재를 시사한다. 코딩과 형식적 증명처럼 답이 자동으로 검증될 수 있는 영역에서, 이러한 커버리지의 증가는 직접적으로 성능 향상으로 이어진다. 우리가 반복 샘플링을 SWE-bench Lite에 적용했을 때, DeepSeek-Coder-V2-Instruct로 해결된 이슈의 비율은 한 샘플에서 15.9%에서 250 샘플에서 56%로 증가하여, 단일 샘플 최고 기록인 43%를 능가한다. 자동 검증기가 없는 영역에서는, 샘플 모음에서 선택하는 일반적인 방법들(다수결 투표와 보상 모델)이 수백 개의 샘플을 넘어서면 정체되며 샘플 예산에 따라 완전히 확장되지 못함을 발견한다.
1 서론
대규모 언어 모델(LLM)이 코딩, 수학 및 기타 추론 과제를 해결하는 능력은 지난 몇 년 동안 극적으로 향상되었다 [47, 11, 2, 4]. 더 큰 모델, 더 긴 사전-훈련 실행, 그리고 더 큰 데이터셋을 통한 훈련 연산량 확장은 이러한 이득의 일관된 원동력이었다 [27, 37, 28].
대조적으로, 추론 중에 사용되는 연산량을 확장하는 데는 상대적으로 제한적인 투자가 이루어졌다. 더 큰 모델은 실제로 더 작은 것들보다 더 많은 추론 연산을 필요로 하며, 사고의 연쇄(chain-of-thought) [61]와 같은 프롬프팅 기법은 더 긴 (따라서 계산적으로 더 비싼) 출력을 대가로 답변 품질을 높일 수 있다. 그러나 LLM과 상호작용할 때, 사용자와 개발자들은 종종 모델이 문제를 해결할 때 단 한 번의 시도만 하도록 제한한다.

이 작업에서, 우리는 추론 성능을 향상시키기 위해 추론 연산을 확장하는 단순한 접근법으로서 반복 샘플링(Figure 1)을 탐구한다. 기존 연구는 반복 샘플링이 수학, 코딩, 그리고 퍼즐-해결 환경에서 유익할 수 있다는 고무적인 예들을 제공한다 [60, 48, 23]. 특히, 경쟁 프로그래밍을 위한 최고 수준의 시스템인 AlphaCode [41]는 문제당 백만 개의 샘플로 성능이 계속 향상됨을 발견한다. 우리의 목표는 이러한 이점들을 다양한 과제, 모델, 그리고 샘플 예산에 걸쳐 체계적으로 특성화하는 것이다.
반복 샘플링의 효과는 두 가지 핵심 속성에 의해 결정된다:
1. 커버리지: 샘플 수가 증가함에 따라, 생성된 임의의 샘플을 사용하여 우리가 해결할 수 있는 문제의 비율은 얼마인가?
2. 정밀도: 생성물 모음에서 정확한 샘플을 얼마나 자주 식별할 수 있는가?
두 속성 모두 강력한 실제 성능을 달성하기 위해 필요하다. 무제한 샘플로, 모든 시퀀스에 0이 아닌 확률을 할당하는 모든 모델은 완벽한 커버리지를 달성할 것이다. 그러나 반복 샘플링은 실현 가능한 예산으로 커버리지를 향상시킬 수 있을 때만 실용적이다. 마찬가지로, 큰 샘플 모음을 생성하는 것은 모음 내의 정확한 샘플들이 식별될 수 있을 때만 유용하다. 정밀도 문제의 난이도는 과제에 따라 다를 수 있다. 일부 설정에서는 증명 검사기와 단위 테스트와 같은 기존 도구들이 모든 샘플을 자동으로 검증할 수 있다. 단어 문제를 해결할 때와 같은 다른 경우에는, 검증을 위한 다른 방법들이 필요하다.
커버리지를 먼저 탐구하면서, 우리는 문제당 최대 10,000번 샘플링하는 것이 수학 및 코딩 과제에서 커버리지를 상당히 향상시킬 수 있음을 발견한다(섹션 2). Gemma-2B [52]를 사용하여 CodeContests [41] 프로그래밍 문제를 해결할 때, 우리는 커버리지를 300배 이상, 한 샘플에서 0.02%에서 10,000 샘플에서 7.1%로 증가시킨다. 흥미롭게도, log(커버리지)와 샘플 수 사이의 관계는 종종 근사적인 거듭제곱 법칙을 따른다(섹션 3). Llama-3 [3]와 Gemma 모델의 경우, 이는 커버리지가 여러 자릿수에 걸쳐 샘플 수에 따라 거의 로그-선형적으로 성장하게 한다.
자동 검증 도구가 있는 설정에서, 커버리지의 증가는 직접적으로 향상된 과제 성능으로 이어진다. 경쟁 프로그래밍과 Lean 증명 작성에 반복 샘플링을 적용할 때, Llama-3-8B-Instruct와 같은 모델들은 GPT-4o [2]와 같은 훨씬 더 강력한 모델들의 단일-샘플 성능을 능가할 수 있다. 더 약한 모델을 증폭시키는 이 능력은 실제 GitHub 이슈의 도전적인 SWE-bench Lite 데이터셋 [32]으로 확장되며, 여기서 현재 단일-샘플 최고 기록(SOTA)은 GPT-4o와 Claude 3.5 Sonnet의 혼합으로 달성된 43%이다 [1]. 단일 샘플로 제한될 때, DeepSeek-Coder-V2-Instruct [20]는 단지 15.9%의 이슈를 해결한다. 샘플 수를 단순히 250으로 증가시킴으로써, 우리는 해결된 이슈의 비율을 56%로 증가시켜, 최고 기록을 13% 능가한다.
모델 품질 향상에 더하여, 반복 샘플링은 LLM 추론 비용을 최소화하는 새로운 메커니즘을 제공한다(섹션 2.3). 총 추론 FLOPs 수를 일정하게 유지할 때, 우리는 일부 데이터셋(예: MATH)에서는 커버리지가 더 작은 모델과 더 많은 샘플로 최대화되며, 다른 것들(예: CodeContests)에서는 더 큰 모델로부터 더 적게 샘플링하는 것이 더 낫다는 것을 발견한다. 우리는 또한 SWE-bench Lite 이슈 해결 맥락에서 DeepSeek-Coder-V2-Instruct, GPT-4o, 그리고 Claude Sonnet 3.5 간의 API 가격을 비교한다. 에이전트 프레임워크(Moatless Tools [67])를 일정하게 유지할 때, 더 약하고 더 저렴한 DeepSeek 모델로부터 다섯 번 샘플링하는 것이 Claude 또는 GPT로부터의 단일 샘플보다 더 많은 이슈를 해결하면서 동시에 3배 이상 더 저렴하다.
마지막으로, 우리는 확장 가능한 검증이 반복 샘플링으로부터 완전히 이익을 얻기 위해 필요함을 보여준다. 샘플 수가 증가함에 따라, 커버리지는 모델들이 이전에 해결하지 못했던 문제들에 대한 정확한 해답을 생성함으로써 향상된다. 그러나 이러한 점점 더 희귀해지는 정확한 생성물들은 검증기들이 "건초더미에서 바늘을 찾아" 대부분 부정확한 샘플들의 모음으로부터 그것들을 식별할 수 있을 때만 유익하다. 수학 단어 문제 설정에서, 우리는 검증을 위한 두 가지 일반적인 방법(다수결 투표와 보상 모델)이 이 능력을 갖추지 못함을 발견한다. Llama-3-8B-Instruct로 MATH [26] 문제를 해결할 때, 커버리지는 100 샘플에서 82.9%에서 10,000 샘플에서 98.44%로 증가한다. 그러나 최종 답변을 선택하기 위해 다수결 투표나 보상 모델을 사용할 때, 가장 큰 성능 증가는 동일한 샘플 범위에서 단지 40.50%에서 41.41%로이다. 샘플 수가 증가함에 따라, 커버리지(즉, 완벽한 검증기로 달성된 성능)와 이러한 방법들의 성능 사이의 격차도 증가한다(Figure [7].
요약하면, 우리의 주요 관찰은 다음과 같다:
1. 우리는 반복 샘플링을 통한 추론 연산 확장이 다양한 과제와 모델에 걸쳐 커버리지에 큰 향상을 가져옴을 입증한다. 이는 더 약한 모델들을 많은 샘플로 증폭시켜 더 유능한 모델들의 단일 샘플을 능가하는 것을 가능하게 하고, 때로는 비용 효율적으로 만든다.
2. 우리는 커버리지와 샘플 수 사이의 관계가 종종 지수화된 거듭제곱 법칙을 사용하여 모델링될 수 있음을 보여주며, 이는 추론-시간 연산을 위한 일종의 스케일링 법칙을 시사한다.
3. 자동 검증기가 없는 영역에서, 우리는 검증에 대한 일반적인 접근법들이 대략 100 샘플을 넘어서면 정체됨을 보여준다. 이는 이러한 방법들로 달성된 성능과 커버리지 상한 사이의 증가하는 격차로 이어진다.
2 반복 샘플링 확장하기
우리는 후보 해답이 맞거나 틀린 것으로 평가될 수 있는 합격-불합격 과제에 초점을 맞춘다. 이러한 과제에 대한 주요 관심 지표는 성공률이다: 우리가 해결할 수 있는 문제의 비율. 반복 샘플링으로, 우리는 모델이 문제를 해결하려고 시도하는 동안 많은 후보 해답을 생성할 수 있는 설정을 고려한다. 따라서 성공률은 많은 문제에 대한 정확한 샘플을 생성하는 능력(즉, 커버리지)뿐만 아니라, 이러한 정확한 샘플들을 식별하는 능력(즉, 정밀도)에 의해 영향을 받는다.
정밀도 문제의 난이도는 샘플 검증을 위한 도구들의 가용성에 달려 있다. Lean에서 형식적 명제를 증명할 때, 증명 검사기들은 후보 해답이 정확한지 빠르게 식별할 수 있다. 마찬가지로, 단위 테스트는 코딩 과제에 대한 후보 해답을 검증하는 데 사용될 수 있다. 이러한 경우에서, 정밀도는 자동으로 처리되며, 커버리지를 향상시키는 것은 직접적으로 더 높은 성공률로 이어진다. 대조적으로, GSM8K와 MATH의 수학 단어 문제에 대한 해답을 검증하기 위해 사용 가능한 도구들은 제한적이며, 많은 (종종 상충하는) 샘플들로부터 단일 최종 답변을 결정하는 추가적인 검증 방법들을 필요로 한다.
우리는 다음 다섯 가지 과제를 고려한다:
1. GSM8K: 초등학교 수준의 수학 단어 문제 데이터셋 [18]. 우리는 GSM8K 테스트 세트로부터 128개 문제의 무작위 부분집합에 대해 평가한다.
2. MATH: 일반적으로 GSM8K [13]의 문제들보다 더 어려운 수학 문장제 문제 데이터셋입니다. 마찬가지로 이 데이터셋의 테스트 세트에서 무작위로 128개의 문제를 평가합니다.
3. MiniF2F-MATH: 증명 검사 언어로 정형화된 수학 문제 데이터셋입니다 [65]. 우리는 Lean4를 언어로 사용하며, MATH 데이터셋에서 정형화된 130개의 테스트 세트 문제를 평가합니다.
4. CodeContests: 경쟁 프로그래밍 문제 데이터셋입니다 [41]. 각 문제에는 텍스트 설명과 함께, 후보 해답의 정확성을 검증하는 데 사용할 수 있는 입력-출력 테스트 케이스 집합(모델에게는 숨겨짐)이 있습니다. 우리는 모델이 Python3를 사용하여 해답을 작성하도록 강제합니다.
5. SWE-bench Lite: 실제 GitHub 이슈 데이터셋으로, 각 문제는 설명과 코드 저장소의 스냅샷으로 구성됩니다 [32]. 문제를 해결하려면 모델이 코드베이스의 파일을 편집해야 합니다(우리가 사용하는 SWE-bench의 Lite 하위 집합에서는 단 하나의 파일만 변경하면 됩니다). 후보 해답은 저장소의 단위 테스트 모음을 사용하여 자동으로 검사할 수 있습니다.
이러한 작업들 중 MiniF2F-MATH, CodeContests, SWE-bench Lite는 자동 검증기(각각 Lean4 증명 검사기, 테스트 케이스, 단위 테스트 모음의 형태)를 갖추고 있습니다. 우리는 반복 샘플링이 모델 커버리지를 어떻게 향상시키는지 조사하는 것으로 시작합니다. 커버리지 향상은 자동 검증기가 있는 작업의 성공률 증가와 직접적으로 대응되며, 일반적인 경우에는 성공률에 대한 상한을 제공합니다. 코딩 환경에서 우리의 커버리지 정의는 일반적으로 사용되는 pass@k 지표 [15]와 동등하며, 여기서 는 문제당 샘플 수를 나타냅니다. 우리는 CodeContests와 SWE-bench Lite를 평가할 때 이 지표를 직접 사용합니다. MiniF2F의 지표는 유사하며, Lean4 증명 검사기에 따라 "통과"가 정의됩니다. GSM8K와 MATH의 경우, 커버리지는 어떤 샘플이 올바른 최종 답을 출력하여 "통과"하는지 확인하는 오라클 검증기를 사용하는 것에 해당합니다. 커버리지를 계산할 때 분산을 줄이기 위해, 우리는 Chen et al. [15]의 비편향 추정 공식을 채택합니다. 각 실험에서 우리는 먼저 각 문제 인덱스 에 대해 개의 샘플을 생성하고 올바른 샘플 수 를 계산합니다. 그런 다음 관심 있는 각 에서의 pass@k 점수를 다음에 따라 계산합니다:
우리는 위 공식에 대해 Chen 등 [15]이 제안한 수치적으로 안정적인 구현을 사용한다. 데이터와 코드는 https://scalingintelligence.stanford.edu/pubs/large_language_monkeys/ 에서 확인할 수 있다.
2.1 반복 샘플링은 여러 과제에서 효과적이다
여기서 우리는 반복 샘플링이 여러 과제와 다양한 샘플 예산 범위에서 커버리지를 향상시킨다는 것을 입증한다. 우리는 CodeContests, MiniF2F, GSM8K, MATH에서 Llama-3-8B-Instruct와 Llama-3-70B-Instruct를 평가하며, 문제당 10,000개의 독립 샘플을 생성한다. SWE-bench Lite의 경우, 이 과제에 필요한 컨텍스트 길이가 Llama-3 모델의 한도를 초과하기 때문에 DeepSeek-Coder-V2-Instruct [20]를 사용한다. SWE-bench 이슈를 해결할 때의 표준 관행대로, 우리는

LLM에 코드베이스를 탐색하고 편집하기 위한 도구를 제공하는 소프트웨어 프레임워크를 갖춘다. 본 연구에서는 오픈소스 Moatless Tools 라이브러리 [67]를 사용한다. SWE-bench 이슈 해결에는 LLM과 Moatless Tools 간의 주고받는 상호작용이 포함된다는 점에 유의하라. 이 벤치마크에서 하나의 샘플/시도는 하나의 전체 다중 턴 궤적을 의미한다. 비용을 최소화하기 위해 이슈당 시도 횟수를 250회로 제한하며, 모든 시도는 서로 독립적으로 수행된다.
우리는 결과를 Figure 2에 보고한다. 또한 각 과제에서 GPT-4o의 단일 시도 성능과 SWE-bench Lite의 단일 시도 최첨단 성능(CodeStory Aide 1로, GPT-4o와 Claude 3.5 Sonnet의 조합을 사용한다)도 포함한다. 다섯 과제 모두에서, 우리는 샘플 예산이 증가함에 따라 커버리지가 매끄럽게 향상됨을 발견한다. 모든 LLM에 단일 시도를 부여했을 때, GPT-4o는 모든 과제에서 Llama 및 DeepSeek 모델을 능가한다. 그러나 샘플 수가 증가함에 따라, 더 약한 세 모델 모두 GPT-4o의 단일 시도 성능을 초과한다. SWE-bench Lite의 경우, 우리는 문제의 를 해결하여 단일 시도 SOTA인 를 초과한다.
2.2 반복 샘플링은 모델 크기와 계열 전반에서 효과적이다
2.1절의 결과는 반복 샘플링이 커버리지를 향상시킨다는 것을 보여준다. 그러나 우리는 이 경향을 80억 개 이상의 파라미터를 가진 최근의 명령어 튜닝된 세 모델에 대해서만 보여주었다. 이제 우리는 이러한 경향이 다른 모델 크기, 계열, 그리고 사후 학습 수준 전반에서도 유지됨을 보여준다. 우리는 평가를 더 넓은 모델 집합을 포함하도록 확장한다:
- Llama 3: Llama-3-8B, Llama-3-8B-Instruct, Llama-3-70B-Instruct.
- Gemma: Gemma-2B, Gemma-7B [52].
- Pythia: Pythia-70M부터 Pythia-12B까지(총 여덟 모델) [9].
추론 비용을 최소화하기 위해 평가를 MATH 및 CodeContests 데이터셋으로 제한하며, 결과를 Figure 3에 보고한다. 우리가 테스트한 거의 모든 모델에서 커버리지가 증가하며, 더 작은 모델들은 반복 샘플링을 적용했을 때 커버리지가 가장 급격히 증가하는 축에 속한다. CodeContests에서 Gemma-2B의 커버리지는 이상 증가하여, pass@1이 에서

pass@10k가 가 된다. 마찬가지로 Pythia-160M으로 MATH 문제를 해결할 때, 커버리지는 pass@1 에서 pass@10k 로 증가한다.
모델 전반에서 커버리지가 증가하는 이 패턴의 예외는 CodeContests에서 평가된 Pythia 계열이다. 모든 Pythia 모델은 10,000 샘플의 예산으로도 이 데이터셋에서 커버리지가 0이다. 우리는 이것이 Pythia가 Llama 및 Gemma보다 코딩 특화 데이터로 덜 훈련되었기 때문이라고 추측한다.
2.3 반복 샘플링은 성능과 비용의 균형을 맞추는 데 도움이 될 수 있다
2.1절과 2.2절의 결과에서 얻을 수 있는 한 가지 시사점은 반복 샘플링이 더 약한 모델의 능력을 증폭시켜 더 강한 모델의 단일 샘플을 능가할 수 있게 한다는 것이다. 여기서 우리는 이러한 증폭이 더 강하고 더 비싼 모델을 사용하는 것보다 비용 효율적일 수 있음을 보여주며, 이는 성능과 비용을 동시에 최적화하려는 실무자들에게 새로운 자유도를 제공한다.
우리는 먼저 비용 지표로 FLOPs를 고려하며, 2.1절의 Llama-3 결과를 살펴본다. 우리는 이제 샘플 예산 대신 총 추론 FLOPs의 함수로 커버리지를 시각화하여 Figure 2의 결과를 다시 그린다. Llama-3 모델은 대부분의 파라미터가 행렬 곱셈에 사용되는 밀집 트랜스포머이므로, 우리는 추론 FLOPs를 다음 공식으로 근사한다:
우리는 MiniF2F, CodeContests, MATH, GSM8K에 대해 재조정된 결과를 Figure 4에 제시한다. 흥미롭게도, 커버리지를 최대화하는 모델은 컴퓨트 예산과 과제에 따라 달라진다. MiniF2F, GSM8K 및

| 모델 | 시도당 비용(USD) | 시도 횟수 | 해결된 이슈(%) | 총 비용(USD) | 상대 총 비용 |
| DeepSeek-Coder-V2-Instruct | 0.0072 | 5 | 29.62 | 10.8 | 1x |
| GPT-4o | 0.13 | 1 | 24.00 | 39 | 3.6x |
| Claude 3.5 Sonnet | 0.17 | 1 | 26.70 | 51 | 4.7x |
표 1: Moatless Tools 에이전트 프레임워크를 사용하여 SWE-bench Lite 데이터셋에서 여러 모델의 API 비용(미국 달러)과 성능을 비교한 것. 더 많이 샘플링할 경우, 오픈소스 DeepSeek-Coder-V2-Instruct 모델은 폐쇄소스 프런티어 모델과 동일한 이슈 해결률을 3분의 1 미만의 가격으로 달성할 수 있다. MATH에서 Llama-3-8B-Instruct는 FLOP 예산이 고정되어 있을 때 항상 더 큰(그리고 더 비싼) 70B 모델보다 높은 커버리지를 얻는다. 그러나 CodeContests에서는 70B 모델이 거의 항상 더 비용 효율적이다. 우리는 FLOPs만을 조사하는 것이 시스템 효율성의 다른 측면을 무시하는 조잡한 비용 지표가 될 수 있음에 유의한다 [21]. 특히, 반복 샘플링은 높은 배치 크기와 시스템 처리량을 향상시키는 특화된 최적화를 활용할 수 있으며, 이는 단일 시도 추론 워크로드에 비해 유리하다 [34] [6] [66]. 우리는 이에 대해 5절에서 더 자세히 논의한다.
우리는 또한 현재 API 가격을 사용하여 SWE-bench Lite 이슈를 해결할 때 반복 샘플링의 달러 비용을 조사한다. 에이전트 프레임워크(Moatless Tools)를 일정하게 유지하면서, 우리는 Claude 3.5 Sonnet과 GPT-4o로 이슈당 단일 시도를 하는 경우와 DeepSeek-Coder-V2-Instruct를 사용한 반복 샘플링을 고려한다. 우리는 각 접근법의 이슈당 평균 비용과 이슈 해결률을 표 1에 보고한다. DeepSeek 모델은 GPT 및 Claude 모델보다 약하지만, 10배 이상 저렴하기도 하다. 이 경우, 반복 샘플링은 강한 모델에 접근하기 위해 프리미엄을 지불하는 것보다 더 저렴한 대안을 제공하면서도 더 우수한 이슈 해결률을 달성한다.
3 반복 샘플링의 이점 특성화
LLM의 손실과 훈련 컴퓨트 사이의 관계는 훈련 스케일링 법칙으로 잘 특성화되어 왔다 [27] [36] [28]. 이러한 법칙들은 경험적으로 여러 자릿수에 걸쳐 유지되어 왔으며, 모델 개발자들에게 훈련에 대한 대규모 투자가 성과를 낼 것이라는 확신을 준다. 훈련 스케일링 법칙에서 영감을 받아, 여기서 우리는 커버리지와 샘플 예산(즉, 추론 컴퓨트의 양) 사이의 관계를 더 잘 특성화하는 것을 목표로 하며, 두 가지 흥미로운 관찰을 제시한다:
1. 커버리지와 샘플 수 사이의 관계는 종종 지수화된 거듭제곱 법칙으로 모델링될 수 있다.

2. 주어진 과제에 대해, 동일한 계열의 서로 다른 모델들의 커버리지 곡선은 유사한 기울기를 가지지만 수평 오프셋이 서로 다른 S-곡선을 닮는다.
3.1 반복 샘플링을 위한 스케일링 법칙
여기서 우리는 커버리지와 샘플 수 사이의 관계에 대한 명시적 모델을 개발한다. GPT-4 기술 보고서 [46]는 코딩 문제에 대한 모델의 평균 로그 통과율과 훈련 컴퓨트 사이의 관계가 거듭제곱 법칙을 사용하여 잘 모델링될 수 있음을 발견한다. 우리는 동일한 함수 클래스를 채택하는 것으로 시작하지만, 이제 커버리지 의 로그를 샘플 수 의 함수로 모델링한다:
여기서 은 적합된 모델 파라미터이다. 커버리지를 직접 예측하기 위해, 우리는 양변을 지수화하여 최종 모델인 다음을 얻는다:
우리는 그림 [5]에 적합된 커버리지 곡선의 예시를, 그리고 부록 [C.2]에 추가 곡선을 제시한다. 이러한 법칙들이 훈련 스케일링 법칙만큼 정확하지는 않지만(가장 두드러지게는 MiniF2F-MATH에서), 이들은 추론 스케일링의 이점이 특성화될 수 있다는 점을 보여주는 고무적인 초기 증거를 제공한다.
3.2 모델 간 커버리지 곡선의 유사성
흥미롭게도, 동일한 과제에서 동일한 계열의 서로 다른 모델들의 커버리지 곡선(로그 x축 사용)을 비교해 보면(그림 [3] 참조), 추적된 S-곡선들이 동일한 기울기를 가지되 고유한 수평 오프셋을 가진 것으로 보인다. 이를 더 조사하기 위해, 우리는 그림 [6]에서 동일한 계열의 서로 다른 모델들의 커버리지 곡선을 겹쳐 놓는다. 우리는 앵커 커버리지 값 를 선택하고, 모든 곡선이 점 를 지나도록 각 곡선을 (로그 공간에서) 왼쪽으로 이동시킴으로써 이를 수행한다. 이는 다음만큼의 왼쪽 이동에 해당한다:
-

, 여기서 는 가 되는 가장 가까운 자연수 를 나타낸다. 우리는 를 동일한 계열의 모든 모델에 걸친 최대 pass@1 점수로 선택한다. 이러한 유사성은 동일한 계열의 모델들에 걸쳐, 커버리지를 에서 로 향상시키기 위해 필요한 로그-샘플-예산의 증가(또는 동등하게, 샘플 예산의 곱셈적 증가)가 대략 일정하다는 것을 보여준다.
4 반복 샘플링의 활용에는 정밀성이 필요하다
지금까지 우리는 모델 커버리지를 측정하는 데 초점을 맞추었으며, 항상 올바른 모델 샘플을 식별할 수 있는 시나리오에서 반복 샘플링의 이점을 특성화하였다. 이제 우리는 정밀성이라는 상보적인 문제로 전환한다: 모델 샘플들의 집합이 주어졌을 때, 우리는 올바른 샘플들을 얼마나 자주 식별할 수 있는가? 특히, 우리는 샘플 수를 늘려갈 때 검증기들의 성능에 관심이 있다. 일부 문제의 경우, 올바른 해가 낮은 확률(예: 또는 그 이하, 그림 8 참조)로 모델에서 샘플링된다. 샘플 수가 증가하고 더 많은 문제에 대해 드물게 올바른 해가 생성됨에 따라, 모델 커버리지는 향상된다. 이러한 커버리지 향상을 더 높은 성공률로 전환하기 위해서는, 검증기들이 "건초더미에서 바늘 찾기"를 할 수 있어야 하고 드물게 나타나는 올바른 샘플들을 식별할 수 있어야 한다.
4.1 일반적인 검증 방법은 항상 샘플 예산에 따라 확장되지 않는다
在我们评估的五项任务中,只有 GSM8K 和 MATH 缺乏自动验证解决方案的工具。我们测试了三种简单且常用的验证方法,以评估它们从这些数据集中识别正确解决方案的能力:
1. 多数投票:我们选择最常见的最终答案 [60]。
2. 奖励模型 + Best-of-N:我们使用奖励模型 [17] 为每个解决方案打分,并从得分最高的样本中选择答案。
3. 奖励模型 + 多数投票:我们计算多数投票,其中每个样本按其奖励模型得分加权。
我们复用了在第 2 节中使用 Llama-3-8B-Instruct 和 Llama-3-70B-Instruct 生成的 10,000 个样本集合。我们使用 ArmoRM-Llama3-8B-v0.1 [57] 作为奖励模型,该模型在 RewardBench 排行榜 [39] 的推理部分得分很高。我们在图 7 中报告了随着样本数量增加的结果。虽然所有三种方法的成功率最初都随着样本数量的增加而提高,但它们在大约 100 个样本时趋于平稳。与此同时,覆盖率继续随着样本数量的增加而提高,最终超过 95%。就多数投票而言,这种成功率饱和是直观的,因为罕见正确解决方案的出现不会影响多数投票所选择的最常见答案。

鉴于这些验证器(尤其是奖励模型)表现不佳,人们自然会想:验证一个候选解决方案究竟有多“难”。对于 GSM8K 和 MATH,只有样本的最终答案被用于评估正确性,中间的思维链被丢弃。如果模型在猜出正确最终答案之前只生成了无意义的思维链,那么验证可能并不比从头解决问题更容易。我们通过人工评估 105 条来自 Llama-3-8B-Instruct 对 GSM8K 问题正确样本的思维链来研究这个问题,并在表 2 中报告了结果。我们发现,在我们评分的思维链中,超过 是忠实的,即使在正确答答案很少生成的问题中也是如此。这些正确的推理步骤表明,验证器在识别正确样本时有信号可以利用。有趣的是,在此过程中我们还发现了一个 GSM8K 问题,其真实答案标注错误(见附录 E)。这个错误的 GSM8K 问题也是 Llama-3-70B-Instruct 在 10,000 次尝试中唯一没有生成“正确”样本的问题。
| Pass@1 | 문제 수 | CoT 채점됨 | 올바른 CoT | 잘못된 CoT | 잘못된 정답 |
| 0-10% | 5 | 15 | 11 | 1 | 1문제, 3개의 CoT |
| 10-25% | 10 | 30 | 27 | 3 | 0문제 |
| 25-75% | 29 | 30 | 28 | 2 | 0문제 |
| 75-100% | 84 | 30 | 30 | 0 | 0문제 |
表 2:对 Llama-3-8B-Instruct 回答 GSM8K 问题时思维链推理有效性的人工评估。每个问题评分 3 条思维链。即使对于困难问题——模型只有 的样本正确——CoT 也几乎总是遵循有效的逻辑步骤。关于模型生成和人工标签,请参见此处
4.2 验证器与软件任务:两个警示故事
软件开发任务在可用验证工具方面可以处于中间地带。一方面,执行和测试代码的能力允许比非结构化语言任务更高程度的自动验证。然而,像单元测试这样的工具采用黑盒方法来验证一段代码,不如证明检查器等方法全面。验证过程中的这些不完美可能导致假阳性和/或假阴性,在应用重复采样时需要考虑这些。下面我们提供两个在生成第 2.1 节结果时

遇到的软件验证器不完美的例子。
4.2.1 SWE-bench Lite 中的不稳定测试
在生成 SWE-bench Lite 结果时,我们发现 的问题具有不稳定的测试套件,在相同候选解决方案上运行时不会产生一致的结果。这些不稳定测试偶尔甚至会将数据集的真实问题解决方案分类为错误。此外,某些问题的测试套件可能因候选解决方案而异,具有非确定性。例如,两个 SWE-bench Lite 问题涉及操作 Python 集合,而集合天然是无序的。这些问题的金标准解决方案明确对集合中的项目排序,并可靠地通过测试套件。然而,一些模型生成的候选解决方案没有施加这样的排序,因此在某些“幸运”运行中通过测试,而在其他运行中不通过。在附录 B 中,我们列出了所有识别出不稳定测试的问题 ID。我们还报告了从图 2 中移除有问题问题后的 SWE-bench Lite 结果,发现与我们在整个数据集上的评估结果相似。
4.2.2 CodeContests 中的假阴性
CodeContests 数据集中的每个问题都附带一组输入-输出测试用例,用于评估解决方案的正确性。这些测试用例比早期编码基准(如 APPS [25])的测试用例更全面,减少了通过所有测试用例但未完全解决所述问题的假阳性解决方案的频率。然而,CodeContests 测试套件的构建方式会导致假阴性解决方案——即正确但未通过测试的解决方案。
对于某些 CodeContests 问题,问题描述允许给定测试输入有多个不同的正确输出。然而,相应的测试用例不处理这些场景,而是要求输出一个特定的正确输出。此外,许多 CodeContests 测试用例是通过对问题的原始测试用例进行变异而以编程方式生成的。一些变异输入违反了问题的输入规范(例如,变异输入为零,而描述承诺为正整数)。这些格式错误的测试用例可能导致不同正确解决方案之间的行为不一致。
我们通过在 CodeContests 提供的正确解决方案列表上运行每个问题的测试套件来评估这些问题的普遍性。在测试集中有 Python3 解决方案的 122 个问题中,我们发现 35 个问题具有“正确”解决方案但未通过相应测试。由于我们不允许模型查看问题的所有测试用例(及其特殊性),对这些应用重复采样包含“碰运气”的元素,以生成不仅正确,而且输出通过测试的特定输出的解决方案。
5 讨论与局限性
在这项工作中,我们探索重复采样作为推理时扩展计算的一个轴,以提高模型性能。在一系列模型和任务中,重复采样可以显著提高使用任何生成样本解决的问题比例(即覆盖率)。当正确解决方案可以被识别时(通过自动验证工具或其他验证算法),重复采样可以在推理期间放大模型能力。这种放大可以使较弱模型与许多样本的组合比使用更强、更昂贵模型的少量尝试更具性能和成本效益。
改进重复采样:在我们的实验中,我们只探索了重复采样的一种简单版本,其中对问题的所有尝试都使用完全相同的提示和超参数独立生成。我们相信可以改进这种设置以提高性能,特别是沿着以下方向:
1. 解决方案多样性:我们目前依赖正采样温度作为在样本之间创造多样性的唯一机制。将这种 token 级采样与其他更高层次的方法相结合,可能能够进一步提高多样性。例如,AlphaCode 用不同的元数据标签条件化不同样本。
2. 多轮交互:尽管在解决 CodeContests 和 MiniF2F 问题时自动验证工具可用,但我们只使用单轮设置,模型生成解决方案后无法迭代。向模型提供这些工具的执行反馈应该能提高解决方案质量。我们对多轮交互相关的权衡感兴趣,因为每次尝试变得更昂贵,但也可能更可能成功。
3. 从先前尝试中学习:目前,我们的实验将尝试彼此完全隔离。访问现有样本,特别是如果验证工具可以对其提供反馈,可能在生成未来尝试时有帮助。
重复采样与推理系统:重复采样是一种与聊天机器人请求服务不同的 LLM 推理工作负载。生产聊天机器人部署强调低响应延迟,遵守延迟目标可能迫使降低每设备批大小并降低硬件利用率。相比之下,当对单个提示采样许多补全时,可以更加强调整体吞吐量和最大化硬件利用率。此外,重复采样可以从利用序列间提示重叠的专门注意力优化中受益 [34] [6] [66]。因此,重复采样推理可以以比天真地向面向聊天机器人的 API 发出许多并行请求更低的成本完成。这些成本节省可以进一步激励选择从更便宜的模型采样多次,而不是从更昂贵的模型采样较少次数。
验证器:我们第 4 节的结果强调了在自动执行工具不可用时改进样本验证方法的重要性。赋予模型评估自身输出的能力将使重复采样能够扩展到更多任务。特别感兴趣的是将重复采样应用于非结构化任务,如创意写作,这可能需要比我们考虑的通过-失败任务更主观的样本比较。开发基于模型的验证器的另一个方向是设计转换器,使非结构化任务可验证,例如将非正式数学陈述形式化为 Lean 等语言,以便应用证明检查器。
6 相关工作
추론 연산 확장: 추론 중 추가적인 계산을 수행하는 방법들은 딥러닝의 여러 영역에서 성공을 거두어 왔다. 다양한 게임 환경에서 최첨단 방법들은 행동을 결정하기 전에 가능한 미래의 게임 상태들을 다수 탐색하기 위해 추론 시점 탐색을 활용한다 [12] [50] [10]. 유사한 트리 기반 방법들은 LLM과 결합했을 때도 효과적일 수 있으며, 모델이 더 잘 계획하고 다양한 접근법을 탐구할 수 있게 해준다 [63, 8, 53, 54]. LLM 추론 연산을 증가시키는 또 다른 축은 모델이 해결책에 도달하기 전에 문제에 대해 숙고하며 토큰을 소비할 수 있게 하는 것이다 [62, 61, 64]. 또한, 여러 모델을 추론 시점에 앙상블하여 각자의 강점을 결합할 수 있다 [58, 14, 45, 56, 31]. 또 다른 접근법은 LLM이 자신의 응답을 비판하고 개선하도록 하는 것을 포함한다 [43, 7].반복 샘플링: 선행 연구들은 반복 샘플링이 여러 영역에서 LLM의 능력을 향상시킬 수 있음을 입증하였다. 가장 효과적인 활용 사례 중 하나는 코딩이며 [48, 15, 38], 이 경우 성능은 백만 개의 샘플까지 계속해서 확장되며, 검증 도구(예: 단위 테스트)가 종종 모든 후보 해법을 자동으로 채점하기 위해 이용 가능하다. 최근 Greenblatt [23]는 ARC 챌린지 [16]의 퍼즐을 해결할 때 반복 샘플링이 효과적임을 보여주었으며, 샘플 수가 증가함에 따라 로그-선형 스케일링을 관찰하였다. 그 응용에서, 반복 샘플링과 보상 모델을 사용한 best-of-N 순위 매김을 결합하는 것이 단일 응답을 그리디하게 샘플링하는 것보다 더 나은 성능을 보일 수 있다 [30]. 자동 검증 도구가 없는 영역에서, 기존 연구는 다수결 투표 [60], LLM 프롬프팅 [19], 또는 모델 기반 검증기 훈련 [18, 42, 29, 59, 35]을 통해 최종 답을 결정하는 것이 단일 샘플을 취하는 것에 비해 추론 과제에서의 성능을 향상시킬 수 있음을 보여준다. Nguyen 등 [44]은 임계 길이를 초과하는 답변들에 대해 다수결 투표를 수행하는 것이 모든 답변에 걸친 투표보다 더 나은 성능을 보일 수 있음을 발견하였다. 본 연구와 동시에, Song 등 [51]은 이용 가능한 최선의 샘플을 사용하는 것이 채팅, 수학, 코드 과제에서 LLM 성능을 향상시킴을 발견하였으며, 최대 128개의 샘플까지 탐색하였다. 추가로, Hassid 등 [24]은 코딩 과제를 해결할 때 더 작은 모델에서 더 많은 샘플을 뽑는 것이 더 큰 모델에서 더 적은 샘플을 뽑는 것보다 더 효과적일 수 있음을 발견하였다.
스케일링 법칙: 스케일링이 모델 성능에 어떻게 영향을 미치는지 특성화하는 것은 자원을 어떻게 할당할지에 대해 더 정보에 기반한 결정을 내릴 수 있게 해준다. LLM 훈련을 위한 스케일링 법칙은 손실과 훈련 연산량 사이의 거듭제곱 법칙 관계를 발견하고, 고정된 연산 예산이 주어졌을 때 최적의 모델 및 데이터셋 크기에 대한 추정치를 제공한다 [27, 36, 28]. Jones [33]는 보드 게임 Hex의 맥락에서 스케일링 법칙을 발견하였으며, 성능이 모델 크기와 문제의 난이도에 따라 예측 가능하게 확장됨을 관찰하였다. 흥미롭게도, 그들은 또한 성능이 트리 탐색을 수행하는 동안 소비되는 테스트 시점 연산량에 따라 확장됨을 보여주었다. 최근 Shao 등 [49]은 LLM을 외부 검색 데이터셋으로 증강할 때의 스케일링 법칙을 관찰하였으며, 검색 과제에서의 성능이 검색 코퍼스의 크기에 따라 매끄럽게 확장됨을 발견하였다.
7 감사의 글
Together AI가 이 프로젝트의 컴퓨팅 자원을 부분적으로 후원한 점, 그리고 해당 인프라 관리를 도와준 Rahul Chalamala와 Ben Athiwaratkun에게 감사를 표합니다. SWE-bench 실험을 수행할 때 조언과 지원을 해준 John Yang에게 감사드립니다. 마지막으로, 이 프로젝트 전반에 걸쳐 유익한 논의와 피드백을 제공해 준 Mayee Chen, Neel Guha, Quinn McIntyre, Jon Saad-Falcon, Benjamin Spector에게 감사를 표합니다.
NIH의 No. U54EB020405 (Mobilize), NSF의 No. CCF2247015 (Hardware-Aware), CCF1763315 (Beyond Sparsity), CCF1563078 (Volume to Velocity), 1937301 (RTML); US DEVCOM ARL의 No. W911NF-23-2-0184 (Long-context) 및 W911NF-21-2-0251 (Interactive Human-AI Teaming); ONR의 No. N000142312633 (Deep Signal Processing); Stanford HAI의 No. 247183; NXP, Xilinx, LETI-CEA, Intel, IBM, Microsoft, NEC, Toshiba, TSMC, ARM, Hitachi, BASF, Accenture, Ericsson, Qualcomm, Analog Devices, Google Cloud, Salesforce, Total, HAI-GCP Cloud Credits for Research 프로그램, Stanford Data Science Initiative (SDSI), 그리고 Stanford DAWN 프로젝트 회원사인 Meta, Google, VMWare의 지원에 감사를 표합니다. 미국 정부는 이에 대한 저작권 표시에도 불구하고 정부 목적을 위해 재인쇄물을 복제하고 배포할 수 있는 권한을 가집니다. 이 자료에 표현된 모든 의견, 발견, 결론 또는 권고는 저자들의 것이며, NIH, ONR 또는 미국 정부의 견해, 정책 또는 보증을 명시적이든 묵시적이든 반드시 반영하는 것은 아닙니다.
이 작업은 Clarendon Fund Scholarships의 지원을 받아 완료되었습니다.
참고문헌
[1] Aide.dev, 2024. URL https://aide.dev/
[2] Hello gpt-4o, 2024. URL https://openai.com/index/hello-gpt-4o/
[3] Meta llama 3, 2024. URL https://llama.meta.com/llama3/
[4] Claude 3.5 sonnet, 2024. URL https://www.anthropic.com/news/claude-3-5-sonnet
[5] Voyage ai, 2024. URL https://www.voyageai.com/
[6] Ben Athiwaratkun, Sujan Kumar Gonugondla, Sanjay Krishna Gouda, Haifeng Qian, Hantian Ding, Qing Sun, Jun Wang, Jiacheng Guo, Liangfu Chen, Parminder Bhatia, Ramesh Nallapati, Sudipta Sengupta, and Bing Xiang. Bifurcated attention: Accelerating massively parallel decoding with shared prefixes in llms, 2024. URL https://arxiv.org/abs/2403.08845
[7] Yuntao Bai, Saurav Kadavath, Sandipan Kundu, Amanda Askell, Jackson Kernion, Andy Jones, Anna Chen, Anna Goldie, Azalia Mirhoseini, Cameron McKinnon, Carol Chen, Catherine Olsson, Christopher Olah, Danny Hernandez, Dawn Drain, Deep Ganguli, Dustin Li, Eli Tran-Johnson, Ethan Perez, Jamie Kerr, Jared Mueller, Jeffrey Ladish, Joshua Landau, Kamal Ndousse, Kamile Lukosuite, Liane Lovitt, Michael Sellitto, Nelson Elhage, Nicholas Schiefer, Noemi Mercado, Nova DasSarma, Robert Lasenby, Robin Larson, Sam Ringer, Scott Johnston, Shauna Kravec, Sheer El Showk, Stanislav Fort, Tamera Lanham, Timothy Telleen-Lawton, Tom Conerly, Tom Henighan, Tristan Hume, Samuel R. Bowman, Zac Hatfield-Dodds, Ben Mann, Dario Amodei, Nicholas Joseph, Sam McCandlish, Tom Brown, and Jared Kaplan. Constitutional ai: Harmlessness from ai feedback, 2022.
[8] Maciej Besta, Nils Blach, Ales Kubicek, Robert Gerstenberger, Michal Podstawski, Lukas Gianinazzi, Joanna Gajda, Tomasz Lehmann, Hubert Niewiadomski, Piotr Nyczyk, and Torsten Hoefler. Graph of thoughts: Solving elaborate problems with large language models. Proceedings of the AAAI Conference on Artificial Intelligence, 38(16):17682-17690, March 2024. ISSN 2159-5399. doi: 10.1609/aaai.v38i16.29720. URL http://dx.doi.org/10.1609/aaai.v38i16.29720
[9] Stella Biderman, Hailey Schoelkopf, Quentin Anthony, Herbie Bradley, Kyle O'Brien, Eric Hallahan, Mohammad Aflah Khan, Shivanshu Purohit, USVSN Sai Prashanth, Edward Raff, Aviya Skowron, Lintang Sutawika, and Oskar van der Wal. Pythia: A suite for analyzing large language models across training and scaling, 2023. URL https://arxiv.org/abs/2304.01373
[10] Noam Brown, Anton Bakhtin, Adam Lerer, and Qucheng Gong. Combining deep reinforcement learning and search for imperfect-information games. In Proceedings of the 34th International Conference on Neural Information Processing Systems, NIPS '20, Red Hook, NY, USA, 2020. Curran Associates Inc. ISBN 9781713829546.
[11] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners, 2020. URL https://arxiv.org/abs/2005.14165
[12] Murray Campbell, A. Joseph Hoane, and Feng-hsiung Hsu. Deep blue. Artif. Intell., 134(1-2):57-83, jan 2002. ISSN 0004-3702. doi: 10.1016/S0004-3702(01)00129-1. URL https://doi.org/10.1016/S0004-3702(01)00129-1
[13] Guoxin Chen, Minpeng Liao, Chengxi Li, and Kai Fan. Alphamath almost zero: process supervision without process, 2024.
[14] Lingjiao Chen, Jared Quincy Davis, Boris Hanin, Peter Bailis, Ion Stoica, Matei Zaharia, and James Zou. Are more llm calls all you need? towards scaling laws of compound inference systems, 2024. URL https://arxiv.org/abs/2403.02419
[15] Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto, Jared Kaplan, Harri Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, Alex Ray, Raul Puri, Gretchen Krueger, Michael Petrov, Heidy Khlaaf, Girish Sastry, Pamela Mishkin, Brooke Chan, Scott Gray, Nick Ryder, Mikhail Pavlov, Alethea Power, Lukasz Kaiser, Mohammad Bavarian, Clemens Winter, Philippe Tillet, Felipe Petroski Such, Dave Cummings, Matthias Plappert, Fotios Chantzis, Elizabeth Barnes, Ariel Herbert-Voss, William Hebgen Guss, Alex Nichol, Alex Paino, Nikolas Tezak, Jie Tang, Igor Babuschkin, Suchir Balaji, Shantanu Jain, William Saunders, Christopher Hesse, Andrew N. Carr, Jan Leike, Josh Achiam, Vedant Misra, Evan Morikawa, Alec Radford, Matthew Knight, Miles Brundage, Mira Murati, Katie Mayer, Peter Welinder, Bob McGrew, Dario Amodei, Sam McCandlish, Ilya Sutskever, and Wojciech Zaremba. Evaluating large language models trained on code, 2021. URL https://arxiv.org/abs/2107.03374
[16] François Chollet. On the measure of intelligence, 2019. URL https://arxiv.org/abs/1911.01547
[17] Paul Christiano, Jan Leike, Tom B. Brown, Miljan Martic, Shane Legg, and Dario Amodei. Deep reinforcement learning from human preferences, 2017. URL https://arxiv.org/abs/1706.03741
[18] Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Mark Chen, Heewoo Jun, Lukasz Kaiser, Matthias Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano, Christopher Hesse, and John Schulman. Training verifiers to solve math word problems, 2021.
[19] Jared Quincy Davis, Boris Hanin, Lingjiao Chen, Peter Bailis, Ion Stoica, and Matei Zaharia. Networks of networks: Complexity class principles applied to compound ai systems design, 2024. URL https://arxiv.org/abs/2407.16831
[20] DeepSeek-AI 외. Deepseek-v2: 강력하고 경제적이며 효율적인 전문가 혼합 언어 모델, 2024. URL https://arxiv.org/abs/2405.04434
[21] Mostafa Dehghani, Anurag Arnab, Lucas Beyer, Ashish Vaswani, and Yi Tay. 효율성이라는 잘못된 명칭, 2022. URL https://arxiv.org/abs/2110.12894
[22] Leo Gao, Jonathan Tow, Baber Abbasi, Stella Biderman, Sid Black, Anthony DiPofi, Charles Foster, Laurence Golding, Jeffrey Hsu, Alain Le Noac'h, Haonan Li, Kyle McDonell, Niklas Muennighoff, Chris Ociepa, Jason Phang, Laria Reynolds, Hailey Schoelkopf, Aviya Skowron, Lintang Sutawika, Eric Tang, Anish Thite, Ben Wang, Kevin Wang, and Andy Zou. 퓨샷 언어 모델 평가를 위한 프레임워크, 12 2023. URL https://zenodo.org/records/10256836
[23] Ryan Greenblatt. GPT-4o로 ARC-AGI에서 50% SOTA 달성하기 https://www.lesswrong.com/posts/Rdwui3wHxCeKb7feK/ getting- 50- sota- on- arc- agi- with- gpt- 40 2024.
[24] Michael Hassid, Tal Remez, Jonas Gehring, Roy Schwartz, and Yossi Adi. 클수록 더 좋은가? 예산 재분배를 통한 개선된 LLM 코드 생성, 2024. URL https://arxiv.org/abs/2404.00725
[25] Dan Hendrycks, Steven Basart, Saurav Kadavath, Mantas Mazeika, Akul Arora, Ethan Guo, Collin Burns, Samir Puranik, Horace He, Dawn Song, Jacob Steinhardt. apps로 코딩 챌린지 역량 측정하기, 2021.
[26] Dan Hendrycks, Collin Burns, Saurav Kadavath, Akul Arora, Steven Basart, Eric Tang, Dawn Song, Jacob Steinhardt. math 데이터셋으로 수학적 문제 해결 능력 측정하기, 2021.
[27] Joel Hestness, Sharan Narang, Newsha Ardalani, Gregory Diamos, Heewoo Jun, Hassan Kianinejad, Md. Mostofa Ali Patwary, Yang Yang, Yanqi Zhou. 딥러닝 스케일링은 경험적으로 예측 가능하다, 2017. URL https://arxiv.org/abs/1712.00409
[28] Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Tom Hennigan, Eric Noland, Katie Millican, George van den Driessche, Bogdan Damoc, Aurelia Guy, Simon Osindero, Karen Simonyan, Erich Elsen, Jack W. Rae, Oriol Vinyals, Laurent Sifre. 연산 최적 대규모 언어 모델 훈련, 2022. URL https://arxiv.org/abs/2203.15556
[29] Arian Hosseini, Xingdi Yuan, Nikolay Malkin, Aaron Courville, Alessandro Sordoni, Rishabh Agarwal. V-star: 자기 교수 추론자를 위한 검증기 훈련, 2024.
[30] Robert Irvine, Douglas Boubert, Vyas Raina, Adian Liusie, Ziyi Zhu, Vineet Mudupalli, Aliaksei Korshuk, Zongyi Liu, Fritz Cremer, Valentin Assassi, Christie-Carol Beauchamp, Xiaoding Lu, Thomas Rialan, William Beauchamp. 수백만 사용자와의 실제 참여에 대해 챗봇에게 보상하기, 2023. URL https://arxiv.org/abs/2303.06135
[31] Dongfu Jiang, Xiang Ren, Bill Yuchen Lin. LLM-Blender: 쌍별 순위 및 생성적 융합으로 대규모 언어 모델 앙상블하기, 2023. URL https://arxiv.org/abs/2306.02561
[32] Carlos E. Jimenez, John Yang, Alexander Wettig, Shunyu Yao, Kexin Pei, Ofir Press, Karthik Narasimhan. SWE-bench: 언어 모델이 실제 GitHub 이슈를 해결할 수 있는가?, 2024. URL https://arxiv.org/abs/2310.06770
[33] Andy L. Jones. 보드 게임으로 스케일링 법칙 스케일링하기, 2021. URL https://arxiv.org/abs/2104.03113
[34] Jordan Juravsky, Bradley Brown, Ryan Ehrlich, Daniel Y Fu, Christopher Ré, Azalia Mirhoseini. Hydragen: 공유 접두사를 사용한 고처리량 LLM 추론. arXiv preprint arXiv:2402.05099, 2024.
[35] Jikun Kang, Xin Zhe Li, Xi Chen, Amirreza Kazemi, Qianyi Sun, Boxing Chen, Dong Li, Xu He, Quan He, Feng Wen, Jianye Hao, Jun Yao. MindStar: 추론 시점에서 사전 훈련된 LLM의 수학적 추론 향상하기, 2024. URL https://arxiv.org/abs/2405.16265
[36] Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, Dario Amodei. 신경 언어 모델을 위한 스케일링 법칙, 2020.
[37] Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, Dario Amodei. 신경 언어 모델을 위한 스케일링 법칙, 2020. URL https://arxiv.org/abs/2001.08361
[38] Sumith Kulal, Panupong Pasupat, Kartik Chandra, Mina Lee, Oded Padon, Alex Aiken, Percy Liang. SPoC: 검색 기반 의사코드에서 코드로, 2019. URL https://arxiv.org/abs/1906.04908
[39] Nathan Lambert, Valentina Pyatkin, Jacob Morrison, LJ Miranda, Bill Yuchen Lin, Khyathi Chandu, Nouha Dziri, Sachin Kumar, Tom Zick, Yejin Choi, Noah A. Smith, Hannaneh Hajishirzi. RewardBench: 언어 모델링을 위한 보상 모델 평가하기, 2024. URL https://arxiv.org/abs/2403.13787
[40] Aitor Lewkowycz, Anders Andreassen, David Dohan, Ethan Dyer, Henryk Michalewski, Vinay Ramasesh, Ambrose Slone, Cem Anil, Imanol Schlag, Theo Gutman-Solo, Yuhuai Wu, Behnam Neyshabur, Guy Gur-Ari, Vedant Misra. 언어 모델로 정량적 추론 문제 해결하기, 2022. URL https://arxiv.org/abs/2206.14858
[41] Yujia Li, David Choi, Junyoung Chung, Nate Kushman, Julian Schrittwieser, Rémi Leblond, Tom Eccles, James Keeling, Felix Gimeno, Agustin Dal Lago, Thomas Hubert, Peter Choy, Cyprien de Masson d'Autume, Igor Babuschkin, Xinyun Chen, Po-Sen Huang, Johannes Welbl, Sven Gowal, Alexey Cherepanov, James Molloy, Daniel J. Mankowitz, Esme Sutherland Robson, Pushmeet Kohli, Nando de Freitas, Koray Kavukcuoglu, Oriol Vinyals. AlphaCode로 경쟁 수준의 코드 생성. Science, 378(6624):1092-1097, 2022년 12월. ISSN 1095-9203. doi: 10.1126/science.abq1158. URL http://dx.doi.org/10.1126/science.abq1158
[42] Hunter Lightman, Vineet Kosaraju, Yura Burda, Harri Edwards, Bowen Baker, Teddy Lee, Jan Leike, John Schulman, Ilya Sutskever, Karl Cobbe. 단계별로 검증하자, 2023.
[43] Aman Madaan, Niket Tandon, Prakhar Gupta, Skyler Hallinan, Luyu Gao, Sarah Wiegreffe, Uri Alon, Nouha Dziri, Shrimai Prabhumoye, Yiming Yang, Shashank Gupta, Bodhisattwa Prasad Majumder, Katherine Hermann, Sean Welleck, Amir Yazdanbakhsh, Peter Clark. Self-Refine: 자기 피드백을 통한 반복적 개선, 2023. URL https://arxiv.org/abs/2303.17651
[44] Alex Nguyen, Dheeraj Mekala, Chengyu Dong, Jingbo Shang. 일관된 예측이 정답 예측일 가능성이 있는 경우는 언제인가?, 2024. URL https://arxiv.org/abs/2407.05778
[45] Isaac Ong, Amjad Almahairi, Vincent Wu, Wei-Lin Chiang, Tianhao Wu, Joseph E. Gonzalez, M Waleed Kadous, Ion Stoica. RouteLLM: 선호도 데이터로 LLM 라우팅 학습하기, 2024. URL https://arxiv.org/abs/2406.18665
[46] OpenAI et al. GPT-4 기술 보고서, 2024. URL https://arxiv.org/abs/2303.08774
[47] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever. 언어 모델은 비지도 멀티태스크 학습자이다. 2019.
[48] Baptiste Roziere, Jonas Gehring, Fabian Gloeckle, Sten Sootla, Itai Gat, Xiaoqing Ellen Tan, Yossi Adi, Jingyu Liu, Romain Sauvestre, Tal Remez, Jérémy Rapin, Artyom Kozhevnikov, Ivan Evtimov, Joanna Bitton, Manish Bhatt, Cristian Canton Ferrer, Aaron Grattafiori, Wenhan Xiong, Alexandre Défossez, Jade Copet, Faisal Azhar, Hugo Touvron, Louis Martin, Nicolas Usunier, Thomas Scialom, Gabriel Synnaeve. Code Llama: 코드를 위한 개방형 기반 모델, 2023. URL https://arxiv.org/abs/2308.12950
[49] Rulin Shao, Jacqueline He, Akari Asai, Weijia Shi, Tim Dettmers, Sewon Min, Luke Zettlemoyer, Pang Wei Koh. 1조 토큰 데이터스토어로 검색 기반 언어 모델 스케일링하기, 2024. URL https://arxiv.org/abs/2407.12854
[50] David Silver, Thomas Hubert, Julian Schrittwieser, Ioannis Antonoglou, Matthew Lai, Arthur Guez, Marc Lanctot, Laurent Sifre, Dharshan Kumaran, Thore Graepel, Timothy Lillicrap, Karen Simonyan, Demis Hassabis. 일반 강화 학습 알고리즘을 통한 자기 대국으로 체스와 쇼기 마스터하기, 2017.
[51] Yifan Song, Guoyin Wang, Sujian Li, and Bill Yuchen Lin. The good, the bad, and the greedy: Evaluation of llms should not ignore non-determinism, 2024. URL https://arxiv.org/abs/2407.10457
[52] Gemma Team et al. Gemma: Open models based on gemini research and technology, 2024. URL https://arxiv.org/abs/2403.08295
[53] Ye Tian, Baolin Peng, Linfeng Song, Lifeng Jin, Dian Yu, Haitao Mi, and Dong Yu. Toward self-improvement of llms via imagination, searching, and criticizing, 2024. URL https://arxiv.org/abs/2404.12253
[54] Trieu H. Trinh, Yuhuai Wu, Quoc V. Le, He He, and Thang Luong. Solving olympiad geometry without human demonstrations. Nature, 625(7995):476-482, 2024. ISSN 1476-4687. doi: 10.1038/s41586-023-06747-5. URL https://doi.org/10.1038/s41586-023-06747-5
[55] Pauli Virtanen, Ralf Gommers, Travis E. Oliphant, Matt Haberland, Tyler Reddy, David Cournapeau, Evgeni Burovski, Pearu Peterson, Warren Weckesser, Jonathan Bright, Stéfan J. van der Walt, Matthew Brett, Joshua Wilson, K. Jarrod Millman, Nikolay Mayorov, Andrew R. J. Nelson, Eric Jones, Robert Kern, Eric Larson, C J Carey, Ilhan Polat, Yu Feng, Eric W. Moore, Jake VanderPlas, Denis Laxalde, Josef Perktold, Robert Cimrman, Ian Henriksen, E. A. Quintero, Charles R. Harris, Anne M. Archibald, António H. Ribeiro, Fabian Pedregosa, Paul van Mulbregt, and SciPy 1.0 Contributors. SciPy 1.0: Fundamental Algorithms for Scientific Computing in Python. Nature Methods, 17:261-272, 2020. doi: 10.1038/s41592-019-0686-2.
[56] Fanqi Wan, Xinting Huang, Deng Cai, Xiaojun Quan, Wei Bi, and Shuming Shi. 대규모 언어 모델의 지식 융합, 2024. URL https://arxiv.org/abs/2401.10491
[57] Haoxiang Wang, Wei Xiong, Tengyang Xie, Han Zhao, and Tong Zhang. 다목적 보상 모델링과 전문가 혼합을 통한 해석 가능한 선호도, 2024. URL https://arxiv.org/abs/2406.12845
[58] Junlin Wang, Jue Wang, Ben Athiwaratkun, Ce Zhang, and James Zou. 에이전트 혼합이 대규모 언어 모델 능력을 향상시킨다, 2024. URL https://arxiv.org/abs/2406.04692
[59] Peiyi Wang, Lei Li, Zhihong Shao, R. X. Xu, Damai Dai, Yifei Li, Deli Chen, Y. Wu, and Zhifang Sui. Math-shepherd: 인간 주석 없이 단계별로 LLM을 검증하고 강화하기, 2024. URL https://arxiv.org/abs/2312.08935
[60] Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, Sharan Narang, Aakanksha Chowdhery, and Denny Zhou. 자기 일관성이 언어 모델의 사고 연쇄 추론을 개선한다, 2023.
[61] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, and Denny Zhou. 사고 연쇄 프롬프팅이 대규모 언어 모델의 추론을 이끌어낸다, 2023.
[62] Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, and Yuan Cao. React: 언어 모델에서 추론과 행동의 시너지, 2022. URL https://arxiv.org/abs/2210.03629
[63] Shunyu Yao, Dian Yu, Jeffrey Zhao, Izhak Shafran, Thomas L. Griffiths, Yuan Cao, and Karthik Narasimhan. 사고의 나무: 대규모 언어 모델을 통한 의도적 문제 해결, 2023. URL https://arxiv.org/abs/2305.10601
[64] Eric Zelikman, Georges Harik, Yijia Shao, Varuna Jayasiri, Nick Haber, and Noah D. Goodman. Quiet-star: 언어 모델은 말하기 전에 생각하는 법을 스스로 가르칠 수 있다, 2024. URL https://arxiv.org/abs/2403.09629
[65] Kunhao Zheng, Jesse Michael Han, and Stanislas Polu. Minif2f: 형식적 올림피아드 수준 수학을 위한 교차 시스템 벤치마크. arXiv preprint arXiv:2109.00110, 2021.
[66] Lianmin Zheng, Liangsheng Yin, Zhiqiang Xie, Chuyue Sun, Jeff Huang, Cody Hao Yu, Shiyi Cao, Christos Kozyrakis, Ion Stoica, Joseph E. Gonzalez, Clark Barrett, and Ying Sheng. Sglang: 구조화된 언어 모델 프로그램의 효율적 실행, 2024. URL https://arxiv.org/abs/2312.07104
[67] Albert Orwall. Moatless tools. https://github.com/aorwall/moatless-tools/tree/a1017b78e3e69e7d205b1a3faa83a7d19fce3fa6, 2024.
A 샘플링 실험 설정
우리는 형식화된 MATH 문제에 해당하는 lean4 MiniF2F 데이터셋의 테스트 세트에 있는 130개 질문에 대한 결과를 보고한다. 이 데이터셋은 Zheng 등[65]이 만든 원래 MiniF2F 데이터셋의 수정된 버전에서 파생되었다. 우리는 온도 0.5로 샘플링하며 핵 샘플링은 사용하지 않는다. 우리는 문제당 10,000개의 샘플을 생성했다. 우리는 검증 세트에서 다음 5개 정리의 증명을 퓨샷 예시로 사용한다:
mathd_algebra_116 amc12_2000_p5 mathd_algebra_132 mathd_algebra_11 mathd_numbertheory_84
우리의 프롬프트는 다음으로 구성된다:
1. 퓨샷 예시.
2. lean4 MiniF2F 데이터셋의 업로드본인 HuggingFace 데이터셋 cat-searcher/minif2f-lean4의 각 문제에 존재하는 헤더 임포트.
3. 정리 정의. 정리의 이름으로부터 정리를 해결하는 방법에 관한 정보가 유출되는 것을 피하기 위해, 우리는 정리의 이름을 theorem_i로 대체한다. 퓨샷 예시의 경우 이고 현재 문제의 경우 이다.
우리는 생성된 솔루션의 최대 토큰 길이를 200으로 설정한다. 솔루션을 채점하기 위해, 우리는 lean 버전 4.3.0-rc2와 함께 lean-dojo 1.1.2 라이브러리를 사용한다. 우리는 모든 전술 단계에 대해 10초의 타임아웃을 설정한다.
퓨샷 예시
제공된 형식적 명제에 대한 lean4 증명을 작성하시오. 당신은 표준 mathlib4 라이브러리에 접근할 수 있다.
import Mathlib.Algebra.BigOperators.Basic
import Mathlib.Data.Real.Basic
import Mathlib.Data.Complex.Basic
import Mathlib.Data.Nat.Log
import Mathlib.Data.Complex.Exponential
import Mathlib.NumberTheory.Divisors
import Mathlib.Data.ZMod.Defs
import Mathlib.Data.ZMod.Basic
import Mathlib.Topology.Basic
import Mathlib.Data.Nat.Digits
open BigOperators
open Real
open Nat
open Topology
theorem theorem1
Int.floor ((9: ) / 160 \* 100) = 5 :=
by (
rw [Int.floor_eq_iff]
constructor
all.goals norm_num
)
예시 프롬프트
제공된 형식적 명제에 대한 lean4 증명을 작성하시오. 당신은 표준 mathlib4 라이브러리에 접근할 수 있다.
A.2 CodeContests
문제 설명에 이미지 태그가 포함되지 않은 140개의 테스트 세트 질문에 대한 결과를 보고합니다. CodeLlama [48]의 실험을 따라 temperature 0.6, top-p 값 0.95로 샘플링합니다. 문제당 10,000개의 샘플을 생성합니다. 훈련 세트에서 문제별로 무작위로 샘플링한 두 개의 퓨샷 예시를 사용합니다. 생성된 풀이의 최대 토큰 길이는 1024로 설정합니다. [41]과 동일한 답 비교 함수를 사용하며, 공개 테스트, 비공개 테스트, 생성된 테스트를 연결하여 풀이의 정확성을 검증합니다.
퓨샷 예시
Q: 제약 조건을 준수하고 예제 테스트 케이스를 통과하는 다음 코딩 문제를 해결하는 파이썬 코드를 작성하세요. 출력 코드는 표준 입출력에서 읽고 써야 합니다. 코드 답안은 다음과 같이 감싸 주세요.Petya는 동일한...(나머지 질문 및 입출력 예시)...
A:
while cnt .
if :
while cnt :
print(ans)...
예시 프롬프트
Q: 제약 조건을 준수하고 예시 테스트 케이스를 통과하는 다음 코딩 문제를 해결하는 파이썬 코드를 작성하세요. 출력 코드는 표준 입출력에서 읽고 써야 합니다. 코드 답안을 다음으로 감싸주세요.여기는......(나머지 문제와 입출력 예시)...
A:
A.3 수학
무작위로 선택된 128개의 테스트 세트 문제에 대한 결과를 보고합니다. 온도 0.6으로 샘플링하며 nucleus 샘플링은 사용하지 않습니다. 각 문제에 대해 [40]의 고정된 5개 퓨샷 예시를 사용합니다. 문제당 10,000개의 샘플을 생성합니다. 생성된 풀이의 최대 토큰 길이는 512로 설정합니다. 풀이를 채점하기 위해 LMEval [22]의 minerva_math 함수를 사용하여 모델의 최종 답안을 추출합니다. 그런 다음 추출된 답안이 정답과 정확히 문자열이 일치하거나 LMEval의 minerva_math에 있는 is_equiv 함수가 참으로 평가되면 정답 여부를 확인합니다.
퓨샷 예시
문제: 이고 일 때, 를 구하세요.
풀이: 입니다. 최종 답안: 최종 답안은 24입니다. 맞기를 바랍니다.
예시 프롬프트
문제: 함수 f(x) = \frac{(2x - 3)(2x + 5)}{(3x - 9)(3x + 6)}의 정의역은 무엇인가요? 답을 구간 또는 구간들의 합집합으로 표현하세요.
풀이:
A.4 GSM8K
무작위로 샘플링된 128개의 테스트 세트 문제에 대한 결과를 보고합니다. 온도 0.6으로 샘플링하며 nucleus 샘플링은 사용하지 않습니다. 문제별로 무작위로 샘플링된 훈련 세트의 5개 퓨샷 예시를 사용합니다. 문제당 10,000개의 샘플을 생성합니다. 생성된 풀이의 최대 토큰 길이는 512로 설정합니다. 풀이를 채점하기 위해 LMEval [22]을 따르며, 네 개의 해시 기호 뒤의 문자열을 추출하는 정규식을 사용하여 답안을 추출합니다. MATH와 유사하게, 추출된 답안이 정답과 정확히 문자열이 일치하거나 is_equiv가 참으로 평가되면 정답 여부를 평가합니다.
퓨샷 예시
질문: James는 자신의 차를 교체하기로 결정했습니다. 그는 20,000 80\% \ 정가의 차를 가치의 에 구매할 수 있었습니다. 그는 얼마를 지출했나요? 답변: 그는 자신의 차를 에 팔았습니다. 그는 새 차를 에 구매했습니다. 이는 그가 을 지출했음을 의미합니다.
예시 프롬프트
질문: Mary는 식료품 저장실에 6병의 스프링클을 가지고 있습니다. 각 스프링클 병은 8개의 컵케이크를 장식할 수 있습니다. Mary는 모든 스프링클을 사용하기에 충분한 컵케이크를 굽고 싶어 합니다. 각 팬에 12개의 컵케이크가 들어간다면, 그녀는 몇 팬 분량의 컵케이크를 구워야 합니까?
답변:
B SWE-bench Lite
B.1 실험 설정
실험을 위해 Moatless Tools 에이전트 프레임워크(커밋 a1017b78e3e69e7d205b1a3faa83a7d19fce3fa6)와 함께 DeepSeek- Coder- V2- Instruct를 사용합니다. 검색에는 Moatless Tools에서 기본으로 사용하는 Voyage AI 5 임베딩을 사용합니다. 모델이나 프레임워크를 전혀 수정하지 않고, 완전히 기성 구성 요소로 사용합니다.
이 설정으로 표준 온도 기반 샘플링을 사용하여 각 문제에 대해 250개의 독립적인 완성을 샘플링합니다. 최적의 샘플링 온도를 결정하기 위해 테스트 세트에서 무작위로 선택한 50개 문제의 하위 집합에 대해 온도 1.0, 1.4, 1.6, 1.8을 테스트하는 스윕을 수행했습니다. 이 결과를 바탕으로 주요 실험에는 온도 1.6을 선택했습니다.
B.2 테스트 스위트 불안정성
분석 중에 SWE- bench Lite에서 테스트 스위트에 불안정한 테스트가 있는 34개의 문제를 확인했습니다. SWE- bench 저자가 제공한 SWE- bench 테스트 하네스를 사용하여 각 솔루션을 반복적으로 테스트했습니다. 일부 솔루션의 경우 때로는 솔루션이 정답으로 표시되고, 다른 때에는 오답으로 표시되었습니다. 이 34개 사례 중 30개에서 데이터세트 저자가 제공한 정답 솔루션에서도 불안정성을 관찰했습니다. 표 3은 불안정한 테스트가 있는 34개 인스턴스의 문제 ID를 나열합니다.
| 저장소 | 인스턴스 ID |
| django | django_django-13315, django_django-13447, django_django-13590, django_django-13710, django_django-13757, django_django-13933, django_django-13964, django_django-14017, django_django-14238, django_django-14382, django_django-14608, django_django-14672, django_django-14752, django_django-14915, django_django-14997, django_django-14999, django_django-15320, django_django-15738, django_django-15790, django_django-15814, django_django-15819, django_django-16229, django_django-16379, django_django-16400, django_django-17051 |
| sympy | sympy_sympy-13146, sympy_sympy-13177, sympy_sympy-16988 |
| requests | psf_requests-863, psf_requests-2317, psf_requests-2674, psf_requests-3362 |
| scikit-learn | scikit-learn_scikit-learn-13241 |
| matplotlib | matplotlib_matplotlib-23987 |
표 3: 불안정한 테스트가 있는 SWE-bench Lite 문제의 인스턴스 ID.
추가 인스턴스인 astropy_astropy- 6938은 일부 머신에서는 불안정했지만 다른 머신에서는 그렇지 않았습니다. SWE- bench 저자들은 불안정성을 재현할 수 있었지만, 우리는 재현하지 못했습니다. 예비 조사에 따르면 이 특정 문제는 단위 테스트를 실행하는 도커 환경의 고정되지 않은 의존성 버전 때문인 것으로 보입니다.
여기에는 표 3의 문제를 제거한 하위 집합(266개 문제)에 대한 결과를 포함합니다. 전체 데이터세트 평가의 경우 불안정한 테스트가 있는 모든 문제에 대해 테스트 스위트를 11번 실행하고 다수결 투표로 솔루션의 통과 여부를 결정합니다. 불안정한 테스트가 없는 하위 집합에 대한 평가의 경우, 비교하는 모든 기준선이 어떤 문제를 올바르게 해결하는지 공개하므로, 단순히 불안정한 테스트가 있는 문제를 제거하고 점수를 다시 계산했습니다.

C 스케일링 법칙 세부 사항
C.1 실험 세부 사항
커버리지 곡선에 지수화된 멱법칙을 적합시키기 위해 먼저 0에서 10,000까지 로그 스케일을 따라 균등하게 배치된 40개의 점을 샘플링하고 중복을 제거합니다. 그런 다음 SciPy의 55 curve_fit 함수를 사용하여 이 점들에 가장 잘 맞는 방정식 3의 및 매개변수를 찾습니다.
C.2 추가 결과
그림 10에서는 확장된 데이터세트 및 모델 세트에 대한 커버리지 곡선에 멱법칙을 적합시킨 추가 결과를 보여줍니다.

D 정밀도 세부 사항
D 정밀도 세부 사항 Majority Vote, Reward Model + Best-of-N 및 Reward Model + Majority Vote 지표를 계산하기 위해, 우리는 2절에서 소개한 MATH 및 GSM8K 데이터셋 모두에 대해 동일한 128개의 문제 부분집합을 사용한다. 각 문제는 우리가 테스트하는 각 모델에 대해 10,000개의 샘플에 대응한다. 각 검증 방법에 대해, 우리는 크기 의 무작위 부분집합 100개를 취하고 각 부분집합을 사용하여 성공률을 계산한다. 우리는 그림 7에 부분집합들에 걸친 평균과 표준편차를 보고한다. Majority Vote 답을 계산하기 위해, 우리는 각 부분집합에서 다수 답을 취한다(두 답이 정확한 문자열 일치이거나 is_equiv가 true로 평가되면 동등한 것으로 간주된다는 점에 유의하라). Reward Model + Best-of-N의 경우, 우리는 보상 모델이 부여한 점수가 가장 높은 답을 취한다. Reward Model + Majority Vote 지표의 경우, 우리는 동일한 최종 답을 가진 모든 샘플에 걸쳐 보상 모델 점수를 합산하고, 합이 가장 높은 최종 답을 사용한다.
E GSM8K 오답
4.1에서 논의한 바와 같이, 우리는 GSM8K 테스트 세트의 한 문제(HuggingFace의 인덱스 1042)에 잘못된 정답 해가 있음을 확인한다.
질문
Johnny의 아빠는 그를 경마를 보러 데려갔고 돈을 걸었다. 첫 번째 경주에서 그는 5 \ 더 많이 벌었다. 세 번째 경주에서 그는 두 번째 경주에서 번 금액의 1.5배만큼 잃었다. 그날 그는 평균적으로 얼마를 잃었는가?
답
두 번째 경주에서 그는 11 1+5\times 2=<<1+52=11>>11 \ 를 잃었다. 왜냐하면 그는 첫 번째와 세 번째 경주에서 총 20 15+5=<<15+5=20>>20 \ 를 잃었다. 왜냐하면 그는 경주당 평균 3 9/3=<<9/3=3>>3\#\#\#\#3$
실수는 답의 두 번째 줄에 있다. 세 번째 경주에서 Johnny의 아빠는 16.5 \ 가 아니다. 즉, 그는 11 \ \ \ 를 잃었다. 따라서 답은 경주당 평균 3.5 \ 이 아니다(데이터셋의 답).