본문으로 건너뛰기
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

3.1 코드 최적화

코드 최적화는 인스턴스 최적화의 대표적인 사용 사례입니다. 여기서 목표는 예를 들어 정확성이나 런타임 복잡도를 개선하기 위해 일부 코드를 최적화하는 것입니다. 우리는 종종 다음과 같은 계산 그래프를 가집니다:

Code- Refinement Objective =LLM(Problem+Code+Test−timeInstruction+LocalTestResults)= \mathrm{LLM}(\mathrm{Problem} + \mathrm{Code} + \mathrm{Test - time} \mathrm{Instruction} + \mathrm{Local} \mathrm{Test} \mathrm{Results}) (14)

여기서 우리는 제한된 로컬 테스트 감독과 현재 코드 반복에 대한 비판을 요청하는 테스트 지시를 통한 자기 평가를 바탕으로 주어진 문제를 해결하도록 Code를 최적화합니다. 그림 1e는 문제 "You are given an array nums of size n consisting of distinct integers from 1 to n and a positive integer k. Return the number of non- empty subarrays in nums that have a median equal to k."에 대한 예시를 보여줍니다. gpt-4o가 제안한 첫 번째 해법은 테스트를 통과하지 못합니다. TEXTGRAD는 첫 번째 해법에서의 엣지 케이스를 식별하고 이를 개선하는 방법에 대한 제안을 제공합니다. 최적화된 구현은 모든 테스트를 통과합니다.

과제: 우리는 코드 최적화를 벤치마킹하기 위해 LeetCode Hard 데이터셋 [26]을 사용합니다. LeetCode는 기술 면접 준비를 위한 코딩 연습 문제를 제공하는 온라인 플랫폼입니다. LeetCode Hard 데이터셋은 인간과 언어 모델 모두에게 어렵도록 의도된 어려운 코딩 문제들의 예시를 포함하고 있으며, 성공 지표는 Completion Rate, 즉 주어진 문제에 대한 모든 테스트 케이스를 통과하는 것입니다 (GPT-4는 보고된 바에 따르면 7%의 완료율을 달성했습니다 [26]). LeetCode 테스트 케이스는 공개되지 않으므로, 생성 후 코드는 보이지 않는 테스트 케이스에 대한 평가를 위해 LeetCode 플랫폼에 제출되어야 합니다. 이는 이 플랫폼을 언어 모델의 성능을 평가하기에 더 적합하게 만듭니다.

베이스라인: Reflexion [26]은 LeetCode Hard 데이터셋에서 최첨단 방법입니다. 그들의 접근법은 LLM에게 코드 조각과 테스트 시점에 후보 단위 테스트를 사용하여 생성된 오류에 대해 자기 성찰하도록 프롬프트합니다. 자기 성찰이 주어지면, LLM은 자기 성찰과 오류를 조건으로 업데이트된 코드 조각을 제공하도록 다시 프롬프트됩니다. 우리는 1개의 인컨텍스트 시연으로 행동을 안내하면서(원샷) gpt-4o를 사용하여 LeetCodeHard에서 Reflexion을 실행했습니다. Reflexion에 더해, 우리는 또한 [26]에서 설명된 것과 동일한 제로샷 베이스라인을 모방한 gpt-4o를 사용한 제로샷 베이스라인도 실행합니다. 이와 비교하여 TEXTGRAD는 어떤 시연도 없이 제로샷 설정에서 실행됩니다.

결과: 기존 결과 [26]는 GPT-4 제로샷의 경우 7% 통과율, Reflexion을 사용한 GPT-4의 경우 15%를 보여주었습니다. 우리는 이 결과들이 이제 gpt-4o 제로샷의 경우 23%, Reflexion이 사용될 경우 31%로 향상되었음을 보여줍니다. TEXTGRAD를 사용하면 36%의 성능을 달성하도록 솔루션을 최적화할 수 있습니다. 이러한 개선은 Reflexion이 인컨텍스트 시연과 함께 실행되었고 TEXTGRAD는 어떤 시연도 사용하지 않았다는 점(즉, 제로샷)을 고려할 때 더욱 인상적입니다.

Code Refinement Objective

LLM("You are an intelligent assistant used as an evaluator, and part of an optimization system. You will analyze a code implementation for a coding problem and unit test results. The code will be tested with harder tests, so do not just check if the code passes the provided tests. Think about the correctness of the code and its performance in harder test cases. Give very concise feedback. Investigate the code problem and the provided implementation. For each failed unit test case, start analyzing it by saying "The code did not pass this test because...". Explain why the current implementation is not getting the expected output. Do not provide a revised implementation. Carefully suggest why there are issues with the code and provide feedback.{Test- time Instruction}\\The coding problem:\\{Problem}\\Code generated that must be evaluated for correctness and runtime performance\\{Code}\\The test results:\\{Local test Results}

과제방법완료율
LeetCode Hard [26]제로샷 [26]0.26
Reflexion (시연 1개, 반복 5회) [26]0.31 ± 0.012
TEXTGRAD (시연 0개, 반복 5회)0.36 ± 0.018
표 1: gpt-4o를 사용한 LeetCode Hard 코드 최적화. 결과는 5개 시드에 걸쳐 평균한 값임.