Ir al contenido principal
TextGrad: Automatic "Differentiation" via TextMert Yuksekgonul et al.

D.1 Metodología

Para la predicción CoT de 0-shot, utilizamos la plantilla de pregunta y el prompt del sistema publicados con GPT-4o en el repositorio simple-evals. En particular, para coincidir estrechamente con sus evaluaciones, utilizamos el prompt del sistema de ChatGPT: You are ChatGPT, a large language model trained by OpenAI, based on the GPT-4 architecture. \n Knowledge cutoff: 2023-12 \n Current date: 2024-04-01". Además, utilizamos la siguiente plantilla:

Plantilla de respuesta a preguntas de opción múltiple

Responde la siguiente pregunta de opción múltiple. La última línea de tu respuesta debe tener el siguiente formato: 'Answer: \(LETTER' (sin comillas), donde LETTER es una de ABCD. Piensa paso a paso antes de responder.

{Question}

A) {A}

B) {B}

C) {C}

D) {D}

Durante la optimización, proporcionamos al optimizador la restricción de que la predicción debe concluir con una respuesta, siguiendo el repositorio simple-evals, mediante la siguiente descripción de restricción: La última línea de tu respuesta debe tener el siguiente formato: 'Answer: \(LETTER' (sin comillas), donde LETTER es una de ABCD.

Evaluación: De manera similar, usando la práctica del repositorio simple-evals, realizamos coincidencia de cadenas para encontrar la respuesta final, que es una de las letras ABCD, y la comparamos con la respuesta de referencia. El subconjunto GPQA Diamond contiene 198 preguntas. El subconjunto MMLU Machine Learning contiene 112 preguntas, y el subconjunto College Physics contiene 92 preguntas. En cada iteración de optimización, hacemos 1 llamada a gpt-4o para evaluar la pérdida en tiempo de prueba, 1 llamada para recopilar gradientes y 1 llamada para actualizar la solución.