E.1 Tareas
A continuación, proporcionamos una consulta de ejemplo para cada una de las tareas de la sección de optimización de indicaciones.
Consulta de ejemplo para ordenar palabras
Ordena alfabéticamente las siguientes palabras: Lista: oakland seaborg jacobi membrane trapezoidal allis marmot toggle anthology.
Consulta de ejemplo para contar objetos
Tengo un sofá, una cama, un coche, una nevera, dos mesas, un horno, una tostadora y una silla. ¿Cuántos objetos tengo?
Consulta de ejemplo para GSM8k
Amber, Micah y Ahito corrieron 52 millas en total. Amber corrió 8 millas. Micah corrió 3,5 veces lo que corrió Amber. ¿Cuántas millas corrió Ahito?
Para ordenar palabras y contar objetos, obtenemos los conjuntos de datos del repositorio BBH y dividimos aleatoriamente los ejemplos en 50 (entrenamiento)/100 (validación)/100 (prueba) muestras. Para GSM8k, utilizamos las divisiones proporcionadas en DSPy [10], que tiene 200 (entrenamiento)/300 (validación)/1319 (prueba) muestras.
Evaluación: Para contar objetos y GSM8k, utilizamos la métrica de coincidencia exacta basada en cadenas, que examina el último valor numérico proporcionado en la respuesta y lo compara con la respuesta de referencia. Para ordenar palabras, indicamos a gpt-4o que compare la lista de referencia con la respuesta proporcionada en la respuesta, mediante la siguiente indicación:
Indicación del sistema de evaluación para la evaluación de ordenar palabras
Indicación del sistema: A continuación se presenta una pregunta de una tarea de respuesta a preguntas, la respuesta de referencia y el razonamiento con la predicción final. ¿Es correcta la predicción final, es decir, es la misma que la respuesta de referencia? Di solo 1 (sí) o 0 (no). Devuelve tu respuesta dentro de las etiquetas . Por ejemplo, o .
Indicación de ejemplo: \\Pregunta para la tarea:\\ {question} \\Respuesta de referencia:\\ {answer} \\Razonamiento y predicción del modelo de lenguaje:\\ {prediction}