Ir al contenido principal
Cheng-Ping Hsieh et al.

Casi todos los modelos aciertan la aguja en el pajar. RULER añade 13 tareas más duras y muestra que el contexto real es mucho más corto. COLM 2024.

RULER: What's the Real Context Size of Your Long-Context Language Models?

RULER: ¿Cuál es el tamaño de contexto real de tus modelos de lenguaje de contexto largo?

Cheng-Ping Hsieh*, Simeng Sun*, Samuel Kriman, Shantanu Acharya Dima Rekesh, Fei Jia, Yang Zhang, Boris Ginsburg

NVIDIA

{chsieh, simengs}@nvidia.com

Resumen

La prueba de la aguja en el pajar (NIAH), que examina la capacidad de recuperar un fragmento de información (la "aguja") de textos largos con distracciones (el "pajar"), ha sido ampliamente adoptada para evaluar modelos de lenguaje (LM, por sus siglas en inglés) de contexto largo. Sin embargo, esta simple prueba basada en recuperación solo es indicativa de una forma superficial de comprensión de contexto largo. Para proporcionar una evaluación más completa de los LM de contexto largo, creamos un nuevo benchmark sintético, RULER, con configuraciones flexibles para personalizar la longitud de secuencia y la complejidad de la tarea. RULER amplía la prueba NIAH original para abarcar variaciones con diversos tipos y cantidades de agujas. Además, RULER introduce nuevas categorías de tareas, rastreo de múltiples saltos y agregación, para probar comportamientos más allá de la búsqueda en el contexto. Evaluamos 17 LM de contexto largo con 13 tareas representativas en RULER. A pesar de alcanzar una precisión casi perfecta en la prueba NIAH original, casi todos los modelos muestran grandes caídas de rendimiento a medida que aumenta la longitud del contexto. Si bien todos estos modelos afirman tener tamaños de contexto de 32K tokens o más, solo la mitad de ellos puede mantener un rendimiento satisfactorio a la longitud de 32K. Nuestro análisis de Yi-34B, que admite una longitud de contexto de 200K, revela un gran margen de mejora a medida que aumentamos la longitud de entrada y la complejidad de la tarea. Publicamos RULER como código abierto para impulsar una evaluación integral de los LM de contexto largo.

1 Introducción

Los avances recientes en la ingeniería de sistemas de IA (Dao et al., 2022; Jacobs et al., 2023; Fu et al., 2024) y en los diseños de modelos de lenguaje (Chen et al., 2023; Xiong et al., 2023) han permitido escalar de manera eficiente la longitud de contexto de los modelos de lenguaje (Liu et al., 2024a; Young et al., 2024). Trabajos previos (AI21, 2024; X.AI, 2024; Reid et al., 2024; Anthropic, 2024) adoptan comúnmente tareas sintéticas, como la recuperación de contraseñas (Mohtashami & Jaggi, 2023) y la aguja en el pajar (Kamradt, 2023), para evaluar los LM de contexto largo. Sin embargo, estas evaluaciones se usan de manera inconsistente entre trabajos y revelan únicamente la capacidad de recuperación, sin lograr medir otras formas de comprensión de contexto largo.

En este trabajo, proponemos RULER, un nuevo benchmark para evaluar las capacidades de modelado de contexto largo en modelos de lenguaje. RULER contiene cuatro categorías de tareas para probar comportamientos (Ribeiro et al., 2020) más allá de la simple recuperación desde el contexto:

1. Recuperación: ampliamos la prueba de la aguja en el pajar (Kamradt, 2023; NIAH) para evaluar la capacidad de recuperación con diversos tipos y cantidades de agujas. 2. Rastreo de múltiples saltos: proponemos el rastreo de variables, una tarea proxy mínima para la resolución de cadenas de correferencia, con el fin de comprobar el comportamiento de rastreo de entidades con conexiones de múltiples saltos. 3. Agregación: proponemos la extracción de palabras comunes/frecuentes, tareas proxy para la summarización, para probar la capacidad de agregar información relevante que abarca un contexto de largo alcance.

Referencia y tareaLongitud promedioTipoTareas diversasConocimiento paramétrico mínimoContexto controlable
ZeroSCROLLS~10krealista✓XX
L-Eval~8krealista✓XX
BAMBOO~16krealista✓✓X
LongBench~8khíbrido✓XX
LooGLE~20khíbrido✓✓X
InfiniteBench~200khíbrido✓✓X
Aguja en un pajar (NIAH)cualquierasintéticoX✓✓
Recuperación de Passkey / Line / KVcualquierasintéticoX✓✓
RULER (Nuestro)cualquierasintético✓✓✓
Tabla 1: Comparación entre los benchmarks de contexto largo existentes y RULER. El tipo "realista" se refiere a anotado por humanos, mientras que el tipo "sintético" se refiere a generado automáticamente. RULER incluye diversos dominios de tareas más allá de la recuperación, reduce la dependencia del conocimiento paramétrico con entrada sintética y ofrece flexibilidad para controlar los contextos para diferentes longitudes de secuencia y complejidades de tareas. En RULER, los contextos pueden ajustarse cambiando el volumen o la ubicación de la información relevante y distractora.

4. Preguntas y respuestas: añadimos información distractora a la entrada de conjuntos de datos existentes de QA de contexto corto para evaluar la capacidad de respuesta a preguntas en varios tamaños de contexto.

En comparación con los benchmarks realistas existentes (Tabla 1), RULER consta únicamente de tareas sintéticas, que ofrecen la flexibilidad de controlar la longitud de secuencia y la complejidad de la tarea. La entrada sintética en RULER reduce la dependencia del conocimiento paramétrico, que interfiere con la utilización de la entrada de contexto largo en tareas realistas (Shaham et al., [2023]; Bai et al., [2023]).

Usando RULER, evaluamos Gemini-1.5 (Reid et al., [2024], GPT-4 (OpenAI: Josh Achiam et al., [2023]), y 15 modelos de código abierto con longitudes de contexto que van de 4k a 128k. A pesar de alcanzar un rendimiento casi perfecto en la prueba NIAH original, casi todos los modelos exhiben una gran degradación en las tareas más complejas de RULER a medida que aumenta la longitud de secuencia. Si bien todos los modelos afirman tener un tamaño de contexto de 32k tokens o más, nuestros resultados indican que solo la mitad de ellos puede manejar eficazmente una longitud de secuencia de 32K al superar un umbral cualitativo. Además, casi todos los modelos caen por debajo del umbral antes de alcanzar las longitudes de contexto declaradas. Para obtener comparaciones detalladas entre modelos, agregamos el rendimiento de 4k a 128k con dos puntuaciones promedio ponderadas, donde los pesos simulan la distribución de longitudes de casos de uso del mundo real. Los dos modelos principales —Gemini-1.5 y GPT-4— superan consistentemente a los demás modelos independientemente del esquema de ponderación elegido.

Analizamos además Yi-34B, que afirma tener una longitud de contexto de 200K y logra un rendimiento razonablemente bueno en RULER entre los modelos de código abierto. Nuestros resultados demuestran una gran degradación en el rendimiento de Yi a medida que aumentamos la longitud de entrada y la complejidad de la tarea. En tamaños de contexto grandes, Yi-34B a menudo devuelve respuestas incompletas y no logra localizar con precisión la información relevante. Además, observamos dos comportamientos que emergen con el escalado del tamaño de contexto en múltiples modelos: la mayor dependencia del conocimiento paramétrico y la mayor tendencia a copiar del contexto en tareas que no son de recuperación. Nuestras ablaciones adicionales demuestran que el entrenamiento con secuencias más largas no siempre conduce a un mejor rendimiento en RULER, y que tamaños de modelo más grandes se correlacionan positivamente con mejores capacidades de contexto largo. Finalmente, mostramos que las arquitecturas no Transformer, como RWKV y Mamba, todavía están muy por detrás de Transformer en RULER.

Nuestras contribuciones son las siguientes:

- Proponemos un nuevo benchmark, RULER, para evaluar modelos de lenguaje de contexto largo mediante tareas sintéticas con configuraciones flexibles.- Introducimos nuevas categorías de tareas, específicamente el rastreo de múltiples saltos y la agregación, para probar comportamientos distintos de la recuperación desde contexto largo.- Evaluamos 17 LM de contexto largo usando RULER y realizamos análisis entre modelos y complejidades de tarea.

Publicamos RULER como código abierto para impulsar la investigación futura en modelos de lenguaje de contexto largo.

2 Trabajo relacionado

Modelos de lenguaje de contexto largo. Numerosos modelos de lenguaje de contexto largo se han introducido recientemente debido al progreso en diseños de ingeniería, arquitectura y algoritmos. Flash attention (Dao et al., 2022; Dao, 2023) y Ring attention (Liu et al., 2023) reducen significativamente el consumo de memoria requerido para procesar contextos largos. Se emplearon diversos mecanismos de atención dispersa (Child et al., 2019; Jaszczur et al., 2021), como la atención dispersa desplazada (Chen et al., 2024), la atención dilatada (Ding et al., 2023) y los sumideros de atención (Han et al., 2023; Xiao et al., 2024b), para permitir un escalado eficiente del contexto. Se propusieron nuevos métodos de incrustación posicional para mejorar la extrapolación de longitud en Transformers (Vaswani et al., 2017), incluidos ALiBi (Press et al., 2022), xPOS (Sun et al., 2023b) y variantes de RoPE (Su et al., 2023) (Chen et al., 2023; Xiong et al., 2023; Peng et al., 2024; Liu et al., 2024b; Ding et al., 2024; Zhu et al., 2024). Otra línea de investigación se centra en reducir el tamaño del contexto. Esto puede lograrse almacenando en caché el contexto previo mediante un mecanismo de recurrencia (Zhang et al., 2024a; Bulatov et al., 2023; Martins et al., 2022; Wu et al., 2022), recuperando información relevante del contexto (Xu et al., 2024a; Mohtashami & Jaggi, 2023; Wang et al., 2024; Tworkowski et al., 2024; Xiao et al., 2024a), o preservando la información sobresaliente mediante compresión (Jiang et al., 2023). Finalmente, también se han propuesto arquitecturas novedosas (Gu et al., 2022; Fu et al., 2023a; Poli et al., 2023; Fu et al., 2023b; Sun et al., 2023a; Beck et al., 2024; Sun et al., 2024), como Mamba (Gu & Dao, 2023) y RWKV (Peng et al., 2023), para manejar eficientemente entradas de contexto largo.

Benchmarks y tareas de contexto largo. Nuestro trabajo está estrechamente relacionado con otros trabajos sobre la evaluación de modelos de lenguaje de contexto largo. ZeroSCROLLS (Shaham et al., 2023) abarca diez tareas realistas de lenguaje natural, como QA sobre documentos largos y summarización (basada en consultas). L-Eval (An et al., 2024) también utiliza datos realistas, que fueron filtrados manualmente para garantizar la calidad. LongBench (Bai et al., 2023) contiene tareas en un entorno bilingüe. InfiniteBench (Zhang et al., 2024b) incluye tareas con una longitud superior a 100K tokens. LTM (Castillo et al., 2024) se orienta a la evaluación de conversaciones de largo plazo. Para aislar el efecto del conocimiento paramétrico, trabajos previos (Dong et al., 2023; Li et al., 2023b) también proponen usar documentos publicados en línea después de cierta fecha de corte, o aprovechar materiales de muy bajos recursos (Tanzer et al., 2024). En comparación con los benchmarks realistas, las tareas sintéticas son más flexibles para controlar la configuración (p. ej., longitud de secuencia y complejidad de la tarea) y se ven menos afectadas por el conocimiento paramétrico. Trabajos recientes se han centrado principalmente en tareas sintéticas basadas en recuperación (Kamradt, 2023; Mohtashami & Jaggi, 2023; Li et al., 2023a; Liu et al., 2024d; Lee et al., 2024), con unos pocos que investigan otros aspectos, incluido el razonamiento sobre hechos (Kuratov et al., 2024; Karpinska et al., 2024), el modelado del discurso de largo alcance (Sun et al., 2022), las preguntas y respuestas (Levy et al., 2024; Yuan et al., 2024), el aprendizaje en contexto con muchos ejemplos (Agarwal et al., 2024; Bertsch et al., 2024; Xu et al., 2024b) y la comprensión de código (Liu et al., 2024c).

3 El benchmark RULER

RULER comprende tareas en cuatro categorías: recuperación, rastreo multi-salto, agregación y respuesta a preguntas. Los ejemplos de evaluación en RULER se generan automáticamente a partir de configuraciones de entrada (véase la Tabla 2) que definen la longitud y la complejidad de cada entrada. Dentro de un dominio restringido como en RULER, la complejidad de la tarea puede concebirse como una función del número de tokens de salida objetivo y de la relación señal-ruido en el contexto. Remitimos a los lectores a (Goldman et al., 2024) para una discusión más exhaustiva sobre el diseño de tareas de evaluación para modelos de lenguaje de contexto largo.

3.1 Recuperación: aguja en un pajar (NIAH)

Trabajos recientes (Reid et al., 2024; Anthropic, 2023) emplean comúnmente la prueba de la aguja en un pajar (Kamradt, 2023; NIAH) para evaluar la capacidad de modelado de contexto largo. La prueba NIAH recuerda a las tareas de recuerdo asociativo ampliamente estudiadas (Hopfield, 1982; Graves et al., 2014; Olsson et al., 2022; Arora et al., 2024), en las que es necesario recuperar información relevante del contexto dada una consulta suficiente. En RULER, incluimos múltiples tareas basadas en recuperación, extendiendo la prueba NIAH original para evaluar modelos con base en tres criterios.

TareaConfiguraciónEjemplo

SingleNIAH (S-NIAH)
type_key = wordtype_value = numbertype_haystack = essaysize_haystack < context length(ensayos) Uno de los números mágicos especiales para long-context es: 12345. ¿Cuál es el número mágico especial para long-context mencionado en el texto proporcionado? Respuesta: 12345

Multi-keysNIAH (MK-NIAH)
num_keys = 2type_key = wordtype_value = numbertype_haystack = essaysize_haystack < context length(ensayos) Uno de los números mágicos especiales para long-context es: 12345. Uno de los números mágicos especiales para large-model es: 54321. ¿Cuál es el número mágico especial para long-context mencionado en el texto proporcionado? Respuesta: 12345

Multi-valuesNIAH (MV-NIAH)
num_values = 2type_key = wordtype_value = numbertype_haystack = essaysize_haystack < context length(ensayos) Uno de los números mágicos especiales para long-context es: 12345. Uno de los números mágicos especiales para long-context es: 54321. ¿Cuáles son todos los números mágicos especiales para long-context mencionados en el texto proporcionado? Respuesta: 12345 54321

Multi-queriesNIAH (MQ-NIAH)
num_queries = 2type_key = wordtype_value = numbertype_haystack = essaysize_haystack < context length(ensayos) Uno de los números mágicos especiales para long-context es: 12345. Uno de los números mágicos especiales para large-model es: 54321. ¿Cuáles son todos los números mágicos especiales para long-context y large-model mencionados en el texto proporcionado? Respuesta: 12345 54321

VariableTracking (VT)
num_chains = 2num_hops = 2size_noises < context length(ruidos) VAR X1 = 12345 .... VAR Y1 = 54321 .... VAR X2 = X1 .... VAR Y2 = Y1 .... VAR X3 = X2 .... VAR Y3 = Y2 .... Encuentre todas las variables a las que se les asigna el valor 12345. Respuesta: X1 X2 X3

Common WordsExtraction (CWE)
freq_cw = 2, freq_ucw = 1num_cw = 10num_ucw < context lengthaaa bbb cca aaa ddd eee ccc fff ggg hhh iii iii .... ¿Cuáles son las 10 palabras más comunes en la lista anterior? Respuesta: aaa ccc iii ....

Frequent WordsExtraction (FWE)
α = 2num_word < context lengthaaa bbb cca aaa ddd eee ccc fff ggg aaa hhh aaa ccc iii iii .... ¿Cuáles son las 3 palabras que aparecen con más frecuencia en el texto codificado anterior? Respuesta: aaa ccc iii

QuestionAnswering (QA)
dataset = SQuADnum_document < context lengthDocumento 1: .... aaa .... Documento 2: .... bbb .... Documento 3: .... ccc .... Pregunta: question Respuesta: bbb
Tabla 2: Ejemplos de tareas con configuraciones flexibles en RULER. Usamos diferentes colores para resaltar consultas, claves, valores y distractores en nuestros ejemplos.

Concretamente, la capacidad de recuperación debe ser (1) independiente del tipo de "aguja" y del "pajar", (2) lo suficientemente fuerte como para ignorar distractores difíciles y (3) de alto recuerdo cuando es necesario recuperar múltiples elementos. Con base en estos criterios, desarrollamos cuatro tareas NIAH. La "aguja" en cada una de estas tareas es un par clave-valor insertado en el "pajar" (textos largos distractores). La consulta se ubica al final de la secuencia y sirve como señal para hacer coincidir las claves en el contexto y posteriormente recuperar los valores asociados.

- NIAH simple (S-NIAH): Esta es la prueba NIAH original donde se debe recuperar una única "aguja" del "pajar". La consulta/clave/valor puede tomar la forma de palabras, números (7 dígitos) o UUID (32 dígitos). El "pajar" puede ser oraciones de ruido repetidas o ensayos de Paul Graham (Kamradt, 2023).- NIAH de múltiples claves (MK-NIAH): Se insertan múltiples "agujas" en el "pajar", y solo es necesario recuperar una de ellas. Las "agujas" adicionales son distractores difíciles. La configuración más desafiante es una versión en la que el "pajar" está lleno de agujas distractorias.

Figura 1: En las tareas de agregación, muestreamos palabras de un vocabulario siguiendo las dos distribuciones anteriores. La extracción de palabras comunes (CWE) muestrea de distribuciones uniformes. En la extracción de palabras frecuentes (FWE), la frecuencia de cada palabra está determinada por su rango en el vocabulario y el parámetro \alpha de la distribución Zeta.
Figura 1: En las tareas de agregación, muestreamos palabras de un vocabulario siguiendo las dos distribuciones anteriores. La extracción de palabras comunes (CWE) muestrea de distribuciones uniformes. En la extracción de palabras frecuentes (FWE), la frecuencia de cada palabra está determinada por su rango en el vocabulario y el parámetro α\alpha de la distribución Zeta.

- NIAH de múltiples valores (MV-NIAH): Se insertan múltiples "agujas" que comparten la misma clave en el "pajar". Es necesario recuperar todos los valores asociados con la misma clave.- NIAH de múltiples consultas (MQ-NIAH): Se insertan múltiples "agujas" en el "pajar". Es necesario recuperar todas las "agujas" con claves distintas. Esta es la misma configuración de tarea de recuerdo asociativo de múltiples consultas usada por Arora et al. (2024). Junto con MV-NIAH, estas dos tareas evalúan la capacidad de recuperación sin omitir ninguna información crítica.

3.2 Rastreo de múltiples saltos: Seguimiento de variables (VT)

La comprensión efectiva del discurso (van Dijk & Kintsch, 1983) depende del reconocimiento exitoso de entidades recién mencionadas y del establecimiento de la cadena de referencias que correfieren a la misma entidad (Karttunen, 1969) a lo largo del contexto largo. Desarrollamos una nueva tarea de seguimiento de variables para emular una tarea mínima de resolución de cadenas de correferencia (Ng, 2010). Esta tarea verifica el comportamiento de rastrear patrones de coocurrencia relevantes y establecer conexiones saltadas dentro de una entrada larga. Específicamente, una variable X1X1 se inicializa con un valor VV , seguida de una cadena lineal de declaraciones de vinculación de nombres de variables (p. ej., X2=X1X2 = X1 , X3=X2X3 = X2 , ...), que se insertan en diversas posiciones de la entrada. El objetivo es devolver todos los nombres de variables que apuntan al mismo valor VV . La complejidad de la tarea puede aumentarse agregando más saltos (es decir, el número de vinculaciones de nombres) o más cadenas, de forma similar a agregar distractores difíciles en MK- NIAH.

3.3 Agregación: Palabras comunes (CWE) y Extracción de palabras frecuentes (FWE)

En RULER, introducimos una nueva categoría como aproximación a las tareas de resumen, donde la información relevante constituye una porción mucho mayor del contexto y la salida objetivo depende de una agregación precisa de la entrada relevante. Concretamente, construimos una secuencia de entrada muestreando palabras de una lista de palabras (sintética) predefinida. En la tarea de extracción de palabras comunes (CWE), las palabras se muestrean de distribuciones uniformes discretas, con el número de palabras comunes fijo mientras que el número de palabras poco comunes aumenta con la longitud de la secuencia. En la tarea de extracción de palabras frecuentes (FWE), las palabras se muestrean de una distribución Zeta. La Figura 1 muestra una ilustración de la frecuencia de palabras en la entrada construida. Un modelo debe devolver las KK palabras más frecuentes en el contexto. En CWE, KK es igual al número de palabras comunes. En FWE, fijamos KK en 3, ya que aumentar KK conduce a un rendimiento deficiente incluso en tamaños de contexto pequeños para la mayoría de los modelos. La complejidad de la tarea puede ajustarse variando el número de palabras comunes o el parámetro de la distribución Zeta.4

3.4 Responder preguntas (QA)

La mayoría de los conjuntos de datos de QA existentes (Rajpurkar et al., 2018; Yang et al., 2018; Trivedi et al., 2022) están diseñados para responder preguntas con base en pasajes cortos. Estos conjuntos de datos pueden extenderse para simular una entrada de contexto largo agregando información distractora. En esta categoría de tareas, insertamos los párrafos dorados (es decir, los párrafos que contienen respuestas) en párrafos muestreados aleatoriamente del mismo conjunto de datos. Esta categoría es una adaptación del mundo real (Ivgi et al., 2023) de NIAH, donde la pregunta sirve como consulta, los párrafos dorados son las "agujas" y los párrafos distractores forman el "pajar".

4 Experimentos y resultados

Modelos y configuración de inferencia Seleccionamos 17 LLM de contexto largo, incluidos 15 modelos de código abierto y dos modelos de código cerrado (Gemini- 1.5- Pro y GPT- 4), que cubren diversos tamaños de modelo (7B a 8x22B con arquitectura MoE) y longitudes de contexto declaradas (32K a 1M). La información completa sobre estos modelos se incluye en el Apéndice A. Evaluamos todos los modelos usando vLLM (Kwon et al., 2023), un sistema de servicio de LLM con gestión eficiente de memoria de caché KV. Para todos los modelos, ejecutamos la inferencia en BFloat16 en 8 GPU NVIDIA A100 con decodificación voraz.

Configuraciones de las tareas Evaluamos todos los modelos en 13 tareas que abarcan diversas complejidades de las cuatro categorías de RULER. Las configuraciones de prueba se han seleccionado (mostradas en el Apéndice B con base en un estudio de correlación de tareas descrito en el Apéndice C). Seleccionamos estas tareas porque la mayoría de los modelos se desempeñan decentemente en un tamaño de contexto corto de 4K tokens. Nuestro objetivo principal es ver si los modelos pueden mantener ese buen rendimiento con el escalado de la longitud del contexto. Para cada tarea, evaluamos cada modelo con 500 ejemplos generados para cada longitud de la serie (4K, 8K, 16K, 32K, 64K, 128K), respetando la plantilla de chat necesaria de cada modelo. Para evitar que el modelo se niegue a responder una consulta o genere explicaciones, agregamos a la entrada de la tarea un prefijo de respuesta y verificamos la presencia de la salida objetivo con una precisión basada en el recuerdo.

Tamaño de contexto efectivo Observamos una gran degradación del rendimiento en todos los modelos a medida que aumentamos la longitud de entrada en RULER. Para determinar el tamaño de contexto máximo que un modelo puede manejar efectivamente, calificamos cada modelo con un umbral fijo; superarlo indica un rendimiento satisfactorio en la longitud de evaluación. Usamos el rendimiento del modelo Llama2- 7b en la longitud de contexto de 4K como umbral. En la Tabla 3 reportamos la longitud máxima que supera el umbral como la "longitud efectiva", junto con la "longitud declarada".

Criterios de clasificación de modelos Si bien la calificación basada en umbrales revela la discrepancia entre la longitud declarada y la efectiva, carece de detalles para comparaciones detalladas entre modelos. Por ello, usamos una puntuación promedio ponderada para agregar el rendimiento de los modelos en varios tamaños de contexto. Clasificamos los modelos bajo dos esquemas de ponderación: wAvg. (inc) y wAvg. (dec), donde el peso aumenta y disminuye linealmente con la longitud de la secuencia, respectivamente. Idealmente, el peso para cada longitud debería determinarse por la distribución de longitudes de uso del modelo; aquí elegimos los dos esquemas para simular los escenarios en los que las secuencias más largas (inc) o las más cortas (dec) dominan la distribución.

Resultados principales Incluimos los resultados de 17 LM de contexto largo en comparación con la línea base Llama2-7B en la Tabla 3. El rendimiento a una longitud determinada es el promedio de las 13 tareas de RULER. El modelo de código cerrado Gemini-1.5-Pro supera al resto de los modelos por un amplio margen, con una longitud efectiva mayor que la longitud máxima que hemos probado. Someter a prueba este modelo con una versión más difícil de RULER puede ser interesante para dar seguimiento en el futuro. Para el resto de los modelos, si bien alcanzan un rendimiento casi perfecto en la recuperación de passkey y en la tarea NIAH vanilla (mostrada en el Apéndice E), todos ellos exhiben una gran degradación en RULER a medida que aumenta la longitud de la secuencia y no logran mantener un rendimiento superior a la línea base Llama2-7B en la longitud que declaran. Los modelos de código abierto mejor clasificados (Llama3.1, Qwen2 y Command-R-plus) comparten configuraciones comunes, como tener mayores tamaños de modelo y usar frecuencias base más grandes en

ModelosLongitud declaradaLongitud efectiva4K8K16K32K64K128KProm.wProm. (inc)wProm. (dec)
Llama2 (7B)4K-85.6
Gemini-1.5-Pro1M>128K96.795.896.095.995.994.495.895.5(1.º)96.1(1.º)
GPT-4128K64K96.695.395.293.287.081.291.689.0(2.º)94.1(2.º)
Llama3.1 (70B)128K64K96.595.895.494.888.466.689.685.5(4.º)93.7(3.º)
Qwen2 (72B)128K32K96.996.194.994.179.853.785.979.6(9.º)92.3(4.º)
Contexto de solo lectura para comprender la fuente (no es texto fuente para traducir): 4 Experimentos y resultados Resultados principales Incluimos los resultados de 17 LM de contexto largo en comparación con la línea base Llama2-7B en la Tabla 3. El rendimiento a una determinada longitud es el promedio de las 13 tareas en RULER. El modelo de código cerrado Gemini-1.5-Pro supera al resto de los modelos por un amplio margen, con una longitud efectiva mayor que la longitud máxima que hemos probado. Someter a prueba este modelo con una versión más difícil de RULER puede ser interesante para continuar en Texto a traducir: Command-R-plus (104B)128K32K95.695.294.292.084.363.187.482.7(7.º)92.1(5.º)
GLM4 (9B)1M64K94.792.892.189.986.783.189.988.0(3.º)91.7(6.º)
Llama3.1 (8B)128K32K95.593.891.687.484.777.088.385.4(5.º)91.3(7.º)
GradientAI/Llama3 (70B)1M16K95.194.490.885.480.972.186.582.6(8.º)90.3(8.º)
Mixtral-8x22B (39B/141B)64K32K95.694.993.490.984.731.781.973.5(11.º)90.3(9.º)
Yi (34B)200K32K93.392,291,387,583,277,387,584,8 (6.º)90,1 (10.º)
Phi3-medium (14B)128K32K93,393,291,186,878,646,181,574,8 (10.º)88,3 (11.º)
Mixtral-v0.2 (7B)32K16K93,691,287,275,449,013,868,455,6 (13.º)81,2 (12.º)
LWM (7B)1M<4K82,378,473,769,168,165,072,869,9 (12.º)75,7 (13.º)
DBRX (36B/132B)32K8K95,193,883,663,12,40,056,338,0 (14.º)74,7 (14.º)
Together (7B)32K4K88,281,169,463,00,00.050,333,8 (15.º)66,7 (15.º)
LongChat (7B)32K<4K84,779,970,859,30.00.049,133,1 (16.º)65,2 (16.º)
LongAlpaca (13B)32K<4K60,657,056,643,60.00.036,324,7 (17.º)47,9 (17.º)
Tabla 3: Rendimiento en contexto largo (%)(\%) de modelos seleccionados evaluados a longitudes de 4K a 128K. Cada puntuación se calcula promediando la precisión de 13 tareas en RULER. El rendimiento que supera el rendimiento de Llama2-7B a 4K (85,6%)(85,6\%) está subrayado. La longitud de contexto efectiva es la longitud máxima que supera este umbral. La puntuación promedio ponderada (wAvg.) agrega el rendimiento en todos los tamaños de contexto, con los pesos aumentando (inc) o disminuyendo (dec) linealmente para simular la distribución de longitudes del uso en el mundo real. Colocamos el rango de cada modelo en el subíndice. Más detalles sobre los modelos seleccionados están en el Apéndice A.

RoPE (Xiong et al., 2023). Una ventana de contexto de entrenamiento grande no siempre es necesaria para un buen rendimiento en contexto largo: los modelos de código abierto mejor clasificados incluyen tanto escalado de contexto por fuerza bruta (Llama3.1 entrenado con una longitud de contexto de 128K) como extrapolación de longitud en tiempo de inferencia (Qwen2 entrenado con una longitud de contexto de 32K). Los modelos con menor rendimiento también incluyen aquellos entrenados con un tamaño de contexto mucho mayor (p. ej., LWM y GradientAI/Llama3, ambos con una longitud de contexto de 1M). Aunque LWM alcanza un rango superior al de Mistral-v0.2 cuando las secuencias más largas reciben mayor peso (wAvg. inc) y muestra menos degradación a medida que aumenta el tamaño del contexto, su rendimiento es peor que el de Llama2-7B incluso a 4K. Este resultado sugiere un compromiso en la evaluación entre el rendimiento absoluto en secuencias cortas y la degradación relativa con el escalado del tamaño del contexto. Proporcionamos más análisis sobre el tamaño del modelo y la longitud máxima de entrenamiento en la sección 6

5 Análisis de errores por tarea

Evaluamos Yi-34B-200K con longitudes de entrada incrementadas (hasta 256K) en tareas más complejas para comprender el efecto de las configuraciones de las tareas y los modos de fallo en RULER.

Falta de robustez a los tipos de "aguja". La Figura 2 (izquierda) muestra que, si bien Yi alcanza un rendimiento casi perfecto cuando se usa una aguja de par palabra-número en la recuperación de passkey estándar y en NIAH vanilla, el rendimiento se degrada cuando la aguja adopta otras formas. Observamos la mayor degradación en la tarea de recuperación de UUID, para la cual Yi a veces no logra devolver los 32 dígitos completos dado un contexto de entrada largo (>128K>128\mathrm{K}).

Fallo al ignorar los distractores. La Figura 2 (centro-izquierda) muestra que aumentar el número de agujas distractoras reduce constantemente el rendimiento, con Yi cayendo ∼40\sim 40 puntos a 256K en la versión extrema, donde el contexto está lleno de agujas irrelevantes (#K=FULL). El análisis de errores revela que Yi falla al ignorar eficazmente los distractores difíciles dado un contexto de entrada largo, por lo que recupera incorrectamente valores asociados con las claves distractoras. En la versión extrema, Yi a menudo devuelve valores de la vecindad del objetivo, lo que sugiere una coincidencia gruesa del rango pero la falta de precisión para localizar la clave cuando el objetivo está en la distribución de los ruidos.

Devolver información incompleta. En consonancia con trabajos anteriores (Liu et al., 2024a; Reid et al., 2024), notamos una degradación significativa en el rendimiento cuando el modelo necesitarecuperar múltiples elementos de una entrada larga. Por ejemplo, aumentar el número de consultas de 1 a 8 reduce el rendimiento en ∼15\sim 15 puntos (Figura 2 derecha). Cuando el modelo necesita recuperar múltiples valores asociados con la misma clave (Figura 2 centro-derecha), Yi a menudo produce respuestas duplicadas sin devolver el conjunto completo de valores, lo que implica asociaciones desiguales entre la clave y cada uno de sus valores.

Tendencia a copiar del contexto. Notamos que Yi tiene una fuerte tendencia a copiar textualmente del contexto cuando se escala la longitud de la entrada. Esta tendencia es más notable en el seguimiento de variables (VT) y la extracción de palabras comunes (CWE), donde incluimos una demostración en contexto al inicio de la secuencia. Más del 80%80\% de la salida de Yi en la tarea CWE a 128K es simplemente una cadena copiada del ejemplo one-shot, mientras que la copia es inexistente para secuencias cortas. Este comportamiento de copia también está presente en el modelo LWM y LongAlpaca; sin embargo, es menos prevalente en otros modelos, como Mixtral. Este hallazgo refuerza aún más la necesidad de probar comportamientos distintos a la recuperación dada una entrada de contexto larga.

Seguimiento poco fiable dentro del contexto. Para la tarea de seguimiento de variables, tanto añadir más cadenas como más saltos contribuyen a una gran degradación en el rendimiento de Yi. Yi se degrada consistentemente en la configuración de más saltos a medida que aumentamos el tamaño del contexto (Figura 3 izquierda), mientras que la degradación en la configuración de más cadenas es más significativa para longitudes mayores a 128K (Figura 3 centro-izquierda). Además del problema de copia mencionado anteriormente, Yi comete errores debido a devolver incorrectamente cadenas vacías o variables de otras cadenas, lo que implica una falta de capacidad para rastrear de manera fiable la misma entidad dentro de un contexto largo. Estos errores también se observan con frecuencia en modelos que no exhiben el comportamiento de copia.

Figura 2: Rendimiento de Yi-34B en las tareas de aguja en un pajar (NIAH). Por defecto, utilizamos palabra-número como par clave-valor y ensayos de Paul Graham como pajar. Yi no es robusto al cambio de tipos de aguja y se degrada con la creciente cantidad de distractores. (W: palabras; N: números; U: UUID; Full: pajar completo).
Figura 2: Rendimiento de Yi-34B en las tareas de aguja en un pajar (NIAH). Por defecto, utilizamos palabra-número como par clave-valor y ensayos de Paul Graham como pajar. Yi no es robusto al cambio de tipos de aguja y se degrada con la creciente cantidad de distractores. (W: palabras; N: números; U: UUID; Full: pajar completo).
Figura 3: Rendimiento de Yi-34B en tareas de seguimiento de variables (VT), extracción de palabras frecuentes (FWE) y QA a través de diferentes niveles de complejidad de tareas. Yi muestra una gran degradación y tendencias distintas con el tamaño de contexto escalado en estas tareas que no son de recuperación, lo que demuestra la necesidad de evaluar el comportamiento más allá de la recuperación a partir del contexto.
Figura 3: Rendimiento de Yi-34B en tareas de seguimiento de variables (VT), extracción de palabras frecuentes (FWE) y QA a través de diferentes niveles de complejidad de tareas. Yi muestra una gran degradación y tendencias distintas con el tamaño de contexto escalado en estas tareas que no son de recuperación, lo que demuestra la necesidad de evaluar el comportamiento más allá de la recuperación a partir del contexto.

Figura 4: (Izquierda y centro-izquierda): Comparación de la serie LargeWorldModel (LWM) entrenada hasta varios tamaños de contexto con un tamaño de parámetros fijo de 7B. (Centro-derecha): Comparación de los modelos de la suite Yi con diferentes tamaños de parámetros con una longitud de contexto de entrenamiento controlada de 200K. (Derecha): El rendimiento de arquitecturas no Transformer queda rezagado respecto a la línea base Transformer Llama2-7B por un amplio margen. La extrapolación de longitud se presenta con líneas discontinuas.

Fallo en agregar con precisión. Observamos dos modos comunes de fallo en las tareas de agregación: uso incorrecto del conocimiento paramétrico y agregación inexacta. Los modelos que no exhiben el problema de copia en la tarea CWE a veces ignoran la información contextual y, en su lugar, utilizan conocimiento paramétrico para responder a la consulta, especialmente en tamaños de contexto grandes. Por ejemplo, Mistral (7b-instruct-v0.2) devuelve palabras de alta frecuencia, como "the", "an", "a", como salida sin contar las palabras en el contexto. Para la tarea FWE, que muestra menos el problema de copia, Yi falla en producir correctamente las palabras más frecuentes a medida que disminuimos el α\alpha en la distribución Zeta (Figura 3 centro-derecha). Disminuir α\alpha conduce a una menor diferencia en frecuencia entre las palabras, lo que aumenta la dificultad para distinguir las palabras más frecuentes.

Alucinación frecuente en QA de contexto largo. Para las tareas de QA, el rendimiento de Yi se aproxima a su línea base sin contexto a medida que extendemos el contexto con párrafos distractores (Figura 3 derecha). La degradación proviene principalmente de la alucinación y de una menor dependencia de la información contextual. Notamos que, en tamaños de contexto grandes, las predicciones del modelo a veces son irrelevantes para la pregunta y pueden coincidir con las respuestas de su línea base sin contexto. El peor rendimiento general en las tareas de QA confirma que la coincidencia difusa entre una consulta y un párrafo relevante en contexto largo es una configuración más desafiante que las pruebas simplistas de NIAH, donde las claves pueden localizarse exactamente en el contexto.

6 Análisis del modelo

Efecto de la longitud del contexto de entrenamiento. ¿Los modelos entrenados con tamaños de contexto mayores rinden mejor en RULER? Evaluamos la suite de LargeWorldModels (Liu et al. [2024a] LWM) de igual tamaño de parámetros y entrenados hasta varias longitudes de contexto. La Figura 4 (izquierda y centro-izquierda) muestra que tamaños de contexto mayores en general conducen a un mejor rendimiento, pero el ranking puede ser inconsistente para secuencias largas. Por ejemplo, el modelo entrenado con un tamaño de contexto de 1M (LWM-1M) es peor que el de 512K a una longitud de 256K, probablemente debido a un entrenamiento insuficiente para ajustarse a la nueva frecuencia base en RoPE. Además, observamos caídas abruptas en el rendimiento cuando los modelos necesitan extrapolar a longitudes no vistas (p. ej., LMW-128K dada una entrada de 256K), y una degradación casi lineal con la longitud de entrada en escala logarítmica dentro del tamaño máximo de contexto de entrenamiento.

Efecto del tamaño del modelo Los mejores modelos en nuestros resultados principales son mucho más grandes que otros modelos. Para ablacionar el efecto del tamaño del modelo, evaluamos Yi-34B-200k, Yi-9B-200k y Yi-6B-200k, todos entrenados hasta la misma longitud de contexto usando la misma mezcla de datos. La Figura 4 (centro-derecha) muestra que el modelo de 34B es significativamente mejor que el modelo de 6B en RULER tanto en rendimiento a una longitud de 4K como en la degradación relativa, lo que sugiere el beneficio de escalar los tamaños de modelo para un mejor modelado de contexto largo.

Efecto de la arquitectura Evaluamos la longitud de contexto efectiva para dos modelos con arquitecturas no Transformer: RWKV-v5 (Peng et al. [2023] y Mamba-2.8B-slimpj (Gu &Dao|2023). Encontramos que ambos modelos demuestran una degradación significativa al extender el tamaño de contexto a 8K, y ambos quedan por debajo de la línea base Transformer Llama2-7B por amplios márgenes hasta la longitud de 4K, más allá de la cual Llama2 muestra un pobre rendimiento de extrapolación de longitud (Figura 4 derecha).

7 Conclusión

Presentamos RULER, un benchmark sintético para evaluar modelos de lenguaje de contexto largo. RULER contiene diversas categorías de tareas: recuperación, rastreo multi-salto, agregación y respuesta a preguntas, lo que proporciona una evaluación flexible y completa de las capacidades de contexto largo de los LLM. Evaluamos 17 LM de contexto largo usando RULER con tamaños de contexto que van desde 4K hasta 128K. A pesar de lograr resultados perfectos en la prueba ampliamente utilizada de aguja en un pajar, casi todos los modelos fallan en mantener su rendimiento en otras tareas de RULER a medida que aumentamos la longitud de entrada. Observamos modos comunes de fallo en tamaños de contexto grandes, incluidos el fallo en ignorar distractores y la utilización ineficaz del contexto largo (p. ej., simplemente copiar del contexto o usar conocimiento paramétrico en su lugar). Mostramos que RULER es desafiante incluso para los modelos de código abierto mejor clasificados a medida que aumentamos la complejidad de las tareas. Nuestro análisis revela además el gran potencial de mejora en RULER y el beneficio de escalar los tamaños de modelo para lograr mejores capacidades de contexto largo.

8 Limitaciones

A pesar de cubrir más categorías de tareas que los benchmarks orientados a la recuperación, RULER está limitado de múltiples maneras, que describimos en detalle a continuación.

Falta de control de posición. El RULER actual reporta una única métrica numérica para cada longitud de entrada sin proporcionar el rendimiento a nivel de profundidad. El rendimiento a nivel de profundidad fue evaluado por la prueba NIAH (Kamradi|2023) y trabajos recientes como LV-Eval (Yuan et al. 2024) y puede ser efectivo para revelar el fenómeno de lost-in-the-middle (Liu et al. 2024d). Somos conscientes de este problema y planeamos admitir el control de posición de la información clave en nuestra base de código.

Falta de correlación con tareas realistas de contexto largo. Si bien tareas como el seguimiento de variables y la extracción de palabras frecuentes se propusieron para servir como proxies de tareas realistas de lenguaje natural de contexto largo, la falta de tareas realistas de contexto largo fáciles de evaluar nos impide verificar la validez de estos proxies. Debido a esta limitación, enfatizamos que RULER puede usarse como comprobaciones de comportamiento convenientes de modelos de lenguaje de contexto largo; sin embargo, no debería preferirse sobre configuraciones más realistas, como NoCHA (Karpinska et al. 2024), que también enfatiza otras capacidades como el razonamiento y el seguimiento de instrucciones.

Falta de evaluación en contexto corto. En la suite de tareas actual de RULER, incluimos tareas en las que la mayoría de los modelos se desempeñan razonablemente bien con un tamaño de contexto de 4k, y apuntamos a observar la degradación del rendimiento con el escalado del tamaño de contexto. Esto no debe interpretarse erróneamente como capacidades perfectas de LM con un tamaño de contexto de 4k. De hecho, trabajos recientes, como FlenQA (Levy et al. 2024), han demostrado un rendimiento decreciente al aumentar la longitud de entrada de su tarea a solo unos pocos miles de tokens. Si bien aumentar la complejidad de la tarea en RULER conduce a un rendimiento mucho peor en tamaños de contexto más cortos, no incluimos estos resultados en este artículo.

Falta de verificación de la robustez de los prompts. Los modelos de lenguaje pueden ser sensibles al formato del prompt; sin embargo, no extendimos un estudio exhaustivo sobre la robustez de los prompts más allá de pruebas preliminares en la etapa temprana de este trabajo. Tampoco experimentamos intensamente con algunos hiperparámetros fijos en las tareas existentes, como la longitud de los nombres de variables en el seguimiento de variables y el tamaño del vocabulario sintético en la extracción de palabras comunes y la extracción de palabras frecuentes.

Referencias

Marah Abdin, Sam Ade Jacobs, Ammar Ahmad Awan, Jyoti Aneja, Ahmed Awadallah, Hany Awadalla, Nguyen Bach, Amit Bahree, Arash Bakhtiari, Harkirat Behl, et al. Phi-3 technical report: A highly capable language model locally on your phone. arXiv preprint arXiv:2404.14219, 2024.

Rishabh Agarwal, Avi Singh, Lei M Zhang, Bernd Bohnet, Stephanie Chan, Ankesh Anand, Zaheer Abbas, Azade Nova, John D Co-Reyes, Eric Chu, et al. Many-shot in-context learning. arXiv preprint arXiv:2404.11018, 2024.

AI21. Presentamos jamba: el innovador modelo ssm-transformer de AI21, 2024. URL https://www.ai21.com/blog/announcing-jamba

Chenxin An, Shansan Gong, Ming Zhong, Mukai Li, Jun Zhang, Lingpeng Kong y Xipeng Qiu. L-eval: Instaurando una evaluación estandarizada para modelos de lenguaje de contexto largo. En ICLR, 2024.

Anthropic. Prompts de contexto largo para Claude 2.1. Blog, 2023. URL https://www.anthropic.com/index/claude-2-1-prompting

Anthropic. Presentamos la próxima generación de claude, 2024. URL https://www.anthropic.com/news/claude-3-family

Simran Arora, Sabri Eyuboglu, Aman Timalsina, Isys Johnson, Michael Poli, James Zou, Atri Rudra y Christopher Ré. Zoology: Medición y mejora del recall en modelos de lenguaje eficientes. En ICLR, 2024.

Yushi Bai et al. LongBench: Un benchmark bilingüe y multitarea para la comprensión de contexto largo. arXiv:2308.14508, 2023.

Maximilian Beck, Korbinian Pöppel, Markus Spanning, Andreas Auer, Oleksandra Prudnikova, Michael Kopp, Günter Klambauer, Johannes Brandstetter y Sepp Hochreiter. xlstm: Memoria a largo plazo extendida. Preprint de arXiv arXiv:2405.04517, 2024.

Amanda Bertsch, Maor Ivgi, Uri Alon, Jonathan Berant, Matthew R Gormley y Graham Neubig. In-context learning with long-context models: An in-depth exploration. arXiv preprint arXiv:2405.00200, 2024.

Aydar Bulatov, Yuri Kuratov y Mikhail S Burtsev. Scaling Transformer to 1M tokens and beyond with RMT. arXiv:2304.11062, 2023.

David Castillo, Joseph Davidson, Finlay Gray, José Solorzano y Marek Rosa. Introducing GoodAI LTM benchmark. Blog, 2024. URL https://www.goodai.com/introducing-goodai-ltm-benchmark/

Shouyuan Chen, Sherman Wong, Liangjian Chen y Yuandong Tian. Extending context window of large language models via positional interpolation. En ICLR, 2023.

Yukang Chen, Shengju Qian, Haotian Tang, Xin Lai, Zhijian Liu, Song Han y Jiaya Jia. LongLoRA: Efficient fine-tuning of long-context large language models. En ICLR, 2024.

Rewon Child, Scott Gray, Alec Radford y Ilya Sutskever. Generating long sequences with sparse Transformers. arXiv:1904.10509, 2019.

Cohere. Command r, 2024. URL https://docs.cohere.com/docs/command-r-plus#model-details

Tri Dao. FlashAttention-2: Faster attention with better parallelism and work partitioning. arxiv:2307.08691, 2023.

Tri Dao, Daniel Y. Fu, Stefano Ermon, Atri Rudra y Christopher Ré. FlashAttention: Fast and memory-efficient exact attention with IO-awareness. En NeurIPS, 2022.

.

Databricks. Introducing dbrx: A new state-of-the-art open llm, 2024. URL https://www databricks.com/blog/introducing-dbrx-new-state-art-open-llm

Jiayu Ding et al. LongNet: Scaling Transformers to 1,000,000,000 tokens. arXiv:2307.02486, 2023.

Yiran Ding et al. LongRoPE: Extending LLM context window beyond 2 million tokens. arXiv:2402.13753, 2024.

Zican Dong, Tianyi Tang, Junyi Li, Wayne Xin Zhao y Ji-Rong Wen. Bamboo: A comprehensive benchmark for evaluating long text modeling capacities of large language models. arXiv:2309.13345, 2023.

Daniel Y. Fu, Tri Dao, Khaled K. Saab, Armin W. Thomas, Atri Rudra y Christopher Ré. Hungry Hungry Hippos: Towards language modeling with state space models. En ICLR, 2023a.

Daniel Y. Fu et al. Simple hardware-efficient long convolutions for sequence modeling. ICML, 2023b.

Yao Fu et al. Data engineering for scaling language models to 128k context. arXiv:2402.10171, 2024.

Team GLM, Aohan Zeng, Bin Xu, Bowen Wang, Chenhui Zhang, Da Yin, Diego Rojas, Guanyu Feng, Hanlin Zhao, Hanyu Lai, Hao Yu, Hongning Wang, Jiadai Sun, Jiajie Zhang, Jiale Cheng, Jiayi Gui, Jie Tang, Jing Zhang, Juanzi Li, Lei Zhao, Lindong Wu, Lucen Zhong, Mingdao Liu, Minlie Huang, Peng Zhang, Qinkai Zheng, Rui Lu, Shuaiqi Duan, Shudan Zhang, Shulin Cao, Shuxun Yang, Weng Lam Tam, Wenyi Zhao, Xiao Liu, Xiao Xia, Xiaohan Zhang, Xiaotao Gu, Xin Lv, Xinghan Liu, Xinyi Liu, Xinyue Yang, Xixuan Song, Xunkai Zhang, Yifan An, Yifan Xu, Yilin Niu, Yuantao Yang, Yueyan Li, Yushi Bai, Yuxiao Dong, Zehan Qi, Zhaoyu Wang, Zhen Yang, Zhengxiao Du, Zhenyu Hou y Zihan Wang. Chatglm: A family of large language models from glm-130b to glm-4 all tools, 2024.

Omer Goldman, Alon Jacovi, Aviv Slobodkin, Aviya Maimon, Ido Dagan y Reut Tsarfaty. Is it really long context if all you need is retrieval? towards genuinely difficult long context nlp. arXiv preprint arXiv:2407.00402, 2024.

Alex Graves, Greg Wayne e Ivo Danihelka. Neural Turing machines. arXiv:1410.5401, 2014.

Albert Gu y Tri Dao. Mamba: Linear-time sequence modeling with selective state spaces. arXiv:2312.00752, 2023.

Albert Gu, Karan Goel y Christopher Re. Efficiently modeling long sequences with structured state spaces. En ICLR, 2022.

Chi Han, Qifan Wang, Wenhan Xiong, Yu Chen, Heng Ji y Sinong Wang. Lm-infinite: Simple on-the-fly length generalization for large language models. arXiv:2308.16137, 2023.

John J. Hopfield. Neural networks and physical systems with emergent collective computational abilities. Proc of the National Academy of Sciences of the United States of America, 79 8: 2554-8, 1982.

Maor Ivgi, Uri Shaham y Jonathan Berant. Efficient long-text understanding with short-text models. Transactions of the ACL, 11:284-299, 2023.

Sam Ade Jacobs et al. DeepSpeed Ulysses: System optimizations for enabling training of extreme long sequence Transformer models. arXiv:2309.14509, 2023.

Sebastian Jaszczur et al. Sparse is enough in scaling transformers. En NeurIPS, 2021.

Albert Q Jiang et al. Mixtral of experts. arXiv:2401.04088, 2024.

Huiqiang Jiang et al. LongLlmLingua: Accelerating and enhancing LLMs in long context scenarios via prompt compression. arXiv:2310.06839, 2023.

Gregory Kamradt. Needle In A Haystack - pressure testing LLMs. Github, 2023. URL https://github.com/gkamradt/LLMTest.NeedleInAHaystack/tree/main

Marzena Karpinska, Katherine Thai, Kyle Lo, Tanya Goyal y Mohit Iyyer. One thousand and one pairs: A" novel" challenge for long-context language models. arXiv preprint arXiv:2406.16264, 2024.

Lauri Karttunen. Discourse referents. En COLING, 1969.

George Kingsley Zipf. Selected studies of the principle of relative frequency in language. Harvard university press, 1932.

Yuri Kuratov, Aydar Bulatov, Petr Anokhin, Ivan Rodkin, Dmitry Sorokin, Artyom Sorokin y Mikhail Burtsev. Babilong: Testing the limits of llms with long context reasoning-in-a-haystack. arXiv preprint arXiv:2406.10149, 2024.

Woosuk Kwon et al. Efficient memory management for large language model serving with paged attention. En Proc. of the ACM SIGOPS 29th Symposium on Operating Systems Principles, 2023.

Jinhyuk Lee, Anthony Chen, Zhuyun Dai, Dheeru Dua, Devendra Singh Sachan, Michael Boratko, Yi Luan, Sébastien MR Arnold, Vincent Perot, Siddharth Dalmia, et al. Can long-context language models subsume retrieval, rag, sql, and more? arXiv preprint arXiv:2406.13121, 2024.

Mosh Levy, Alon Jacoby y Yoav Goldberg. Same task, more tokens: the impact of input length on the reasoning performance of large language models. arXiv preprint arXiv:2402.14848, 2024.

Dacheng Li, Rulin Shao, et al. How long can open-source LLMs truly promise on context length?, 2023a. URL https://1msys.org/blog/2023-06-29-longchat

Jiaqi Li, Mengmeng Wang, Zilong Zheng y Muhan Zhang. Loogle: Can long-context language models understand long contexts? arXiv:2311.04939, 2023b.

Hao Liu, Matei Zaharia y Pieter Abbeel. Ring attention with blockwise Transformers for near-infinite context. En ICLR, 2023.

Hao Liu, Wilson Yan, Matei Zaharia y Pieter Abbeel. World model on million-length video and language with Ring Attention. arxiv:2402.08268, 2024a.

Jiaheng Liu et al. E2-LLM: Efficient and extreme length extension of large language models. arXiv:2401.06951, 2024b.

Jiawei Liu, Jia Le Tian, Vijay Daita, Yuxiang Wei, Yifeng Ding, Yuhan Katherine Wang, Jun Yang y Lingming Zhang. Repoqa: Evaluating long context code understanding. arXiv preprint arXiv:2406.06025, 2024c.

Nelson F Liu, Kevin Lin, John Hewitt, Ashwin Paranjape, Michele Bevilacqua, Fabio Petroni y Percy Liang. Lost in the middle: How language models use long contexts. Transactions of the ACL, 12:157-173, 2024d.

Pedro Henrique Martins, Zita Marinho y Andre Martins. ∞-former: Infinite memory Transformer. En Proc. of the 60th Annual Meeting of the ACL (Volume 1: Long Papers), 2022.

Meta.AI. Llama 3 model card. 2024a. URL https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md

Meta.AI. Llama 3.1 model card. 2024b. URL https://github.com/meta-llama/llama-models/blob/main/models/llama3.1/MODEL_CARD.md

Mistral.AI. La plateforme, 2023. URL https://mistral.ai/news/la-plateforme/Amirkeivan Mohtashami y Martin Jaggi. Landmark attention: Random-access infinite context length for Transformers. En Workshop on Efficient Systems for Foundation Models @ ICML, 2023.

Vincent Ng. Supervised noun phrase coreference research: The first fifteen years. En Proc. of the 48th Annual Meeting of the ACL, 2010.

Catherine Olsson et al. Aprendizaje en contexto y cabezas de inducción. Transformer Circuits Thread, 2022. https://transformer-circuits.pub/2022/in-context-learning-and-induction-heads/index.html.

OpenAI: Josh Achiam et al. Informe técnico de GPT-4. arXiv:2303.08774, 2023.

Bo Peng et al. RWKV: Reinventando las RNN para la era del transformer. En EMNLP, 2023.

Bowen Peng, Jeffrey Quesnelle, Honglu Fan y Enrico Shippole. YaRN: Extensión eficiente de la ventana de contexto de modelos de lenguaje grandes. En ICLR, 2024.

Michael Poli, Stefano Massaroli, Eric Nguyen, Daniel Y Fu, Tri Dao, Stephen Baccus, Yoshua Bengio, Stefano Ermon y Christopher Ré. Jerarquía Hyena: Hacia modelos de lenguaje convolucionales más grandes. En ICML, 2023.

Ofir Press, Noah Smith y Mike Lewis. Entrenar corto, probar largo: La atención con sesgos lineales permite la extrapolación de la longitud de entrada. En ICLR, 2022.

Pranav Rajpurkar, Robin Jia y Percy Liang. Sabe lo que no sabes: Preguntas sin respuesta para SQuAD. En Proc. de la 56.ª Reunión Anual de la ACL (Volumen 2: Artículos cortos), 2018.

Machel Reid et al. Gemini 1.5: Desbloqueando la comprensión multimodal a través de millones de tokens de contexto. arXiv:2403.05530, 2024.

Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin y Sameer Singh. Más allá de la precisión: Pruebas de comportamiento de modelos NLP con CheckList. En Proc. de la 58.ª Reunión Anual de la ACL, 2020.

Uri Shaham, Maor Ivgi, Avia Efrat, Jonathan Berant y Omer Levy. ZeroSCROLLS: Un benchmark de cero disparos para la comprensión de textos largos. En EMNLP, 2023.

Jianlin Su, Yu Lu, Shengfeng Pan, Ahmed Murtadha, Bo Wen y Yunfeng Liu. RoFormer: Transformer mejorado con incrustación de posición rotatoria. arXiv:2104.09864, 2023.

Simeng Sun, Katherine Thai y Mohit Iyyer. ChapterBreak: Un conjunto de datos de desafío para modelos de lenguaje de largo alcance. En Proc. de la Conferencia 2022 del Capítulo Norteamericano de la ACL: Tecnologías del Lenguaje Humano, 2022.

Yutao Sun, Li Dong, Shaohan Huang, Shuming Ma, Yuqing Xia, Jilong Xue, Jianyong Wang y Furu Wei. Red retentiva: Un sucesor del Transformer para modelos de lenguaje grandes. arXiv:2307.08621, 2023a.

Yutao Sun, Li Dong, Barun Patra, Shuming Ma, Shaohan Huang, Alon Benhaim, Vishrav Chaudhary, Xia Song y Furu Wei. Un Transformer con extrapolación de longitud. En Proc. de la 61.ª Reunión Anual de la ACL (Volumen 1: Artículos largos), 2023b.

Yutao Sun, Li Dong, Yi Zhu, Shaohan Huang, Wenhui Wang, Shuming Ma, Quanlu Zhang, Jianyong Wang y Furu Wei. Solo almacenas en caché una vez: Arquitecturas decodificador-decodificador para modelos de lenguaje. Preimpresión de arXiv arXiv:2405.05254, 2024.

Garrett Tanzer, Mirac Suzgun, Eline Visser, Dan Jurafsky y Luke Melas-Kyriazi. Un benchmark para aprender a traducir un nuevo idioma a partir de un libro de gramática. En ICLR, 2024.

Together.AI. Preparándose para la era del contexto de 32k: Aprendizajes y exploraciones tempranas, 2023a. URL https://www.together.ai/blog/llama-2-7b-32k

Together.AI. Llama-2-7b-32k-instruct — y ajuste fino para modelos llama-2 con la API de together, 2023b. URL https://www.together.ai/blog/llama-2-7b-32k-instruct

Hugo Touvron et al. Llama 2: Modelos base abiertos y modelos de chat ajustados. arXiv:2307.09288, 2023.

Harsh Trivedi, Niranjan Balasubramanian, Tushar Khot y Ashish Sabharwal. Musique: Preguntas de múltiples saltos mediante composición de preguntas de un solo salto. Transactions of the ACL, 10: 539-554, 2022.

Szymon Tworkowski et al. Focused Transformer: Entrenamiento contrastivo para el escalado de contexto. NeurIPS, 36, 2024.

Teun A. van Dijk y Walter Kintsch. Estrategias de comprensión del discurso. En Academic Press, 1983.

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser e Illia Polosukhin. La atención es todo lo que necesitas. En NeurIPS, 2017.

Weizhi Wang, Li Dong, Hao Cheng, Xiaodong Liu, Xifeng Yan, Jianfeng Gao y Furu Wei. Aumentando modelos de lenguaje con memoria a largo plazo. NeurIPS, 36, 2024.

Thomas Wolf et al. Transformers de Huggingface: Procesamiento de lenguaje natural de vanguardia. arXiv:1910.03771, 2019.

Qingyang Wu, Zhenzhong Lan, Kun Qian, Jing Gu, Alborz Geramifard y Zhou Yu. Memformer: Un Transformer aumentado con memoria para el modelado de secuencias. En Findings of the ACL: AACL-IJCNLP, 2022.

X.AI. Anunciando grok-1.5, 2024. URL https://x.ai/blog/grok-1.5

Chaojun Xiao et al. InfLLM: Desvelando la capacidad intrínseca de los LLM para comprender secuencias extremadamente largas con memoria sin entrenamiento. arXiv:2402.04617, 2024a.

Guangxuan Xiao, Yuandong Tian, Beidi Chen, Song Han y Mike Lewis. Modelos de lenguaje de transmisión eficientes con sumideros de atención. En ICLR, 2024b.

Wenhan Xiong et al. Escalado efectivo de contexto largo de modelos fundacionales. arXiv:2309.16039, 2023.

Peng Xu, Wei Ping, Xianchao Wu, Lawrence McAfee, Chen Zhu, Zihan Liu, Sandeep Subramanian, Evelina Bakhturina, Mohammad Shoeybi y Bryan Catanzaro. La recuperación se encuentra con los modelos de lenguaje grandes de contexto largo. En ICLR, 2024a.

Xiaoyue Xu, Qinyuan Ye y Xiang Ren. Poniendo a prueba modelos de lenguaje de contexto largo con ICL de por vida y pajar de tareas. Preimpresión de arXiv arXiv:2407.16695, 2024b.

An Yang, Baosong Yang, Binyuan Hui, Bo Zheng, Bowen Yu, Chang Zhou, Chengpeng Li, Chengyuan Li, Dayiheng Liu, Fei Huang, et al. Informe técnico de Qwen2. Preimpresión de arXiv arXiv:2407.10671, 2024.

Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William Cohen, Ruslan Salakhutdinov y Christopher D. Manning. HotpotQA: Un conjunto de datos para responder preguntas de múltiples saltos diverso y explicable. En EMNLP, 2018.

Alex Young et al. Yi: Modelos fundacionales abiertos por 01.AI. arXiv:2403.04652, 2024.

Tao Yuan, Xuefei Ning, Dong Zhou, Zhijie Yang, Shiyao Li, Minghui Zhuang, Zheyue Tan, Zhuyu Yao, Dahua Lin, Boxun Li, et al. Lv-eval: Un benchmark equilibrado de contexto largo con 5 niveles de longitud de hasta 256k. Preimpresión de arXiv arXiv:2402.05136, 2024.

Peitian Zhang, Zheng Liu, Shitao Xiao, Ninglu Shao, Qiwei Ye y Zhicheng Dou. Elevándose de 4k a 400k: Extendiendo el contexto de los LLM con baliza de activación. arXiv:2401.03462, 2024a.

Xinrong Zhang, Yingfa Chen, Shengding Hu, Zihang Xu, Junhao Chen, Moo Khai Hao, Xu Han, Zhen Leng Thai, Shuo Wang, Zhiyuan Liu y Maosong Sun. obench: Extendiendo la evaluación de contexto largo más allá de 100k tokens. arXiv:2402.13718, 2024b.

Dawei Zhu, Nan Yang, Liang Wang, Yifan Song, Wenhao Wu, Furu Wei y Sujian Li. PoSE: Efficient context window extension of LLMs via positional skip-wise training. En ICLR, 2024.

A Modelos

Seleccionamos en total 37 modelos para evaluación y análisis. Nuestros resultados en el texto principal solo incluyen modelos alineados (GPT-4, Gemini-1.5 y 15 modelos de código abierto). Además de los modelos alineados, también evaluamos 7 modelos base de código abierto usando RULER. Usamos el rendimiento de Llama2-7b (base) y Llama2-7b (chat) con una longitud de contexto de 4K como umbral para determinar el tamaño de contexto efectivo. En nuestra sección de análisis, evaluamos en total 11 modelos, incluyendo las series de modelos Yi y LWM, así como modelos de arquitecturas novedosas, incluyendo Mamba y RWKV.

ModeloAlineadoTamañoLongitud de contextoHuggingface [Wolf et al., 2019] / API
GPT-4OpenAI: Josh Achiam et al., 2023✓-128K
Gemini-1.5Kred et al., 2024✓-1M
Llama3.1Meta: AI, 2024b✓70B128K
Llama3.1Meta: AI, 2024b✓8B128K
Command-K-plus: Cohen, 2024✓✓104B128K
Qwen2: Yang et al., 2024✓✓72B128K
Yi: Young et al., 2024✓✓34B200K
Mixtral-8x22B: Huang et al., 2024✓✓39B/141B32K
Mixtral-v0.2: Mixtral-AI, 2023✓✓7B32K
GLM4: GLM et al., 2024✓✓9B1M
GradieHAT: Llama3: Meta, AI, 2024a✓✓70B1M
Phi3-medium: Abdin et al., 2024✓✓14B128K
LWM: Liu et al., 2024a✓✓7B1M
DBRX: Tabatricks, 2024✓✓36B/132B1M
Together: Together, AI, 2023b✓✓7B32K
LongChat: Li et al., 2023a✓✓7B32K
LongAlpaca: Chen et al., 2024✓✓13B32K
Mixtral-base: Jiang et al., 2024✓✓8x7B32K
Mixtral-base: Mixtral-AI, 2023✓✓7B32K
LWM-base: Liu et al., 2024a✓✓7B1M
LongLoRA-base: Chen et al., 2024✓✓7B100K
Yarn-base: Peng et al., 2024✓✓7B128K
Together-base: Together, AI, 2023a✓✓7B32K
Jamba-base: AI, 2024✓✓52B256K
Llama2 (chat): Touvron et al., 2023✓✓7B4K
Llama2 (base): Touvron et al., 2023✓✓7B4K
Serie Yi: Young et al., 2024✓✓6B, 9B200K
Serie LWM: Liu et al., 2024a✓✓7B128K, 256K, 512K
Serie LWM-base: Liu et al., 2024a✓✓7B32K, 128K, 256K, 512K
Mamba: Gu & Dai, 2023✓✓2.8B2K
RWKV: Peng et al., 2023✓✓7B4K

Tabla 4: Información de los modelos evaluados y analizados en RULER.

B Configuraciones de las tareas

RULER está diseñado para ser configurable, de modo que permita diversas longitudes de secuencia y complejidades de tarea. Para cada tarea, surge un número combinatoriamente grande de configuraciones que se pueden adoptar. En el texto principal, evaluamos los modelos con 13 tareas representativas que abarcan las cuatro categorías de RULER. Nuestro proceso de selección de tareas se describe en la siguiente sección del apéndice.

- Recuperación: En S-NIAH, incluimos la recuperación de passkey (Mohtashami & Jaggi, 2023) y el NIAH vanilla (Kamradt, 2023), ambos usan palabra-número como clave-valor y difieren solo en el texto de relleno de fondo. Además, cambiamos el tipo de valor a UUID, con el propósito de probar la robustez del modelo al recuperar cadenas largas del contexto. Para MK-NIAH, añadimos tres agujas distractoras al texto de relleno. También incluimos configuraciones existentes de trabajos previos: recuperación de líneas (Li et al., 2023a) y recuperación clave-valor (Liu et al., 2024d) con el texto de relleno llenado enteramente con agujas distractoras. Para MV-NIAH y MQ-NIAH, probamos 4 valores y consultas respectivamente.

- Rastreo multi-salto: Para VT, insertamos 1 cadena con 4 saltos de vinculación de nombres, en total deben devolverse 5 nombres de variables.

- Agregación: Para CWE, en total se deben devolver 10 palabras comunes, cada una aparece 30 veces, mientras que las palabras poco comunes aparecen 3 veces cada una. Para FWE, establecemos α\alpha en 2.0 en la distribución Zeta para el muestreo de palabras sintéticas.

- QA: Para QA, aumentamos SQuAD (Rajpurkar et al., 2018) y HotpotQA (Yang et al., 2018) para simular un escenario de contexto largo. Son representativos de tareas de respuesta a preguntas de un solo salto y de múltiples saltos, respectivamente.

TareaConfiguraciones
Subtarea-1Subtarea-2Subtarea-3
NIAH simple
type_key = wordtype_value = numbertype_haystack = repeat~recuperación de passkeytype_key = wordtype_value = numbertype_haystack = essay~NIAH vanillatype_key = wordtype_value = uuidtype_haystack = essay
MK-NIAH
num_keys = 4type_key = wordtype_value = numbertype_haystack = essaynum_keys = full haystacktype_key = wordtype_value = number~recuperación de líneanum_keys = full haystacktype_key = uuidtype_value = uuid~recuperación de KV
MV-NIAHnum_values = 4, type_key = word, type_value = number, type_haystack = essay
MQ-NIAHnum_queries = 4, type_key = word, type_value = number, type_haystack = essay
VTnum_chains = 1, num_hops = 4
CWEfreq_cw = 30, freq_ucw = 3, num_cw = 10
FWEα = 2.0
QAdataset = SQuADdataset = HotpotQA

Tabla 5: Nuestras 13 configuraciones de tareas en total en RULER.

C Análisis de correlación entre tareas

RULER está diseñado bajo el supuesto de que las tareas de diferentes categorías son capaces de revelar comportamientos distintos de los modelos. Realizamos un estudio correlacional preliminar para confirmar la validez de las categorías de tareas y guiar la selección de tareas representativas. Evaluamos ocho modelos de código abierto con varios tamaños de contexto en 18 configuraciones de tareas. Cada tarea puede entonces representarse con un vector de rendimiento del modelo en varios tamaños de contexto. Los 18 vectores de tareas se agrupan luego mediante un algoritmo de agrupamiento aglomerativo, usando el coeficiente de correlación como métrica de distancia. Como se muestra en la Figura 5, aunque ciertas tareas exhiben correlaciones moderadas con otras, las tareas de cada una de las cuatro categorías (NIAH, VT, AG, QA) forman grupos cohesivos propios sin redundancia. Además, eliminamos algunas tareas que correlacionan altamente con otras tareas dentro del mismo grupo y finalizamos 13 tareas para la evaluación a gran escala posterior.

Figura 5: Mapa de calor de correlación entre 18 tareas con diversas configuraciones de tareas. Eliminamos las tareas redundantes (en rojo) y solo conservamos 13 tareas representativas en RULER. (W: palabras; N: números; U: UUID; Full: pajar completo)
Figura 5: Mapa de calor de correlación entre 18 tareas con diversas configuraciones de tareas. Eliminamos las tareas redundantes (en rojo) y solo conservamos 13 tareas representativas en RULER. (W: palabras; N: números; U: UUID; Full: pajar completo)

D Plantillas de prompts

Descomponemos la plantilla de prompt de entrada en la plantilla de modelo en la Tabla 6 y la plantilla de tarea en la Tabla 7. La plantilla de modelo es el formato de chat del modelo, mientras que la plantilla de tarea combina instrucción, contexto y consulta. Para evitar que los modelos se nieguen a responder nuestras preguntas, añadimos a la entrada un prefijo de respuesta para elicitar las respuestas del modelo. Para VT y CWE, usamos una muestra de tarea como demostración en contexto.

ModeloPlantilla
GPT-4{task_template} No proporciones ninguna explicación. Por favor, dame directamente la respuesta. {task_answer_prefix}
Yi/Base{task_template} {task_answer_prefix}

Command-R
{BOS_TOKEN}{START_OF_TURN_TOKEN}{USER_TOKEN}{task_template}{END_OF_TURN_TOKEN}{START_OF_TURN_TOKEN}{CHATBOT_TOKEN}{task_answer_prefix}

LWM/LongChat
{system_prompt} USER: {task_template} ASSISTANT:{task_answer_prefix}

GLM
{gMASK} sop{user}{task_template} {assistant}{task_answer_prefix}

Phi3
{user}{task_template} {end}{assistant}{task_answer_prefix}

Qwen/DBRX
{im_start} system{system_prompt} {im_end}{im_start} user{task_template} {im_end}{im_start} assistant{task_answer_prefix}
Llama3/Llama3.1{begin_of_text} {start_header_id} user {end_header_id}

Llama2/Otros
{task_template} {eot_id}{start_header_id} assistant {end_header_id}
{task_answer_prefix}
[INST] {task_template} [/INST] {task_answer_prefix}

Tabla 6: Plantillas de chat de los modelos. Añadimos un prefijo de respuesta a la tarea en la respuesta del modelo para evitar que los modelos se nieguen a responder nuestras preguntas. La adición del prefijo de respuesta no rompe la plantilla de chat de los modelos.

S-NIAH
Subtarea-1Plantilla de tarea:Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlos. Después te haré preguntas sobre los números.La hierba es verde. El cielo es azul. El sol es amarillo. Aquí vamos. Ida y vuelta otra vez.Uno de los números mágicos especiales para {word} es: {number}.¿Cuál es el número mágico especial para {word} mencionado en el texto proporcionado?S-NIAH
Subtarea-2Prefijo de respuesta de tarea:El número mágico especial para {word} mencionado en el texto proporcionado esS-NIAH
Subtarea-3Plantilla de tarea:Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlos. Después te haré preguntas sobre los números.Paul Graham Essays.Uno de los números mágicos especiales para {word} es: {number}.¿Cuál es el número mágico especial para {word} mencionado en el texto proporcionado?MK-NIAH
Subtarea-1Prefijo de respuesta de tarea:El número mágico especial para {word} mencionado en el texto proporcionado esMK-NIAH
Subtarea-2Plantilla de tarea:Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlos. Después te haré preguntas sobre los números.Paul Graham Essays.Uno de los números mágicos especiales para {word} es: {number}.¿Cuál es el número mágico especial para {word} mencionado en el texto proporcionado?MK-NIAH
Subtarea-3Prefijo de respuesta de tarea:El número mágico especial para {word} mencionado en el texto proporcionado esMK-NIAH
Subtarea-4Plantilla de tarea:Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlos. Después te haré preguntas sobre los números.Paul Graham Essays.Uno de los números mágicos especiales para {word} es: {number}.Uno de los números mágicos especiales para {word-1} es: {number-1}.Uno de los números mágicos especiales para {word-2} es: {number-2}.Uno de los números mágicos especiales para {word-3} es: {number-3}.Uno de los números mágicos especiales para {word-4} es: {number-4}.¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?MK-NIAH
Subtarea-5Prefijo de respuesta de tarea:El número mágico especial para {word-4} mencionado en el texto proporcionado esMK-NIAH
Subtarea-6Plantilla de tarea:Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlos. Después te haré preguntas sobre los números.Uno de los números mágicos especiales para {word-1} es: {number-1}.Uno de los números mágicos especiales para {word-2} es: {number-2}.Uno de los números mágicos especiales para {word-3} es: {number-3}.Uno de los números mágicos especiales para {word-4} es: {number-4}.¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?MK-NIAH
Subtarea-7Prefijo de respuesta de tarea:El número mágico especial para {word-4} mencionado en el texto proporcionado esMK-NIAH
Subtarea-8Plantilla de tarea:Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlos. Después te haré preguntas sobre los números.Uno de los números mágicos especiales para {word-1} es: {number-1}.Uno de los números mágicos especiales para {word-2} es: {number-2}.Uno de los números mágicos especiales para {word-3} es: {number-3}.Uno de los números mágicos especiales para {word-4} es: {number-4}.¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?MK-NIAH
Subtarea-9Prefijo de respuesta de tarea:El número mágico especial para {word-4} mencionado en el texto proporcionado esMK-NIAH
Subtarea-10Plantilla de tarea:Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlos. Después te haré preguntas sobre los números.Uno de los números mágicos especiales para {word-1} es: {number-1}.Uno de los números mágicos especiales para {word-2} es: {number-2}.Uno de los números mágicos especiales para {word-3} es: {number-3}.Uno de los números mágicos especiales para {word-4} es: {number-4}.¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?MK-NIAH
Subtarea-11Prefijo de respuesta de tarea:El número mágico especial para {word-4} mencionado en el texto proporcionado esMK-NIAH
Subtarea-12Plantilla de tarea:Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlos. Después te haré preguntas sobre los números.Uno de los números mágicos especiales para {word-1} es: {number-1}.Uno de los números mágicos especiales para {word-2} es: {number-2}.Uno de los números mágicos especiales para {word-3} es: {number-3}.Uno de los números mágicos especiales para {word-4} es: {number-4}.¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?MK-NIAH
Subtarea-13Prefijo de respuesta de tarea:El número mágico especial para {word-4} mencionado en el texto proporcionado esMK-NIAH
Subtarea-14Plantilla de tarea:Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlos. Después te haré preguntas sobre los números.Uno de los números mágicos especiales para {word-1} es: {number-1}.Uno de los números mágicos especiales para {word-2} es: {number-2}.Uno de los números mágicos especiales para {word-3} es: {number-3}.Uno de los números mágicos especiales para {word-4} es: {number-4}.¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?MK-NIAH
Subtarea-15Prefijo de respuesta de tarea:El número mágico especial para {word-4} mencionado en el texto proporcionado esMK-NIAH
Subtarea-16Plantilla de tarea:Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlos. Después te haré preguntas sobre los números.Uno de los números mágicos especiales para {word-1} es: {number-1}.Uno de los números mágicos especiales para {word-2} es: {number-2}.Uno de los números mágicos especiales para {word-3} es: {number-3}.Uno de los números mágicos especiales para {word-4} es: {number-4}.¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?MK-NIAH
Subtarea-17Prefijo de respuesta de tarea:El número mágico especial para {word-4} mencionado en el texto proporcionado esMK-NIAH
Subtarea-18Plantilla de tarea:
Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré preguntas sobre los números.
Uno de los números mágicos especiales para {word-1} es: {number-1}.
Uno de los números mágicos especiales para {word-2} es: {number-2}.
Uno de los números mágicos especiales para {word-3} es: {number-3}.
Uno de los números mágicos especiales para {word-4} es: {number-4}.
¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?MK-NIAH
Subtarea-19Prefijo de respuesta de la tarea:
El número mágico especial para {word-4} mencionado en el texto proporcionado esMK-NIAH
Subtarea-20Plantilla de tarea:
Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré preguntas sobre los números.
Uno de los números mágicos especiales para {word-1} es: {number-1}.
Uno de los números mágicos especiales para {word-2} es: {number-2}.
Uno de los números mágicos especiales para {word-3} es: {number-3}.
Uno de los números mágicos especiales para {word-4} es: {number-4}.
¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?MK-NIAH
Subtarea-21Prefijo de respuesta de la tarea:
El número mágico especial para {word-4} mencionado en el texto proporcionado esMK-NIAH
Subtarea-22Plantilla de tarea:
Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré preguntas sobre los números.
Uno de los números mágicos especiales para {word-1} es: {number-1}.
Uno de los números mágicos especiales para {word-2} es: {number-2}.
Uno de los números mágicos especiales para {word-3} es: {number-3}.
Uno de los números mágicos especiales para {word-4} es: {number-4}.
¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?MK-NIAH
Subtarea-23Prefijo de respuesta de la tarea:
El número mágico especial para {word-4} mencionado en el texto proporcionado esMK-NIAH
Subtarea-24Plantilla de tarea:
Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré preguntas sobre los números.
Uno de los números mágicos especiales para {word-1} es: {number-1}.
Uno de los números mágicos especiales para {word-2} es: {number-2}.
Uno de los números mágicos especiales para {word-3} es: {number-3}.
Uno de los números mágicos especiales para {word-4} es: {number-4}.
¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?MK-NIAH
Subtarea-25Prefijo de respuesta de la tarea:
El número mágico especial para {word-4} mencionado en el texto proporcionado esMK-NIAH
Subtarea-26Plantilla de tarea:
Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré preguntas sobre los números.
Uno de los números mágicos especiales para {word-1} es: {number-1}.
Uno de los números mágicos especiales para {word-2} es: {number-2}.
Uno de los números mágicos especiales para {word-3} es: {number-3}.
Uno de los números mágicos especiales para {word-4} es: {number-4}.
¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?MK-NIAH
Subtarea-27Prefijo de respuesta de la tarea:
El número mágico especial para {word-4} mencionado en el texto proporcionado esMK-NIAH
Subtarea-28Plantilla de tarea:
Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré preguntas sobre los números.
Uno de los números mágicos especiales para {word-1} es: {number-1}.
Uno de los números mágicos especiales para {word-2} es: {number-2}.
Uno de los números mágicos especiales para {word-3} es: {number-3}.
Uno de los números mágicos especiales para {word-4} es: {number-4}.
¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?Contexto de solo lectura para comprender la fuente (no es texto fuente que deba traducirse):
Tabla 6: Plantillas de chat del modelo. Añadimos un prefijo de respuesta de la tarea en la respuesta del modelo para evitar que los modelos se nieguen a responder nuestras preguntas. La adición del prefijo de respuesta no rompe la plantilla de chat de los modelos.Plantilla de tarea:Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré preguntas sobre los números.Uno de los números mágicos especiales para {word-1} es: {number-1}.Uno de los números mágicos especiales para {word-2} es: {number-2}.Uno de los números mágicos especiales para {word-3} es: {number-3}.Uno de los números mágicos especiales para {word-4} es: {number-4}.¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?Texto que debe traducirse:
MK-NIAHSubtask-29Prefijo de respuesta de la tarea:El número mágico especial para {word-4} mencionado en el texto proporcionado es
MK-NIAHSubtask-30Plantilla de tarea:Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré preguntas sobre los números.Uno de los números mágicos especiales para {word-1} es: {number-1}.Uno de los números mágicos especiales para {word-2} es: {number-2}.Uno de los números mágicos especiales para {word-3} es: {number-3}.Uno de los números mágicos especiales para {word-4} es: {number-4}.¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?
MK-NIAHSubtask-31Prefijo de respuesta de la tarea:El número mágico especial para {word-4} mencionado en el texto proporcionado es
MK-NIAHSubtask-32Plantilla de tarea:Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré preguntas sobre los números.Uno de los números mágicos especiales para {word-1} es: {number-1}.Uno de los números mágicos especiales para {word-2} es: {number-2}.Uno de los números mágicos especiales para {word-3} es: {number-3}.Uno de los números mágicos especiales para {word-4} es: {number-4}.¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?MK-NIAHSubtask-33Prefijo de respuesta de la tarea:El número mágico especial para {word-4} mencionado en el texto proporcionado es
MK-NIAHSubtask-34Plantilla de tarea:Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré preguntas sobre los números.Uno de los números mágicos especiales para {word-1} es: {number-1}.Uno de los números mágicos especiales para {word-2} es: {number-2}.Uno de los números mágicos especiales para {word-3} es: {number-3}.Uno de los números mágicos especiales para {word-4} es: {number-4}.¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?
MK-NIAHSubtask-35Prefijo de respuesta de la tarea:El número mágico especial para {word-4} mencionado en el texto proporcionado es
MK-NIAHSubtask-36Plantilla de tarea:Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré preguntas sobre los números.Uno de los números mágicos especiales para {word-1} es: {number-1}.Uno de los números mágicos especiales para {word-2} es: {number-2}.Uno de los números mágicos especiales para {word-3} es: {number-3}.Uno de los números mágicos especiales para {word-4} es: {number-4}.¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?MK-NIAHSubtask-37Prefijo de respuesta de la tarea:El número mágico especial para {word-4} mencionado en el texto proporcionado es
MK-NIAHSubtask-38Plantilla de tarea:Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré preguntas sobre los números.Uno de los números mágicos especiales para {word-1} es: {number-1}.Uno de los números mágicos especiales para {word-2} es: {number-2}.Uno de los números mágicos especiales para {word-3} es: {number-3}.Uno de los números mágicos especiales para {word-4} es: {number-4}.¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?
MK-NIAHSubtask-39Prefijo de respuesta de la tarea:El número mágico especial para {word-4} mencionado en el texto proporcionado es
MK-NIAHSubtask-40Plantilla de tarea:Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré preguntas sobre los números.Uno de los números mágicos especiales para {word-1} es: {number-1}.Uno de los números mágicos especiales para {word-2} es: {number-2}.Uno de los números mágicos especiales para {word-3} es: {number-3}.Uno de los números mágicos especiales para {word-4} es: {number-4}.¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?MK-NIAHSubtask-41Prefijo de respuesta de la tarea:El número mágico especial para {word-4} mencionado en el texto proporcionado es
MK-NIAHSubtask-42Plantilla de tarea:Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré preguntas sobre los números.Uno de los números mágicos especiales para {word-1} es: {number-1}.Uno de los números mágicos especiales para {word-2} es: {number-2}.Uno de los números mágicos especiales para {word-3} es: {number-3}.Uno de los números mágicos especiales para {word-4} es: {number-4}.¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?
MK-NIAHSubtask-43Prefijo de respuesta de la tarea:El número mágico especial para {word-4} mencionado en el texto proporcionado es
MK-NIAHSubtask-44Plantilla de tarea:Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré preguntas sobre los números.Uno de los números mágicos especiales para {word-1} es: {number-1}.Uno de los números mágicos especiales para {word-2} es: {number-2}.Uno de los números mágicos especiales para {word-3} es: {number-3}.Uno de los números mágicos especiales para {word-4} es: {number-4}.¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?MK-NIAHSubtask-45Prefijo de respuesta de la tarea:El número mágico especial para {word-4} mencionado en el texto proporcionado es
MK-NIAHSubtask-46Plantilla de tarea:Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré preguntas sobre los números.Uno de los números mágicos especiales para {word-1} es: {number-1}.Uno de los números mágicos especiales para {word-2} es: {number-2}.Uno de los números mágicos especiales para {word-3} es: {number-3}.Uno de los números mágicos especiales para {word-4} es: {number-4}.¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?
MK-NIAHSubtask-47Prefijo de respuesta de la tarea:El número mágico especial para {word-4} mencionado en el texto proporcionado es
MK-NIAHSubtask-48



Plantilla de tarea:
Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré una prueba sobre los números.
Uno de los números mágicos especiales para {word-1} es: {number-1}.
Uno de los números mágicos especiales para {word-2} es: {number-2}.
Uno de los números mágicos especiales para {word-3} es: {number-3}.
Uno de los números mágicos especiales para {word-4} es: {number-4}.
¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?MK-NIAH
Subtarea-49Prefijo de respuesta de la tarea:
El número mágico especial para {word-4} mencionado en el texto proporcionado esMK-NIAH
Subtarea-50Plantilla de tarea:
Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré una prueba sobre los números.
Uno de los números mágicos especiales para {word-1} es: {number-1}.
Uno de los números mágicos especiales para {word-2} es: {number-2}.
Uno de los números mágicos especiales para {word-3} es: {number-3}.
Uno de los números mágicos especiales para {word-4} es: {number-4}.
¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?MK-NIAH
Subtarea-51Prefijo de respuesta de la tarea:
El número mágico especial para {word-4} mencionado en el texto proporcionado esMK-NIAH
Subtarea-52Plantilla de tarea:
Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré una prueba sobre los números.
Uno de los números mágicos especiales para {word-1} es: {number-1}.
Uno de los números mágicos especiales para {word-2} es: {number-2}.
Uno de los números mágicos especiales para {word-3} es: {number-3}.
Uno de los números mágicos especiales para {word-4} es: {number-4}.
¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?MK-NIAH
Subtarea-53Prefijo de respuesta de la tarea:
El número mágico especial para {word-4} mencionado en el texto proporcionado esMK-NIAH
Subtarea-54Plantilla de tarea:
Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré una prueba sobre los números.
Uno de los números mágicos especiales para {word-1} es: {number-1}.
Uno de los números mágicos especiales para {word-2} es: {number-2}.
Uno de los números mágicos especiales para {word-3} es: {number-3}.
Uno de los números mágicos especiales para {word-4} es: {number-4}.
¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?MK-NIAH
Subtarea-55Prefijo de respuesta de la tarea:
El número mágico especial para {word-4} mencionado en el texto proporcionado esMK-NIAH
Subtarea-56Plantilla de tarea:
Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré una prueba sobre los números.
Uno de los números mágicos especiales para {word-1} es: {number-1}.
Uno de los números mágicos especiales para {word-2} es: {number-2}.
Uno de los números mágicos especiales para {word-3} es: {number-3}.
Uno de los números mágicos especiales para {word-4} es: {number-4}.
¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?MK-NIAH
Subtarea-57Prefijo de respuesta de la tarea:
El número mágico especial para {word-4} mencionado en el texto proporcionado esMK-NIAH
Subtarea-58Plantilla de tarea:
Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré una prueba sobre los números.
Uno de los números mágicos especiales para {word-1} es: {number-1}.
Uno de los números mágicos especiales para {word-2} es: {number-2}.
Uno de los números mágicos especiales para {word-3} es: {number-3}.
Uno de los números mágicos especiales para {word-4} es: {number-4}.
¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?MK-NIAH
Subtarea-59Prefijo de respuesta de la tarea:
El número mágico especial para {word-4} mencionado en el texto proporcionado esMK-NIAH
Subtarea-60Plantilla de tarea:
Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré una prueba sobre los números.
Uno de los números mágicos especiales para {word-1} es: {number-1}.
Uno de los números mágicos especiales para {word-2} es: {number-2}.
Uno de los números mágicos especiales para {word-3} es: {number-3}.
Uno de los números mágicos especiales para {word-4} es: {number-4}.
¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?Contexto de solo lectura para comprender la fuente (no es texto fuente para traducir):
Tabla 6: Plantillas de chat de los modelos. Añadimos un prefijo de respuesta de la tarea en la respuesta del modelo para evitar que los modelos se nieguen a responder nuestras preguntas. La adición del prefijo de respuesta no rompe la plantilla de chat de los modelos.
Texto a traducir:
MK-NIAH
Subtask-61Prefijo de respuesta de la tarea:
El número mágico especial para {word-4} mencionado en el texto proporcionado esMK-NIAH
Subtask-62Plantilla de la tarea:
Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré preguntas sobre los números.
Uno de los números mágicos especiales para {word-1} es: {number-1}.
Uno de los números mágicos especiales para {word-2} es: {number-2}.
Uno de los números mágicos especiales para {word-3} es: {number-3}.
Uno de los números mágicos especiales para {word-4} es: {number-4}.
¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?MK-NIAH
Subtask-63Prefijo de respuesta de la tarea:
El número mágico especial para {word-4} mencionado en el texto proporcionado esMK-NIAH
Subtask-64Plantilla de la tarea:
Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré preguntas sobre los números.
Uno de los números mágicos especiales para {word-1} es: {number-1}.
Uno de los números mágicos especiales para {word-2} es: {number-2}.
Uno de los números mágicos especiales para {word-3} es: {number-3}.
Uno de los números mágicos especiales para {word-4} es: {number-4}.
¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?MK-NIAH
Subtask-65Prefijo de respuesta de la tarea:
El número mágico especial para {word-4} mencionado en el texto proporcionado esMK-NIAH
Subtask-66Plantilla de la tarea:
Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré preguntas sobre los números.
Uno de los números mágicos especiales para {word-1} es: {number-1}.
Uno de los números mágicos especiales para {word-2} es: {number-2}.
Uno de los números mágicos especiales para {word-3} es: {number-3}.
Uno de los números mágicos especiales para {word-4} es: {number-4}.
¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?MK-NIAH
Subtask-67Prefijo de respuesta de la tarea:
El número mágico especial para {word-4} mencionado en el texto proporcionado esMK-NIAH
Subtask-68Plantilla de la tarea:
Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré preguntas sobre los números.
Uno de los números mágicos especiales para {word-1} es: {number-1}.
Uno de los números mágicos especiales para {word-2} es: {number-2}.
Uno de los números mágicos especiales para {word-3} es: {number-3}.
Uno de los números mágicos especiales para {word-4} es: {number-4}.
¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?MK-NIAH
Subtask-69Prefijo de respuesta de la tarea:
El número mágico especial para {word-4} mencionado en el texto proporcionado esMK-NIAH
Subtask-70Plantilla de la tarea:
Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré preguntas sobre los números.
Uno de los números mágicos especiales para {word-1} es: {number-1}.
Uno de los números mágicos especiales para {word-2} es: {number-2}.
Uno de los números mágicos especiales para {word-3} es: {number-3}.
Uno de los números mágicos especiales para {word-4} es: {number-4}.
¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?MK-NIAH
Subtask-71Prefijo de respuesta de la tarea:
El número mágico especial para {word-4} mencionado en el texto proporcionado esMK-NIAH
Subtask-72Plantilla de la tarea:
Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré preguntas sobre los números.
Uno de los números mágicos especiales para {word-1} es: {number-1}.
Uno de los números mágicos especiales para {word-2} es: {number-2}.
Uno de los números mágicos especiales para {word-3} es: {number-3}.
Uno de los números mágicos especiales para {word-4} es: {number-4}.
¿Cuál es el número mágico especial para {word-4} mencionado en el texto proporcionado?MK-NIAH
Subtask-73Prefijo de respuesta de la tarea:
El número mágico especial para {word-4} mencionado en el texto proporcionado esMK-NIAH
Subtask-74Task Template:
Some special magic numbers are hidden within the following text. Make sure to memorize it. I will quiz you about the numbers afterwards.
One of the special magic numbers for {word-1} is: {number-1}.
Plantilla de la tarea:
Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré preguntas sobre los números.
Uno de los números mágicos especiales para {word-1} es: {number-1}.
Uno de los números mágicos especiales para {word-2} es: {number
Tabla 7: Plantillas de S-NIAH y MK-NIAH.
Plantilla de tarea: Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlos. Después te haré preguntas sobre los números. Ensayos de Paul Graham....... Uno de los números mágicos especiales para {word} es: {number-1}....... Uno de los números mágicos especiales para {word} es: {number-2}....... Uno de los números mágicos especiales para {word} es: {number-3}....... Uno de los números mágicos especiales para {word} es: {number-4}. ¿Cuáles son todos los números mágicos especiales para {word} mencionados en el texto proporcionado?
Tabla 8: Plantillas de MV-NIAH, MQ-NIAH, VT, CWE y FWE.

Prefijo de respuesta de la tarea: Los números mágicos especiales para {word} mencionados en el texto proporcionado son








Plantilla de la tarea: Algunos números mágicos especiales están ocultos dentro del siguiente texto. Asegúrate de memorizarlo. Después te haré preguntas sobre los números.Paul Graham Essays....... Uno de los números mágicos especiales para {word-1} es: {number-1}....... Uno de los números mágicos especiales para {word-2} es: {number-2}....... Uno de los números mágicos especiales para {word-3} es: {number-3}....... Uno de los números mágicos especiales para {word-4} es: {number-4}.¿Cuáles son todos los números mágicos especiales para {word-1}, {word-2}, {word-3} y {word-4} mencionados en el texto proporcionado?
Prefijo de respuesta a la tarea:
Los números mágicos especiales para {word-1}, {word-2}, {word-3} y {word-4} mencionados en el texto proporcionado son
Plantilla de tarea:
{un ejemplo de tarea}
Memoriza y rastrea la(s) cadena(s) de asignación de variables ocultas en el siguiente texto.
La hierba es verde. El cielo es azul. El sol es amarillo. Aquí vamos. Ida y vuelta otra vez.
...... VAR {X1} = {número} ......
...... VAR {X2} = {X1} ......
...... VAR {X3} = {X2} ......
...... VAR {X4} = {X3} ......
...... VAR {X5} = {X4} ......
Pregunta: Encuentra todas las variables a las que se les asigna el valor {número} en el texto anterior.
Prefijo de respuesta a la tarea: Respuesta: Según la(s) cadena(s) de asignación de variables en el texto anterior, a 5 variables se les asigna el valor {number}, las cuales son:
Plantilla de tarea:
{un ejemplo de tarea}
A continuación se presenta una lista numerada de palabras. En estas palabras, algunas aparecen con más frecuencia que otras.
Memoriza las que aparecen con más frecuencia.
1. palabra-a 2. palabra-b 3. palabra-c 4. palabra-d 5. palabra-d 6. palabra-a 7. palabra-e 8. palabra-f ......
Pregunta: ¿Cuáles son las 10 palabras más comunes en la lista anterior?
Prefijo de respuesta a la tarea: Respuesta: Las 10 palabras que aparecen con más frecuencia en la lista son:
Plantilla de tarea: Lee el siguiente texto codificado y registra la frecuencia de cada palabra codificada. Encuentra las tres palabras codificadas que aparecen con más frecuencia. ... palabra-a ... palabra-b ... ... palabra-c ... palabra-a ...palabra-d palabra-e ... palabra-a ... palabra-f ... ... palabra-g ... palabra-h ... palabra-a ... palabra-i ....Pregunta: No proporciones ninguna explicación. Ignora los puntos suspensivos '...'. ¿Cuáles son las tres palabras que aparecen con más frecuencia en el texto codificado anterior?
Prefijo de respuesta a la tarea:
Respuesta: Según el texto codificado anterior, las tres palabras que aparecieron con mayor frecuencia son:
Task Template:
Answer the question based on the given documents. Only give me the answer and do not output any other words.
The following are given documents.
Document 1:
{document-1}
......
Document x:
{document-x}
......
Document n:
{document-n}
Answer the question based on the given documents. Only give me the answer and do not output any other words.
Question: question
Task Answer Prefix:
Answer:
Task Template:
Answer the question based on the given documents. Only give me the answer and do not output any other words.
The following are given documents.
Document 1:
{document-1}
......
Document x:
{document-x}
......
Document y:
{document-y}
......
Document n:
{document-n}
Answer the question based on the given documents. Only give me the answer and do not output any other words.
Question: question
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Plantilla de tarea:
Responde la pregunta basándote en los documentos proporcionados. Solo dame la respuesta y no emitas ninguna otra palabra.
A continuación se presentan los documentos proporcionados.
Documento 1:
{document-1}
......
Documento x:
{document-x}
......
Documento n:
{document-n}
Responde la pregunta basándote en los documentos proporcionados. Solo dame la respuesta y no emitas ninguna otra palabra.
Pregunta: pregunta
Prefijo de respuesta de la tarea:
Respuesta:
Plantilla de tarea:
Responde la pregunta basándote en los documentos proporcionados. Solo dame la respuesta y no emitas ninguna otra palabra.
A continuación se presentan los documentos proporcionados.
Documento 1:
{document-1}
......
Documento x:
{document-x}
......
Documento y:
{document-y}
......
Documento n:
{document-n}
Responde la pregunta basándote en los documentos proporcionados. Solo dame la respuesta y no emitas ninguna otra palabra.
Pregunta: pregunta
Prefijo de respuesta de la tarea:
Respuesta:
Prefijo de respuesta de la tarea:
Respuesta:
Tabla 9: Plantillas de preguntas y respuestas.

E Recuperación de passkey y resultados de NIAH vanilla

ModelosLongitud declarada4K8K16K32K64K128KProm.
Gemini-1.51M100,0100,0100,0100,0100,0100,0100,0
GPT-4128K100,0100,0100,0100,0100,0100,0100,0
Llama3.1 (70B)128K100,0100,0100,0100,0100,097,899,6
Llama3.1 (8B)128K100,0100,0100,0100,0100,0100,0100,0
Qwen2 (72B)128K100,0100,0100,0100,0100,096,699,4
Command-R-plus (104B)128K100,0100,099,899,8100,097,299,5
GLM4 (9B)1M100,0100,0100,0100,0100,0100,0100,0
GradientAI/LLama3 (70B)1M100,0100,0100,0100,0100,093,698,9
Mixtral-8x22B (39B/141B)64K100,0100,0100,0100,099,60,083,3
Yi (34B)200K100,0100,0100,0100,0100,0100,0100,0
Phi3-medium (14B)128K100,0100,0100,0100,0100,088,098,0
Mistral-v0.2 (7B)32K100,0100,0100,0100,099,669,694,9
LWM (7B)1M100,0100,0100,0100,0100,0100,0100,0
DBRX (36B/132B)32K100,0100,0100,0100,00,00,066,7
Together (7B)32K100,0100,0100,0100,00,00,066,7
LongChat (7B)32K100,0100,0100,099,40,00,066,6
LongAlpaca (13B)32K88,288,686,482,40,00,057,6
Mixtral-base (8x7B)32K100,0100,0100,0100,0100,046,891,1
Mixtral-base (7B)32K100,0100,0100,0100,099,670,895,1
Jamba-base (52B)256K100,0100,0100,0100,0100,0100,0100,0
LWM-base (7B)1M99,899,699,698,296,098,998,9
LongLoRA-base (7B)100K99,699,499,099,499,40,082,8
Yarn-base (7B)128K100,0100,099,0100,099,239,689,6
Together-base (7B)32K100,0100,099,8100,00,00,066,6
ModelosLongitud declarada4K8K16K32K64K128KProm.
Gemini-1.51M100,0100,0100,098,0100,0100,099,7
GPT-4128K100,0100,0100,0100,0100,0100,0100,0
Llama3.1 (70B)128K100,0100,0100,0100,0100,099,699,9
Llama3.1 (8B)128K100,0100,0100,0100,0100,099,699,9
Qwen2 (72B)128K100,0100,0100,0100,099,856,492,7
Command-R-plus (35B)128K100,0100,0100,0100,099,886,097,6
GLM4 (9B)128K100,0100,0100,0100,0100,0100,0100,0
GradientAI/LLama3 (70B)1M100,0100,0100,0100,099,697,899,4
Mixtral-8x22B (39B/141B)64K100,0100,0100,0100,099,624,287,3
Yi (34B)200K100,0100,0100,0100,0100,0100,0100,0
Phi3-medium (14B)128K100,0100,0100,099,899,873,895,5
Mixtral-v0.2 (7B)32K100,0100,0100,097,070,07,479,1
LWM (7B)1M100,0100,0100,0100,0100,0100,0100,0
DBRX (36B/132B)32K100,0100,090,093,20,80,064,0
Together (7B)32K100,0100,0100,099,80,00,066,6
LongChat (7B)32K100,0100,097,698,40,00,066,0
LongAlpaca (13B)32K90,290,288,483,40,00,058,7
Mixtral-base (8x7B)32K100,0100,0100,0100,085,234,886,7
Mixtral-base (7B)32K100,0100,0100,0100,094,80,482,5
Jamba-base (52B)256K100,0100,098,899,899,886,497,5
LWM-base (7B)1M100,099,497,898,698,298,698,8
LongLoRA-base (7B)100K99,8100,0100,099,8100,00,083,3
Yarn-base (7B)128K97,497,891,485,486,620,079,8
Together-base (7B)32K100,0100,0100,099,80,00,066,6
Tabla 10: Rendimiento de modelos alineados y base seleccionados en longitudes de 4K a 128K en la recuperación de passkey de RULER. Casi todos los modelos obtienen una puntuación perfecta en la longitud que declaran.

Tabla 11: Rendimiento de modelos alineados y base seleccionados en longitudes de 4K a 128K en NIAH vanilla de RULER. Casi todos los modelos tienen una puntuación perfecta en la longitud que declaran.

.

F Resultados adicionales

ModelosLongitud declaradaLongitud efectiva4K8K16K32K64K128KProm.wProm. (inc)wProm. (dec)
Llama2-7B (base)4K-79.4
Mixtral-base (8x7B)32K32K91.891.089.585.866.929.075.766.4(1.º)85.0(1.º)
Mixtral-base (7B)32K16K91.689.886.377.252.38.067.554.7(4.º)80.4(2.º)
Jamba-base (52B)256K4K81.275.468.865.361.051.467.262.5(3.º)71.8(4.º)
LWM-base (7B)1M<4K77.574.069.664.661.359.067.764.4(2.º)70.9(5.º)
LongLoRA-base (7B)100K8K81.980.475.665.160.80.060.649.2(5.º)72.0(3.º)
Yarn-base (7B)128K<4K77.367.559.047.338.613.950.640.7(6.º)60.5(7.º)
Together-base (7B)32K4K84.678.768.357.90.00.048.232.3(7.º)64.2(6.º)

Tabla 12: Rendimiento de modelos base seleccionados en longitudes de 4K a 128K promediando las puntuaciones de 13 tareas en RULER.

ModelosLongitud declaradaLongitud efectiva4K8K16K32K64K128KProm.wProm. (inc)wProm. (dec)
Llama2-7B (chat)4K-96.9
Gemini-1.51M>128K99.899.999.699.799.799.699.799.7(1.º)99.7(1.º)
Llama3.1 (8B)128K64K99.999.999.899.698.792.698.497.5(3.º)99.4(2.º)
GLM4 (9B)1M64K99.499.299.599.497.394.498.297.5(2.º)98.9(3.º)
Llama3.1 (70B)128K64K100.0100.099.999.698.578.996.193.5(5.º)98.8(4.º)
GPT-4128K32K99,999,998,798,390,984,895,492,9 (6.º)97,9 (5.º)
Command-R-plus (104B)128K32K99,999,999,497,989,665,792,187,3 (8.º)96,9 (6.º)
GradientAI/Llama3 (70B)1M16K99,098,898,394,591,284,994,492,1 (7.º)96,8 (7.º)
Yi (34B)200K16K98,296,897,395,193,090,295,193,8 (4.º)96,4 (8.º)
Qwen2 (72B)128K32K100,099,999,999,484,548,088,681,3 (11.º)95,9 (9.º)
Phi3-medium (14B)128K8K98,798,596,695,491,951,388,782,6 (10.º)94,9 (10.º)
Mixtral-8x22B (39B/141B)64K16K99,399,197,796,789,923,884,474,8 (12.º)94,1 (11.º)
LWM (7B)1M<4K92,592,187,683,784,183,487,285,5 (9.º)89,0 (12.º)
Mistral-v0.2 (7B)32K4K98,196,294,385,551,110,772,658,8 (13.º)86,5 (13.º)
DBRX (36B/132B)32K8K99,499,093,573,40,50,061,041,6 (14.º)80,3 (14.º)
Together (7B)32K<4K96,289,982,380,20,00,058,140,2 (15.º)76,0 (15.º)
LongChat (7B)32K<4K93,392,281,167,30,00,055,737,6 (16.º)73,7 (16.º)
LongAlpaca (13B)32K<4K74,972,270,853,20,00,045,230,7 (17.º)59,7 (17.º)
Llama2-7B (base)4K-90.9
Mixtral-base (8x7B)32K32K99.999.798.494.872.129.182.371.8(2.º)92.8(1.º)
Mixtral-base (7B)32K16K99.397.595.789.856.810.274.961.2(4.º)88.6(2.º)
Jamba-base (52B)256K<4K86.480.573.772.368.156.973.068.5(3.º)77.4(5.º)
LWM-base (7B)1M<4K88.587.784.579.676.174.281.879.1(1.º)84.4(4.º)
LongLoRA-base (7B)100K16K95.395.692.781.576.20.073.560.6(5.º)86.5(3.º)
Yarn-base (7B)128K<4K89,986,178,459,049,517,563,451,7 (6.º)75,1 (7.º)
Together-base (7B)32K8K95,491,586,175,10,00,058,039,9 (7.º)76,2 (6.º)
Together-base (7B)32K8K95,491,586,175,10,00,058,039,9 (7.º)76,2 (6.º)

Tabla 13: Rendimiento de modelos alineados y base seleccionados en longitudes de 4K a 128K promediando las puntuaciones de 8 tareas en Retrieval (NIAH) de RULER.

“”

ModelosLongitud declaradaLongitud efectiva4K8K16K32K64K128KProm.wProm. (inc)wProm. (dec)
Llama2-7B (chat)4K-89,7
GPT-4128K128K100,0100,0100,0100,0100,099,699,999,9(2.º)100,0(1.º)
Gemini-1.51M>128K100,0100,0100,0100,099,6100,099,999,9(1.º)100,0(2.º)
Command-R-plus (104B)128K128K100,0100,0100,0100,099,997,299,599,2(3.º)99,8(3.º)
GLM4 (9B)1M>128K99,999,699,899,899,697,799,499,1(4.º)99,7(4.º)
Contexto de solo lectura para comprender la fuente (no es texto fuente para traducir): "" Texto a traducir: Qwen2 (72B)128K64K100.0100.0100.0100.095.279.095.792.9(5.º)98.5(5.º)
Llama3.1 (70B)128K64K100.0100.0100.0100.099.959.293.288.3(8.º)98.0(6.º)
Llama3.1 (8B)128K64K99.999.799.798.897.670.494.490.7(6.º)98.0(7.º)
GradientAI/Llama3 (70B)1M64K100.0100.0100.0100.099.756.292.687.4(9.º)97.9(8.º)
Yi (34B)200K64K99.899.899.894.592.576.893.690.3(7.º)96.9(9.º)
Mixtral-8x22B (39B/141B)64K64K100.0100,099,898,696,40,082,570,3 (10.º)94,7 (10.º)
Phi3-medium (14B)128K16K99,699,298,482,153,626,076,564,1 (11.º)88,9 (11.º)
Mixtral-v0.2 (7B)32K16K98,996,092,285,074,50,074,460,9 (12.º)87,9 (12.º)
LongChat (7B)32K8K97,693,583,462,40,00,056,237,4 (14.º)75,0 (13.º)
DBRX (36B/132B)32K8K100,099,072,545,80,00,052,933,3 (15.º)72,5 (14.º)
LWM (7B)1M<4K84,480,167,252,245,915.257.546.5(13.º)68.6(15.º)
Together (7B)32K<4K89.288.848.316.60.00.040.522.8(16.º)58.2(16.º)
LongAlpaca (13B)32K<4K8.52.118.217.00.00.07.66.5(17.º)8.8(17.º)
Llama2-7B (base)4K-58.8
Mixtral-base (8x7B)32K64K100.099.9100.098.487.343.388.180.5(2.º)95.8(1.º)
Mixtral-base (7B)32K64K99.098.496.589.186.10.078.265.4(4.º)91.0(2.º)
Jamba-base (52B)256K128K87.587.686.288.186.077,885,584,3 (1.º)86,7 (3.º)
LWM-base (7B)1M128K80,282,779,376,470,766,175,973,3 (3.º)78,5 (4.º)
LongLoRA-base (7B)100K64K92,587,473,156,069,20,063,050,3 (5.º)75,8 (5.º)
Yarn-base (7B)128K4K84,643,624,843,020,90,036,124,9 (7.º)47,4 (7.º)
Together-base (7B)32K16K95,090,669,643,20,00,049,731,3 (6.º)68,1 (6.º)
Tabla 14: Rendimiento de modelos seleccionados alineados y base en longitudes de 4K a 128K en el seguimiento de múltiples saltos (VT) de RULER.
ModelosLongitud declaradaLongitud efectiva4K8K16K32K64K128KProm. (inc)wProm. (dec)
Llama2-7B-chat4K-84.8
Gemini-1.51M>128K97.797.797.698.697.390.996.695.8(1.º)
GPT-4128K64K99.098.398.095.090.179.793.490.4(2.º)
Qwen2 (72B)128K32K99.398.093.197.478.570.389.484.7(3.º)
Mixtral-8x22B (39B/141B)64K32K97.896.994.888.283.369.788.584.0(4.º)
Command-R-plus (104B)128K32K98.296.995,290,382,559,587,181,3 (5.º)
Llama3.1 (70B)128K32K99,998,398,497,166,339,883,373,8 (6.º)
Phi3-medium (14B)128K16K90,895,190,382,462,143,877,469,3 (7.º)
Yi (34B)200K16K91,490,986,275,358,543,474,366,0 (8.º)
GLM4 (9B)1M8K93,585,278,568,158,349,772,264,8 (9.º)
GradientAI/Llama3 (70B)1M8K96,494,774,957,045,141,468,357,7 (10.º)
Llama3.1 (8B)128K8K97,090,179,254,143,536,266,755,5(11.º)
Mixtral-v0.2 (7B)32K8K94,390,477,448,542,433,764,453,1(12.º)
DBRX (36B/132B)32K8K94,594,773,748,74,10,052,634,3(13.º)
Together (7B)32K<4K82,364,543,334,80,00,037,522,9(16.º)
LongChat (7B)32K<4K74,350,746,751,10,00,037,124,8(15.º)
LWM (7B)1M<4K61,343,638,332,829,129,139,034,0(14.º)
LongAlpaca (13B)32K<4K33,027,026,023,20,00,018,212,3 (17.º)
Llama2-7B (base)4K-73,1
Mixtral-base (8x7B)32K32K96,594,893,187,868,624,377,566,9 (1.º)
Mixtral-base (7B)32K16K94,893,181,653,336,79,261,446,5 (2.º)
Jamba-base (52B)256K4K75,963,551,738,533,328,048,540,3 (3.º)
LWM-base (7B)1M<4K67,148,436,026,321,518,736,328,4 (5.º)
LongLoRA-base (7B)100K<4K70,364,450,739,929,40,042,431,3 (4.º)
Base Yarn (7B)128K<4K70,649,228,920,517,02,131,420,7 (6.º)
Base Together (7B)32K<4K69,153,019,920,60,00,027,115,1 (7.º)
Tabla 15: Rendimiento de modelos alineados y base seleccionados en longitudes de 4K a 128K, promediando las puntuaciones de 2 tareas en Agregación (CWE/FWE) de RULER.
ModelosLongitud declaradaLongitud efectiva4K8K16K32K64K128KProm.wProm. (inc)wProm. (dec)
Llama2-7B (chat)4K-49,7
Gemini-1.51M>128K81,975,977,875,977,674,177,276,3(1.º)78,0(1.º)
GPT-4128K128K79,078,076,068,061,659,070,366,5(4.º)74,0(2.º)
Qwen2 (72B)128K64K80,876,974,166,954,547,266,761,0(8.º)72,5(3.º)
GradientAI/LLama3 (70B)1M>128K75,673,972,469,966,059,869,667,1(3.º)72,1(4.º)
Llama3.1 (70B)128K64K77,274,872,370,464,247,667,863,4 (7.º)72,1 (5.º)
GLM4 (9B)1M>128K74,771,371,968,566,363,669,467,6 (2.º)71,1 (6.º)
Mixtral-8x22B (39B/141B)64K64K76,673,571,866,559,740,864,859,4 (9.º)70,2 (7.º)
Yi (34B)200K>128K72,771,568,466,264,159,967,165,0 (5.º)69,2 (8.º)
Llama3.1 (8B)128K128K74,170,167,365,863,758,866,664,3 (6.º)68,9 (9.º)
Command-R-plus (104B)128K64K73,472,369,465,957,039,262,957,6 (10.º)68,1 (10.º)
Phi3-medium (14B)128K64K70,967,266,159,354,238,059,354,3 (12.º)64,3 (11.º)
Mixtral-v0.2 (7B)32K32K72,470,065,757,634,413,352,242,5 (13.º)62,0 (12.º)
LWM (7B)1M>128K61,257,856,755,454,752,656,455,1 (11.º)57,7 (13.º)
DBRX (36B/132B)32K16K76,069,459,445,09,60,043,229,6 (14.º)56,9 (14.º)
Together (7B)32K16K61,158,354,245,60,00.036.524.9(15.º)48.2(15.º)
LongAlpaca (13B)32K16K57.253.549.739.00.00.033.222.3(16.º)44.1(16.º)
LongChat (7B)32K8K54.553.647.634.00.00.031.621.0(17.º)42.3(17.º)
Llama2-7B (base)4K-48.647.745.341.334.426.441.037.0(3.º)44.9(3.º)
Mixtral-base (8x7B)32K4K50.847.745.341.334.426.441.037.0(3.º)44.9(3.º)
Mixtral-base (7B)32K8K53.551.048.444.732.82.238.831.3(4.º)46.3(2.º)
Jamba-base (52B)256K32K62,760,657,952,647,539,653,549,7(1.º)57,3(1.º)
LWM-base (7B)1M<4K42,740,238,737,137,334,638,437,2(2.º)39,6(4.º)
LongLoRA-base (7B)100K<4K34,532,133,629,426,10,026,021,3(6.º)30,6(6.º)
Yarn-base (7B)128K<4K29,723,528,629,725,518,125,924,6(5.º)27,1(7.º)
Together-base (7B)32K4K52,047,544,633,60,00,029,619,8(7.º)39,5(5.º)
Tabla 16: Rendimiento de modelos alineados y base seleccionados a lo largo de longitudes de 4K a 128K mediante el promedio de las puntuaciones de 2 tareas en Question Answering de RULER.