Aller au contenu principal
Cheng-Ping Hsieh et al.

Presque tous les modèles réussissent l'aiguille dans la botte de foin. RULER ajoute 13 tâches plus dures et montre un contexte réel bien plus court.

RULER: What's the Real Context Size of Your Long-Context Language Models?

RULER : Quelle est la véritable taille de contexte de vos modèles de langage à long contexte ?

Cheng-Ping Hsieh*, Simeng Sun*, Samuel Kriman, Shantanu Acharya Dima Rekesh, Fei Jia, Yang Zhang, Boris Ginsburg

NVIDIA

{chsieh, simengs}@nvidia.com

Résumé

Le test de l'aiguille dans une botte de foin (needle-in-a-haystack, NIAH), qui évalue la capacité à récupérer une information (l'« aiguille ») au sein de longs textes distracteurs (la « botte de foin »), a été largement adopté pour évaluer les modèles de langage (ML) à long contexte. Cependant, ce simple test fondé sur la récupération ne révèle qu'une forme superficielle de compréhension du long contexte. Afin de fournir une évaluation plus complète des ML à long contexte, nous créons un nouveau benchmark synthétique, RULER, doté de configurations flexibles pour personnaliser la longueur de séquence et la complexité des tâches. RULER étend le test NIAH original pour englober des variations portant sur divers types et quantités d'aiguilles. De plus, RULER introduit de nouvelles catégories de tâches — le traçage multi-sauts et l'agrégation — afin de tester des comportements allant au-delà de la simple recherche dans le contexte. Nous évaluons 17 ML à long contexte sur 13 tâches représentatives de RULER. Bien qu'ils atteignent une précision presque parfaite au test NIAH original, presque tous les modèles présentent d'importantes chutes de performance à mesure que la longueur du contexte augmente. Alors que tous ces modèles revendiquent des tailles de contexte de 32K tokens ou plus, seule la moitié d'entre eux maintient une performance satisfaisante à la longueur de 32K. Notre analyse de Yi-34B, qui prend en charge une longueur de contexte de 200K, révèle une marge d'amélioration importante à mesure que nous augmentons la longueur d'entrée et la complexité des tâches. Nous publions RULER en open source afin de stimuler une évaluation complète des ML à long contexte.

1 Introduction

Les avancées récentes en ingénierie des systèmes d'IA (Dao et al., 2022 ; Jacobs et al., 2023 ; Fu et al., 2024) et dans la conception des modèles de langage (Chen et al., 2023 ; Xiong et al., 2023) ont permis d'augmenter efficacement la longueur de contexte des modèles de langage (Liu et al., 2024a ; Young et al., 2024). Les travaux antérieurs (AI21, 2024 ; X.AI, 2024 ; Reid et al., 2024 ; Anthropic, 2024) adoptent couramment des tâches synthétiques, telles que la récupération de mot de passe (passkey retrieval ; Mohtashami & Jaggi, 2023) et l'aiguille dans une botte de foin (Kamradt, 2023), pour évaluer les ML à long contexte. Cependant, ces évaluations sont utilisées de manière incohérente d'un travail à l'autre et ne révèlent que la capacité de récupération, sans permettre de jauger d'autres formes de compréhension du long contexte.

Dans ce travail, nous proposons RULER, un nouveau benchmark pour évaluer les capacités de modélisation à long contexte des modèles de langage. RULER contient quatre catégories de tâches pour tester des comportements (Ribeiro et al., 2020) allant au-delà de la simple récupération dans le contexte :

1. Récupération : nous étendons le test de l'aiguille dans une botte de foin (Kamradt, 2023 ; NIAH) afin d'évaluer la capacité de récupération avec divers types et quantités d'aiguilles. 2. Traçage multi-sauts : nous proposons le suivi de variables, une tâche mandataire minimale pour la résolution de chaînes de coréférence, afin de vérifier le comportement de traçage d'entités présentant des connexions multi-sauts. 3. Agrégation : nous proposons l'extraction de mots communs/fréquents, des tâches mandataires pour le résumé visant à tester la capacité à agréger des informations pertinentes réparties sur un contexte de longue portée.

Contexte en lecture seule pour la compréhension de la source (ne pas traduire) :1 Introduction1. Retrieval : nous étendons le test de l'aiguille dans une botte de foin (Kamradt, 2023 ; NIAH) pour évaluer la capacité de récupération avec des types et des quantités variés d'aiguilles.2. Multi-hop Tracing : nous proposons le suivi de variables, une tâche proxy minimale pour la résolution de chaînes de coréférence afin de vérifier le comportement du suivi d'entités avec des connexions multi-sauts.3. Aggregation : nous proposons l'extraction de mots communs/fréquents, des tâches proxy pour le résumé afin de tester la capacité à agréger des informations pertinentes.Texte à traduire :
Benchmark & TâcheLongueur moy.TypeTâches diversesConnaissances paramétriques min.Contexte contrôlable
ZeroSCROLLS~10kréaliste✓XX
L-Eval~8kréaliste✓XX
BAMBOO~16kréaliste✓✓X
LongBench~8khybride✓XX
LooGLE~20khybride✓✓X
InfiniteBench~200khybride✓✓X
Needle-in-a-haystack (NIAH)quelconquesynthétiqueX✓✓
Passkey / Line / KV RetrievalquelconquesynthétiqueX✓✓
RULER (Notre méthode) quelconque synthétique ✓ ✓ ✓ Tableau 1 : Comparaison entre les benchmarks existants pour contexte long et RULER. Le type « réaliste » désigne des données annotées par des humains, tandis que le type « synthétique » désigne des données générées automatiquement. RULER inclut divers domaines de tâches au-delà de la récupération, réduit la dépendance aux connaissances paramétriques grâce à des entrées synthétiques et offre la flexibilité de contrôler les contextes pour différentes longueurs de séquence et complexités de tâche. Dans RULER, les contextes peuvent être ajustés en modifiant le volume ou le placement des informations pertinentes et distractrices.

4. Réponse à des questions : nous ajoutons des informations distractrices à l'entrée de jeux de données existants de réponse à des questions à contexte court afin d'évaluer la capacité de réponse à des questions à diverses tailles de contexte.

Comparé aux benchmarks réalistes existants (Tableau 1), RULER est composé uniquement de tâches synthétiques, ce qui offre la flexibilité de contrôler la longueur de séquence et la complexité des tâches. L'entrée synthétique de RULER réduit la dépendance aux connaissances paramétriques, qui interfèrent avec l'utilisation de l'entrée à long contexte dans les tâches réalistes (Shaham et al., [2023] ; Bai et al., [2023]).

À l'aide de RULER, nous évaluons Gemini-1.5 (Reid et al., [2024]), GPT-4 (OpenAI : Josh Achiam et al., [2023]) et 15 modèles open source dont la longueur de contexte varie de 4k à 128k. Bien qu'ils atteignent des performances presque parfaites au test NIAH original, presque tous les modèles présentent une forte dégradation sur les tâches plus complexes de RULER à mesure que la longueur de séquence augmente. Alors que tous les modèles revendiquent une taille de contexte de 32k tokens ou plus, nos résultats indiquent que seule la moitié d'entre eux peut traiter efficacement une longueur de séquence de 32K en dépassant un seuil qualitatif. De plus, presque tous les modèles passent sous le seuil avant d'atteindre les longueurs de contexte revendiquées. Afin d'obtenir des comparaisons fines entre modèles, nous agrégeons les performances de 4k à 128k à l'aide de deux scores moyens pondérés, où les poids simulent la distribution des longueurs des cas d'usage réels. Les deux meilleurs modèles — Gemini-1.5 et GPT-4 — surpassent systématiquement les autres modèles, quel que soit le schéma de pondération choisi.

Nous analysons ensuite Yi-34B, qui revendique une longueur de contexte de 200K et obtient des performances raisonnablement bonnes sur RULER parmi les modèles open source. Nos résultats démontrent une forte dégradation des performances de Yi à mesure que nous augmentons la longueur d'entrée et la complexité des tâches. À de grandes tailles de contexte, Yi-34B renvoie souvent des réponses incomplètes et échoue à localiser précisément l'information pertinente. De plus, nous observons deux comportements qui émergent avec l'augmentation de la taille du contexte sur plusieurs modèles : une dépendance accrue aux connaissances paramétriques et une tendance accrue à copier depuis le contexte pour les tâches de non-récupération. Nos ablations supplémentaires démontrent que l'entraînement sur des séquences plus longues ne conduit pas toujours à de meilleures performances sur RULER, et que des tailles de modèle plus grandes sont positivement corrélées à de meilleures capacités de long contexte. Enfin, nous montrons que les architectures non Transformer, telles que RWKV et Mamba, restent largement en retard par rapport aux Transformers sur RULER.

Nos contributions sont les suivantes :

- Nous proposons un nouveau benchmark, RULER, pour évaluer les modèles de langage à long contexte via des tâches synthétiques aux configurations flexibles. - Nous introduisons de nouvelles catégories de tâches, notamment le traçage multi-sauts et l'agrégation, afin de tester des comportements autres que la récupération dans un long contexte. - Nous évaluons 17 ML à long contexte à l'aide de RULER et réalisons une analyse à travers les modèles et les complexités de tâches.

Nous publions RULER en open source afin de stimuler la recherche future sur les modèles de langage à long contexte.

2 Travaux connexes

Modèles de langage à long contexte. De nombreux modèles de langage à long contexte ont été introduits récemment grâce aux progrès en ingénierie et dans les conceptions architecturales et algorithmiques. Flash attention (Dao et al., 2022 ; Dao, 2023) et Ring attention (Liu et al., 2023) réduisent considérablement l'empreinte mémoire requise pour traiter un long contexte. Divers mécanismes d'attention parcimonieuse (Child et al., 2019 ; Jaszczur et al., 2021), tels que l'attention parcimonieuse décalée (Chen et al., 2024), l'attention dilatée (Ding et al., 2023) et les puits d'attention (attention sinks ; Han et al., 2023 ; Xiao et al., 2024b), ont été employés pour permettre une mise à l'échelle efficace du contexte. De nouvelles méthodes d'encodage positionnel ont été proposées pour améliorer l'extrapolation en longueur des Transformers (Vaswani et al., 2017), notamment ALiBi (Press et al., 2022), xPOS (Sun et al., 2023b) et les variantes de RoPE (Su et al., 2023) (Chen et al., 2023 ; Xiong et al., 2023 ; Peng et al., 2024 ; Liu et al., 2024b ; Ding et al., 2024 ; Zhu et al., 2024). Un autre axe de recherche se concentre sur la réduction de la taille du contexte. Cela peut être réalisé en mettant en cache le contexte précédent à l'aide d'un mécanisme de récurrence (Zhang et al., 2024a ; Bulatov et al., 2023 ; Martins et al., 2022 ; Wu et al., 2022), en récupérant les informations pertinentes dans le contexte (Xu et al., 2024a ; Mohtashami & Jaggi, 2023 ; Wang et al., 2024 ; Tworkowski et al., 2024 ; Xiao et al., 2024a), ou en préservant l'information saillante par compression (Jiang et al., 2023). Enfin, de nouvelles architectures (Gu et al., 2022 ; Fu et al., 2023a ; Poli et al., 2023 ; Fu et al., 2023b ; Sun et al., 2023a ; Beck et al., 2024 ; Sun et al., 2024) telles que Mamba (Gu & Dao, 2023) et RWKV (Peng et al., 2023) ont également été proposées pour traiter efficacement une entrée à long contexte.

Benchmarks et tâches à long contexte. Notre travail est étroitement lié à d'autres travaux sur l'évaluation des modèles de langage à long contexte. ZeroSCROLLS (Shaham et al., 2023) couvre dix tâches réalistes en langage naturel, telles que la réponse à des questions sur de longs documents et le résumé (basé sur des requêtes). L-Eval (An et al., 2024) utilise également des données réalistes, qui ont été filtrées manuellement pour garantir leur qualité. LongBench (Bai et al., 2023) contient des tâches dans un cadre bilingue. InfiniteBench (Zhang et al., 2024b) inclut des tâches dont la longueur dépasse 100K tokens. LTM (Castillo et al., 2024) cible l'évaluation des conversations à long terme. Afin d'isoler l'effet des connaissances paramétriques, des travaux antérieurs (Dong et al., 2023 ; Li et al., 2023b) ont également proposé d'utiliser des documents publiés en ligne après une certaine date limite, ou d'exploiter des matériaux extrêmement peu dotés en ressources (Tanzer et al., 2024). Comparées aux benchmarks réalistes, les tâches synthétiques offrent une plus grande flexibilité pour contrôler la configuration (par exemple, la longueur de séquence et la complexité des tâches) et sont moins affectées par les connaissances paramétriques. Des travaux récents se sont principalement concentrés sur des tâches synthétiques fondées sur la récupération (Kamradt, 2023 ; Mohtashami & Jaggi, 2023 ; Li et al., 2023a ; Liu et al., 2024d ; Lee et al., 2024), quelques-uns examinant d'autres aspects, notamment le raisonnement factuel (Kuratov et al., 2024 ; Karpinska et al., 2024), la modélisation du discours à longue portée (Sun et al., 2022), la réponse à des questions (Levy et al., 2024 ; Yuan et al., 2024), l'apprentissage en contexte à nombreux exemples (many-shot in-context learning ; Agarwal et al., 2024 ; Bertsch et al., 2024 ; Xu et al., 2024b) et la compréhension de code (Liu et al., 2024c).

3 Le benchmark RULER

RULER comprend des tâches réparties en quatre catégories : la récupération, le traçage multi-sauts, l'agrégation et la réponse aux questions. Les exemples d'évaluation de RULER sont générés automatiquement à partir de configurations d'entrée (voir le tableau 2) qui définissent la longueur et la complexité de chaque entrée. Dans un domaine contraint comme celui de RULER, la complexité de la tâche peut être considérée comme une fonction du nombre de jetons de sortie cibles et du rapport signal-bruit dans le contexte. Nous renvoyons les lecteurs à (Goldman et al., 2024) pour une discussion plus complète sur la conception des tâches d'évaluation pour les modèles de langage à contexte long.

3.1 Récupération : Aiguille dans une botte de foin (NIAH)

Des travaux récents (Reid et al., 2024 ; Anthropic, 2023) emploient couramment le test de l'aiguille dans une botte de foin (Kamradt, 2023 ; NIAH) pour évaluer la capacité de modélisation à contexte long. Le test NIAH rappelle les tâches de rappel associatif largement étudiées (Hopfield, 1982 ; Graves et al., 2014 ; Olsson et al., 2022 ; Arora et al., 2024), dans lesquelles des informations pertinentes doivent être récupérées à partir du contexte étant donné une requête suffisante. Dans RULER, nous incluons plusieurs tâches fondées sur la récupération, étendant le test NIAH classique afin d'évaluer les modèles selon trois

Contexte en lecture seule pour comprendre la source (ne constitue pas le texte source à traduire) :
3.1 Récupération : Needle-in-a-haystack (NIAH)
Des travaux récents (Reid et al., 2024 ; Anthropic, 2023) emploient couramment le test needle-in-a-haystack (Kamradt, 2023 ; NIAH) pour évaluer la capacité de modélisation de contextes longs. Le test NIAH rappelle les tâches de rappel associatif largement étudiées (Hopfield, 1982 ; Graves et al., 2014 ; Olsson et al., 2022 ; Arora et al., 2024), dans lesquelles des informations pertinentes doivent être récupérées dans le contexte à partir d'une requête suffisante. Dans RULER, nous incl
Texte à traduire :Tâche
Configuration
Exemple
SingleNIAH(S-NIAH)
type_key = wordtype_value = numbertype_haystack = essaysize_haystack < context length(essais) L'un des nombres magiques spéciaux pour le contexte long est : 12345. Quel est le nombre magique spécial pour le contexte long mentionné dans le texte fourni ? Réponse : 12345
Multi-keysNIAH(MK-NIAH)
num_keys = 2type_key = wordtype_value = numbertype_haystack = essaysize_haystack < context length(essais) L'un des nombres magiques spéciaux pour le contexte long est : 12345. L'un des nombres magiques spéciaux pour le grand modèle est : 54321. Quel est le nombre magique spécial pour le contexte long mentionné dans le texte fourni ? Réponse : 12345
Multi-valuesNIAH(MV-NIAH)
num_values = 2type_key = wordtype_value = numbertype_haystack = essaysize_haystack < context length(essais) L'un des nombres magiques spéciaux pour le contexte long est : 12345. L'un des nombres magiques spéciaux pour le contexte long est : 54321. Quels sont tous les nombres magiques spéciaux pour le contexte long mentionnés dans le texte fourni ? Réponse : 12345 54321
Multi-queriesNIAH(MQ-NIAH)
num_queries = 2type_key = wordtype_value = numbertype_haystack = essaysize_haystack < context length(essais) L'un des nombres magiques spéciaux pour le contexte long est : 12345. L'un des nombres magiques spéciaux pour le grand modèle est : 54321. Quels sont tous les nombres magiques spéciaux pour le contexte long et le grand modèle mentionnés dans le texte fourni ? Réponse : 12345 54321
VariableTracking(VT)
num_chains = 2num_hops = 2size_noises < context length(bruits) VAR X1 = 12345 .... VAR Y1 = 54321 .... VAR X2 = X1 .... VAR Y2 = Y1 .... VAR X3 = X2 .... VAR Y3 = Y2 .... Trouvez toutes les variables auxquelles est attribuée la valeur 12345. Réponse : X1 X2 X3
Common WordsExtraction(CWE)
freq_cw = 2, freq_ucw = 1num_cw = 10num_ucw < context lengthaaa bbb cca aaa ddd eee ccc fff ggg hhh iii iii .... Quels sont les 10 mots les plus courants dans la liste ci-dessus ? Réponse : aaa ccc iii ....
Frequent WordsExtraction(FWE)
α = 2num_word < context lengthaaa bbb cca aaa ddd eee ccc fff ggg aaa hhh aaa ccc iii iii .... Quels sont les 3 mots les plus fréquemment apparus dans le texte codé ci-dessus ? Réponse : aaa ccc iii
QuestionAnswering(QA)
dataset = SQuADnum_document < context length
Document 1 : .... aaa .... Document 2 : .... bbb .... Document 3 : .... ccc .... Question : question Réponse : bbb
Tableau 2 : Exemples de tâches avec configurations flexibles dans RULER. Nous utilisons différentes couleurs pour mettre en évidence les requêtes, les clés, les valeurs et les distracteurs dans nos exemples.

critères. Concrètement, la capacité de récupération doit être (1) indépendante du type d'« aiguille » et de « botte de foin », (2) suffisamment forte pour ignorer les distracteurs difficiles, et (3) d'un rappel élevé lorsque plusieurs éléments doivent être récupérés. Sur la base de ces critères, nous développons quatre tâches NIAH. L'« aiguille » dans chacune de ces tâches est une paire clé-valeur insérée dans la « botte de foin » (longs textes distracteurs). La requête est située à la fin de la séquence et sert d'indice pour faire correspondre les clés dans le contexte et récupérer ensuite les valeurs associées.

- NIAH simple (S-NIAH) : il s'agit du test NIAH classique où une seule « aiguille » doit être récupérée dans la « botte de foin ». La requête/clé/valeur peut prendre la forme de mots, de nombres (7 chiffres) ou d'UUID (32 chiffres). La « botte de foin » peut être constituée de phrases de bruit répétées ou d'essais de Paul Graham (Kamradt, 2023).- NIAH multi-clés (MK-NIAH) : plusieurs « aiguilles » sont insérées dans la « botte de foin », et une seule d'entre elles doit être récupérée. Les « aiguilles » supplémentaires sont des distracteurs difficiles. Le paramètre le plus exigeant est une version où la « botte de foin » est remplie d'aiguilles distractrices.

Figure 1 : Dans les tâches d'agrégation, nous échantillonnons des mots d'un vocabulaire selon les deux distributions ci-dessus. L'extraction de mots communs (CWE) échantillonne à partir de distributions uniformes. Dans l'extraction de mots fréquents (FWE), la fréquence de chaque mot est déterminée par son rang dans le vocabulaire et le paramètre \alpha de la distribution de Zeta.
Figure 1 : Dans les tâches d'agrégation, nous échantillonnons des mots d'un vocabulaire selon les deux distributions ci-dessus. L'extraction de mots communs (CWE) échantillonne à partir de distributions uniformes. Dans l'extraction de mots fréquents (FWE), la fréquence de chaque mot est déterminée par son rang dans le vocabulaire et le paramètre α\alpha de la distribution de Zeta.

- NIAH multi-valeurs (MV-NIAH) : plusieurs « aiguilles » partageant la même clé sont insérées dans la « botte de foin ». Toutes les valeurs associées à la même clé doivent être récupérées.- NIAH multi-requêtes (MQ-NIAH) : plusieurs « aiguilles » sont insérées dans la « botte de foin ». Toutes les « aiguilles » ayant des clés distinctes doivent être récupérées. Il s'agit de la même configuration de tâche de rappel associatif multi-requêtes que celle utilisée par Arora et al. (2024). Avec MV-NIAH, ces deux tâches évaluent la capacité de récupération sans omettre aucune information critique.

3.2 Traçage multi-sauts : suivi de variables (VT)

Une compréhension efficace du discours (van Dijk & Kintsch, 1983) dépend de la reconnaissance réussie des entités nouvellement mentionnées et de l'établissement de la chaîne de références coréférentielles à la même entité (Karttunen, 1969) tout au long du contexte long. Nous développons une nouvelle tâche, le suivi de variables, pour émuler une tâche minimale de résolution de chaîne de coréférence (Ng, 2010). Cette tâche vérifie le comportement consistant à suivre des motifs de cooccurrence pertinents et à établir des connexions sautées dans une entrée longue. Concrètement, une variable X1X1 est initialisée avec une valeur VV , suivie d'une chaîne linéaire d'instructions de liaison de noms de variables (par exemple, X2=X1X2 = X1 , X3=X2X3 = X2 , ...), qui sont insérées à diverses positions de l'entrée. L'objectif est de renvoyer tous les noms de variables pointant vers la même valeur VV . La complexité de la tâche peut être augmentée en ajoutant davantage de sauts (c'est-à-dire le nombre de liaisons de noms) ou davantage de chaînes, de manière similaire à l'ajout de distracteurs difficiles dans MK-NIAH.

3.3 Agrégation : mots communs (CWE) et extraction de mots fréquents (FWE)

Dans RULER, nous introduisons une nouvelle catégorie servant de substitut aux tâches de résumé, où les informations pertinentes constituent une portion beaucoup plus grande du contexte et où la sortie cible dépend d'une agrégation précise de l'entrée pertinente. Concrètement, nous construisons une séquence d'entrée en échantillonnant des mots à partir d'une liste de mots (synthétique) prédéfinie. Dans la tâche d'extraction de mots communs (CWE), les mots sont échantillonnés à partir de distributions uniformes discrètes, le nombre de mots communs étant fixé tandis que le nombre de mots peu communs augmente avec la longueur de la séquence. Dans la tâche d'extraction de mots fréquents (FWE), les mots sont échantillonnés à partir d'une distribution Zeta. La figure 1 montre une illustration de la fréquence des mots dans l'entrée construite. Un modèle doit renvoyer les KK mots les plus fréquents du contexte. Dans CWE, KK est égal au nombre de mots communs. Dans FWE, nous fixons KK à 3, car augmenter KK conduit à de mauvaises performances même pour de petites tailles de contexte chez la plupart des modèles. La complexité de la tâche peut être ajustée en faisant varier le nombre de mots communs ou le paramètre de la distribution Zeta.4

3.4 Réponse aux questions (QA)

La majorité des jeux de données QA existants (Rajpurkar et al., 2018 ; Yang et al., 2018 ; Trivedi et al., 2022) sont conçus pour répondre à des questions fondées sur de courts passages. Ces jeux de données peuvent être étendus pour simuler une entrée à contexte long en ajoutant des informations distractrices. Dans cette catégorie de tâches, nous insérons les paragraphes dorés (c'est-à-dire les paragraphes contenant les réponses) dans des paragraphes échantillonnés aléatoirement à partir du même jeu de données. Cette catégorie est une adaptation réelle (Ivgi et al., 2023) du NIAH, où la question sert de requête, les paragraphes dorés sont les « aiguilles » et les paragraphes distracteurs forment la « botte de foin ».

4 Expériences et résultats

Modèles et configuration d'inférence Nous sélectionnons 17 LLM à contexte long, dont 15 modèles ouverts et deux modèles fermés (Gemini-1.5-Pro et GPT-4), couvrant diverses tailles de modèles (7B à 8x22B avec architecture MoE) et longueurs de contexte revendiquées (32K à 1M). Les informations complètes sur ces modèles sont incluses dans l'annexe A. Nous évaluons tous les modèles à l'aide de vLLM (Kwon et al., 2023), un système de service de LLM doté d'une gestion efficace de la mémoire du cache KV. Pour tous les modèles, nous exécutons l'inférence en BFloat16 sur 8 GPU NVIDIA A100 avec un décodage glouton.

Configurations des tâches Nous testons tous les modèles sur 13 tâches couvrant diverses complexités issues des quatre catégories de RULER. Les configurations de test ont été sélectionnées (présentées dans l'annexe B) sur la base d'une étude de corrélation entre tâches décrite dans l'annexe C. Nous sélectionnons ces tâches car la plupart des modèles obtiennent des performances correctes à une taille de contexte courte de 4K tokens. Notre objectif principal est de voir si les modèles peuvent maintenir de bonnes performances avec l'augmentation de la longueur du contexte. Pour chaque tâche, nous évaluons chaque modèle avec 500 exemples générés pour chaque longueur de la série (4K, 8K, 16K, 32K, 64K, 128K), tout en respectant le modèle de chat requis par chaque modèle. Pour empêcher le modèle de refuser de répondre à une requête ou de générer des explications, nous ajoutons à l'entrée de la tâche un préfixe de réponse et vérifions la présence de la sortie cible au moyen d'une exactitude basée sur le rappel.

Taille effective du contexte Nous observons une forte dégradation des performances de tous les modèles à mesure que nous augmentons la longueur de l'entrée dans RULER. Pour déterminer la taille maximale de contexte qu'un modèle peut traiter efficacement, nous notons chaque modèle selon un seuil fixe ; le dépassement de ce seuil indique des performances satisfaisantes à la longueur d'évaluation. Nous utilisons comme seuil les performances du modèle Llama2-7b à une longueur de contexte de 4K. Nous rapportons dans le tableau 3 la longueur maximale dépassant le seuil comme « longueur effective », ainsi que la « longueur revendiquée ».

Critères de classement des modèles Bien que la notation fondée sur un seuil révèle l'écart entre longueur revendiquée et longueur effective, elle manque de détails pour des comparaisons fines entre modèles. Ainsi, nous utilisons un score moyen pondéré pour agréger les performances des modèles sur différentes tailles de contexte. Nous classons les modèles selon deux schémas de pondération : wAvg. (inc) et wAvg. (dec), où le poids augmente et diminue linéairement avec la longueur de séquence, respectivement. Idéalement, le poids de chaque longueur devrait être déterminé par la distribution des longueurs d'utilisation des modèles ; ici, nous choisissons les deux schémas pour simuler les scénarios où les séquences plus longues (inc) ou plus courtes (dec) dominent la distribution.

Résultats principaux Nous incluons les résultats de 17 LM à contexte long en comparaison avec la référence Llama2-7B dans le tableau 3. La performance à une longueur donnée est la moyenne des 13 tâches de RULER. Le modèle fermé Gemini-1.5-Pro surpasse largement les autres modèles, avec une longueur effective supérieure à la longueur maximale que nous avons testée. Tester ce modèle sous pression avec une version plus difficile de RULER pourrait être intéressant à suivre dans de futurs travaux. Pour les autres modèles, bien qu'ils atteignent des performances presque parfaites sur la récupération de mot de passe et la tâche NIAH classique (présentées dans l'annexe E), tous présentent une forte dégradation dans RULER à mesure que la longueur de séquence augmente et ils ne parviennent pas à maintenir des performances supérieures à la référence Llama2-7B à leur longueur revendiquée. Les modèles ouverts les mieux classés (Llama3.1, Qwen2 et Command-R-plus) partagent des configurations communes, telles qu'une plus grande taille de modèle et l'utilisation de fréquences de base plus élevées dans

ModèlesLongueur annoncéeLongueur effective4K8K16K32K64K128KMoy.Moy. pondérée (croiss.)Moy. pondérée (décroiss.)
Llama2 (7B)4K-85,6
Gemini-1.5-Pro1M>128K96,795,896,095,995,994,495,895,5(1er)96,1(1er)
GPT-4128K64K96,695,395,293,287,081,291,689,0(2e)94,1(2e)
Llama3.1 (70B)128K64K96,595,895,494,888,466,689,685,5(4e)93,7(3e)
Qwen2 (72B)128K32K96,996,194,994,179,853,785,979,6(9e)92,3(4e)
Contexte de référence en lecture seule pour comprendre la source (il ne s'agit pas du texte source à traduire) : 4 Expériences et résultats Résultats principaux Nous incluons les résultats de 17 modèles de langage de contexte long en comparaison avec la référence Llama2-7B dans le tableau 3. La performance à une certaine longueur est la moyenne des 13 tâches de RULER. Le modèle à source fermée Gemini-1.5-Pro surpasse largement le reste des modèles, avec une longueur effective supérieure à la longueur maximale que nous avons testée. Tester ce modèle sous pression avec une version plus difficile de RULER pourrait être intéressant à approfondir dans Texte à traduire : Command-R-plus (104B)128K32K95,695,294,292,084,363,187,482,7 (7e)92,1 (5e)
GLM4 (9B)1M64K94,792,892,189,986,783,189,988,0 (3e)91,7 (6e)
Llama3.1 (8B)128K32K95,593,891,687,484,777,088,385,4 (5e)91,3 (7e)
GradientAI/Llama3 (70B)1M16K95,194,490,885,480,972,186,582,6 (8e)90,3 (8e)
Mixtral-8x22B (39B/141B)64K32K95,694,993,490,984,731,781,973,5 (11e)90,3 (9e)
Yi (34B)200K32K93,392,291,387,583,277,387,584,8 (6e)90,1 (10e)
Phi3-medium (14B)128K32K93,393,291,186,878,646,181,574,8 (10e)88,3 (11e)
Mixtral-v0.2 (7B)32K16K93,691,287,275,449,013,868,455,6 (13e)81,2 (12e)
LWM (7B)1M<4K82,378,473,769,168,165,072,869,9 (12e)75,7 (13e)
DBRX (36B/132B)32K8K95,193,883,663,12,40,056,338,0 (14e)74,7 (14e)
Together (7B)32K4K88,281,169,463,00,00,050,333,8 (15e)66,7 (15e)
LongChat (7B)32K<4K84,779,970,859,30,00,049,133,1 (16e)65,2 (16e)
LongAlpaca (13B)32K<4K60,657,056,643,60,00,036,324,7 (17e)47,9 (17e)
Tableau 3 : Performances en contexte long (%)(\%) de modèles sélectionnés évaluées sur des longueurs allant de 4K à 128K. Chaque score est calculé en faisant la moyenne de la précision de 13 tâches dans RULER. Les performances dépassant celles de Llama2-7B à 4K (85,6%)(85,6\%) sont soulignées. La longueur de contexte effective est la longueur maximale franchissant ce seuil. Le score moyen pondéré (wAvg.) agrège les performances sur toutes les tailles de contexte, avec des poids croissant (inc) ou décroissant (dec) linéairement afin de simuler la distribution des longueurs dans un usage réel. Nous indiquons le rang de chaque modèle en indice. Plus de détails sur les modèles sélectionnés figurent en annexe A.

RoPE (Xiong et al., 2023). Une grande fenêtre de contexte d'entraînement n'est pas toujours nécessaire pour de bonnes performances en contexte long : les modèles ouverts les mieux classés comprennent à la fois une mise à l'échelle forcée du contexte (Llama3.1 entraîné sur une longueur de contexte de 128K) et une extrapolation de longueur au moment de l'inférence (Qwen2 entraîné sur une longueur de contexte de 32K). Les modèles moins performants incluent également ceux entraînés sur une taille de contexte bien plus grande (par exemple, LWM et GradientAI/Llama3, tous deux sur une longueur de contexte de 1M). Bien que LWM obtienne un rang supérieur à Mistral-v0.2 lorsque les séquences plus longues reçoivent un poids plus important (wAvg. inc) et montre une moindre dégradation à mesure que la taille du contexte augmente, il performe moins bien que Llama2-7B même à 4K. Ce résultat suggère un compromis, dans l'évaluation, entre la performance absolue sur des séquences courtes et la dégradation relative avec l'augmentation de la taille du contexte. Nous fournissons davantage d'analyses sur la taille du modèle et la longueur maximale d'entraînement dans la section 6.

5 Analyse des erreurs par tâche

Nous évaluons Yi-34B-200K avec des longueurs d'entrée accrues (jusqu'à 256K) sur des tâches plus complexes afin de comprendre l'effet des configurations de tâches et des modes de défaillance sur RULER.

Non-robustesse aux types « aiguille ». La figure 2 (à gauche) montre que, bien que Yi obtienne des performances presque parfaites lorsqu'il utilise une aiguille de type paire mot-nombre dans la récupération de clés d'accès standard et le NIAH classique, les performances se dégradent lorsque l'aiguille prend d'autres formes. Nous observons la plus forte dégradation dans la tâche de récupération d'UUID, pour laquelle Yi échoue parfois à renvoyer les 32 chiffres complets étant donné un contexte d'entrée long ( >128K>128\mathrm{K} ).

Échec à ignorer les distracteurs. La figure 2 (au milieu à gauche) montre que l'augmentation du nombre d'aiguilles distractrices fait régulièrement baisser les performances, Yi chutant d'environ ∼40\sim 40 points à 256K dans la version extrême, où le contexte est rempli d'aiguilles non pertinentes (#K=FULL). L'analyse des erreurs révèle que Yi échoue à ignorer efficacement les distracteurs difficiles étant donné un contexte d'entrée long, et récupère donc de manière incorrecte les valeurs associées aux clés des distracteurs. Dans la version extrême, Yi renvoie souvent des valeurs provenant du voisinage de la cible, ce qui suggère une correspondance grossière de la plage mais un manque de précision pour localiser la clé lorsque la cible est dans la distribution des bruits.

Renvoi d'informations incomplètes. Conformément à des travaux antérieurs (Liu et al., 2024a ; Reid et al., 2024), nous remarquons une dégradation significative des performances lorsque le modèle doit récupérer plusieurs éléments à partir d'une entrée longue. Par exemple, l'augmentation du nombre de requêtes de 1 à 8 fait chuter les performances d'environ ∼15\sim 15 points (figure 2 à droite). Lorsque le modèle doit récupérer plusieurs valeurs associées à la même clé (figure 2 au milieu à droite), Yi produit souvent des réponses dupliquées sans renvoyer l'ensemble complet des valeurs, ce qui implique des associations inégales entre la clé et chacune de ses valeurs.

Tendance à copier depuis le contexte. Nous remarquons que Yi a une forte tendance à copier verbatim depuis le contexte lorsqu'on augmente la longueur de l'entrée. Cette tendance est particulièrement notable dans le suivi de variables (VT) et l'extraction de mots courants (CWE), où nous incluons une démonstration en contexte au début de la séquence. Plus de 80%80\% de la sortie de Yi dans la tâche CWE à 128K est simplement une chaîne copiée depuis l'exemple one-shot, alors que cette copie est inexistante pour les séquences courtes. Ce comportement de copie est également présent dans le modèle LWM et LongAlpaca, mais il est moins répandu dans d'autres modèles, tels que Mixtral. Cette constatation renforce encore la nécessité de tester des comportements autres que la récupération étant donné un contexte d'entrée long.

Suivi peu fiable dans le contexte. Pour la tâche de suivi de variables, tant l'ajout de chaînes supplémentaires que l'ajout de sauts supplémentaires contribuent à une forte dégradation des performances de Yi. Yi se dégrade systématiquement dans le paramètre à plus grand nombre de sauts à mesure que nous augmentons la taille du contexte (figure 3, à gauche), tandis que la dégradation dans le paramètre à plus grand nombre de chaînes est la plus significative pour des longueurs supérieures à 128K (figure 3, au milieu à gauche). Outre le problème de copie susmentionné, Yi commet des erreurs en renvoyant incorrectement des chaînes vides ou des variables provenant d'autres chaînes, ce qui implique un manque de capacité à suivre de manière fiable la même entité dans un contexte long. Ces erreurs sont également fréquemment observées dans les modèles qui n'adoptent pas le comportement de copie.

Figure 2 : Performance de Yi-34B dans les tâches d'aiguille dans une botte de foin (NIAH). Par défaut, nous utilisons mot-nombre comme paire clé-valeur et les essais de Paul Graham comme botte de foin. Yi n'est pas robuste au changement des types d'aiguilles et se dégrade avec l'augmentation du nombre de distracteurs. (W : mots ; N : nombres ; U : UUID ; Full : botte de foin entière).
Figure 2 : Performance de Yi-34B dans les tâches d'aiguille dans une botte de foin (NIAH). Par défaut, nous utilisons mot-nombre comme paire clé-valeur et les essais de Paul Graham comme botte de foin. Yi n'est pas robuste au changement des types d'aiguilles et se dégrade avec l'augmentation du nombre de distracteurs. (W : mots ; N : nombres ; U : UUID ; Full : botte de foin entière).
Figure 3 : Performance de Yi-34B dans les tâches de suivi de variables (VT), d'extraction de mots fréquents (FWE) et de questions-réponses (QA) à différents niveaux de complexité. Yi présente une dégradation importante et des tendances distinctes lorsque la taille du contexte augmente dans ces tâches non liées à la récupération, ce qui démontre la nécessité d'évaluer le comportement au-delà de la récupération à partir du contexte.
Figure 3 : Performance de Yi-34B dans les tâches de suivi de variables (VT), d'extraction de mots fréquents (FWE) et de questions-réponses (QA) à différents niveaux de complexité. Yi présente une dégradation importante et des tendances distinctes lorsque la taille du contexte augmente dans ces tâches non liées à la récupération, ce qui démontre la nécessité d'évaluer le comportement au-delà de la récupération à partir du contexte.

Figure 4 : (Gauche et milieu gauche) : Comparaison de la série LargeWorldModel (LWM) entraînée jusqu'à diverses tailles de contexte avec une taille de paramètres fixe de 7B. (Milieu droite) : Comparaison des modèles de la suite Yi avec différentes tailles de paramètres et une longueur de contexte d'entraînement contrôlée de 200K. (Droite) : Les performances des architectures non-Transformer sont largement en retrait par rapport à la référence Transformer Llama2-7B. L'extrapolation de longueur est représentée par des lignes pointillées.

Échec d'agrégation précise. Nous observons deux modes d'échec courants dans les tâches d'agrégation : l'utilisation incorrecte des connaissances paramétriques et une agrégation imprécise. Les modèles qui ne présentent pas le problème de copie dans la tâche CWE ignorent parfois l'information contextuelle et utilisent plutôt les connaissances paramétriques pour répondre à la requête, en particulier pour de grandes tailles de contexte. Par exemple, Mistral (7b-instruct-v0.2) renvoie des mots très fréquents, tels que « the », « an », « a », comme sortie sans compter les mots dans le contexte. Pour la tâche FWE, qui présente moins le problème de copie, Yi échoue à produire correctement les mots les plus fréquents à mesure que nous diminuons le α\alpha de la distribution Zeta (Figure 3 milieu-droite). La diminution de α\alpha réduit l'écart de fréquence entre les mots, ce qui accroît la difficulté à distinguer les mots les plus fréquents.

Hallucination fréquente en QA à long contexte. Pour les tâches de QA, les performances de Yi se rapprochent de sa référence sans contexte à mesure que nous étendons le contexte avec des paragraphes distracteurs (Figure 3 droite). La dégradation provient principalement d'hallucinations et d'une moindre reliance sur l'information contextuelle. Nous remarquons que, pour de grandes tailles de contexte, les prédictions du modèle sont parfois sans rapport avec la question et peuvent coïncider avec les réponses de sa référence sans contexte. La performance globalement moins bonne dans les tâches de QA confirme que l'appariement flou entre une requête et un paragraphe pertinent en contexte long constitue un cadre plus difficile que les tests NIAH simplistes, où les clés peuvent être localisées exactement dans le contexte.

6 Analyse du modèle

Effet de la longueur de contexte d'entraînement. Les modèles entraînés avec des tailles de contexte plus grandes sont-ils plus performants sur RULER ? Nous évaluons la suite de LargeWorldModels (Liu et al. [2024a] LWM) de taille de paramètres égale et entraînés jusqu'à diverses longueurs de contexte. La Figure 4 (gauche et milieu-gauche) montre que des tailles de contexte plus grandes conduisent globalement à de meilleures performances, mais le classement peut être incohérent pour les longues séquences. Par exemple, le modèle entraîné avec une taille de contexte de 1M (LWM-1M) est moins bon que celui avec 512K à une longueur de 256K, probablement en raison d'un entraînement insuffisant pour s'adapter à la nouvelle fréquence de base dans RoPE. De plus, nous observons des chutes abruptes de performance lorsque les modèles doivent extrapoler à des longueurs non vues (par exemple, LMW-128K avec une entrée de 256K), et une dégradation presque linéaire avec la longueur d'entrée en échelle logarithmique dans la limite de la taille de contexte d'entraînement maximale.

Effet de la taille du modèle. Les meilleurs modèles de nos résultats principaux sont bien plus grands que les autres modèles. Pour isoler l'effet de la taille du modèle, nous évaluons Yi-34B-200k, Yi-9B-200k et Yi-6B-200k, tous entraînés jusqu'à la même longueur de contexte avec le même mélange de données. La Figure 4 (milieu-droite) montre que le modèle 34B est nettement meilleur que le modèle 6B sur RULER, tant pour les performances à une longueur de 4K que pour la dégradation relative, ce qui suggère le bénéfice de l'augmentation de la taille des modèles pour une meilleure modélisation du contexte long.

Effet de l'architecture. Nous évaluons la longueur de contexte effective pour deux modèles à architecture non-Transformer : RWKV-v5 (Peng et al. [2023]) et Mamba-2.8B-slimpj (Gu &Dao | 2023). Nous constatons que les deux modèles présentent une dégradation significative lorsqu'on étend la taille de contexte à 8K, et que tous deux sont largement en retrait par rapport à la référence Transformer Llama2-7B jusqu'à la longueur de 4K, au-delà de laquelle Llama2 présente de faibles performances d'extrapolation de longueur (Figure 4 droite).

7 Conclusion

Nous présentons RULER, un benchmark synthétique pour évaluer les modèles de langage à long contexte. RULER contient diverses catégories de tâches — récupération, traçage multi-sauts, agrégation et question-réponse — offrant une évaluation flexible et complète des capacités à long contexte des LLM. Nous évaluons 17 LM à long contexte avec RULER, avec des tailles de contexte allant de 4K à 128K. Bien qu'ils obtiennent des résultats parfaits au test needle-in-a-haystack largement utilisé, presque tous les modèles échouent à maintenir leurs performances dans les autres tâches de RULER à mesure que nous augmentons la longueur d'entrée. Nous observons des modes d'échec courants pour de grandes tailles de contexte, notamment l'échec à ignorer les distracteurs et une utilisation inefficace du contexte long (par exemple, se contenter de copier depuis le contexte ou d'utiliser les connaissances paramétriques à la place). Nous montrons que RULER est exigeant même pour les modèles open source les mieux classés à mesure que nous augmentons la complexité des tâches. Notre analyse révèle en outre le large potentiel d'amélioration sur RULER et le bénéfice de l'augmentation de la taille des modèles pour atteindre de meilleures capacités à long contexte.

8 Limites

Bien qu'il couvre davantage de catégories de tâches que les benchmarks orientés récupération, RULER présente plusieurs limites que nous décrivons en détail ci-dessous.

Absence de contrôle de la position. RULER rapporte actuellement une métrique unique par longueur d'entrée sans fournir les performances au niveau de la profondeur. Les performances au niveau de la profondeur ont été évaluées par le test NIAH (Kamradi | 2023) et des travaux récents tels que LV-Eval (Yuan et al. 2024) et peuvent être efficaces pour révéler le phénomène de « perdu au milieu » (Liu et al. 2024d). Nous sommes conscients de ce problème et prévoyons de prendre en charge le contrôle de la position de l'information clé dans notre base de code.

Absence de corrélation avec des tâches réalistes à long contexte. Bien que des tâches telles que le suivi de variables et l'extraction de mots fréquents aient été proposées comme substituts aux tâches réalistes de langage naturel à long contexte, l'absence de tâches réalistes à long contexte faciles à évaluer nous empêche de vérifier la validité de ces substituts. En raison de cette limite, nous soulignons que RULER peut être utilisé comme contrôles comportementaux pratiques des modèles de langage à long contexte ; il ne devrait toutefois pas être préféré à des cadres plus réalistes, tels que NoCHA (Karpinska et al. 2024), qui mettent également l'accent sur d'autres capacités comme le raisonnement et le suivi d'instructions.

Absence d'évaluation sur contexte court. Dans la suite de tâches actuelle de RULER, nous incluons des tâches que la plupart des modèles réalisent raisonnablement bien avec une taille de contexte de 4k, et visons à observer la dégradation des performances avec l'augmentation de la taille du contexte. Cela ne doit pas être interprété comme des capacités parfaites des LM à une taille de contexte de 4k. En fait, des travaux récents, tels que FlenQA (Levy et al. 2024), ont démontré une dégradation des performances lorsqu'on augmente la longueur d'entrée de leur tâche à seulement quelques milliers de tokens. Bien que l'augmentation de la complexité des tâches dans RULER conduise à des performances bien moins bonnes avec des tailles de contexte plus courtes, nous n'avons pas inclus ces résultats dans cet article.

Absence de vérification de la robustesse aux prompts. Les modèles de langage peuvent être sensibles au format du prompt ; toutefois, nous n'avons pas mené une étude exhaustive sur la robustesse aux prompts au-delà de tests préliminaires réalisés au début de ce travail. Nous n'avons pas non plus expérimenté de manière approfondie avec quelques hyperparamètres fixés dans les tâches existantes, tels que la longueur des noms de variables dans le suivi de variables et la taille du vocabulaire synthétique dans l'extraction de mots communs et l'extraction de mots fréquents.

Références

Marah Abdin, Sam Ade Jacobs, Ammar Ahmad Awan, Jyoti Aneja, Ahmed Awadallah, Hany Awadalla, Nguyen Bach, Amit Bahree, Arash Bakhtiari, Harkirat Behl, et al. Phi-3 technical report: A highly capable language model locally on your phone. arXiv preprint arXiv:2404.14219, 2024.

Rishabh Agarwal, Avi Singh, Lei M Zhang, Bernd Bohnet, Stephanie Chan, Ankesh Anand, Zaheer Abbas, Azade Nova, John D Co-Reyes, Eric Chu, et al. Many-shot in-context learning. arXiv preprint arXiv:2404.11018, 2024.

AI21. Introducing jamba: Ai21's groundbreaking ssm-transformer model, 2024. URL https://www.ai21.com/blog/announcing-jamba

Chenxin An, Shansan Gong, Ming Zhong, Mukai Li, Jun Zhang, Lingpeng Kong, and Xipeng Qiu. L-eval: Instituting standardized evaluation for long context language models. In ICLR, 2024.

Anthropic. Long context prompting for Claude 2.1. Blog, 2023. URL https://www.anthropic.com/index/claude-2-1-prompting

Anthropic. Introducing the next generation of claude, 2024. URL https://www.anthropic.com/news/claude-3-family

Simran Arora, Sabri Eyuboglu, Aman Timalsina, Isys Johnson, Michael Poli, James Zou, Atri Rudra, and Christopher Ré. Zoology: Measuring and improving recall in efficient language models. In ICLR, 2024.

Yushi Bai et al. LongBench: A bilingual, multitask benchmark for long context understanding. arXiv:2308.14508, 2023.

Maximilian Beck, Korbinian Pöppel, Markus Spanning, Andreas Auer, Oleksandra Prudnikova, Michael Kopp, Günter Klambauer, Johannes Brandstetter, and Sepp Hochreiter. xlstm: Extended long short-term memory. arXiv preprint arXiv:2405.04517, 2024.

Amanda Bertsch, Maor Ivgi, Uri Alon, Jonathan Berant, Matthew R Gormley et Graham Neubig. In-context learning with long-context models: An in-depth exploration. arXiv preprint arXiv:2405.00200, 2024.

Aydar Bulatov, Yuri Kuratov et Mikhail S Burtsev. Scaling Transformer to 1M tokens and beyond with RMT. arXiv:2304.11062, 2023.

David Castillo, Joseph Davidson, Finlay Gray, José Solorzano et Marek Rosa. Introducing GoodAI LTM benchmark. Blog, 2024. URL https://www.goodai.com/introducing-goodai-ltm-benchmark/

Shouyuan Chen, Sherman Wong, Liangjian Chen et Yuandong Tian. Extending context window of large language models via positional interpolation. In ICLR, 2023.

Yukang Chen, Shengju Qian, Haotian Tang, Xin Lai, Zhijian Liu, Song Han et Jiaya Jia. LongLoRA: Efficient fine-tuning of long-context large language models. In ICLR, 2024.

Rewon Child, Scott Gray, Alec Radford et Ilya Sutskever. Generating long sequences with sparse Transformers. arXiv:1904.10509, 2019.

Cohere. Command r, 2024. URL https://docs.cohere.com/docs/command-r-plus#model-details

Tri Dao. FlashAttention-2: Faster attention with better parallelism and work partitioning. arxiv:2307.08691, 2023.

Tri Dao, Daniel Y. Fu, Stefano Ermon, Atri Rudra et Christopher Ré. FlashAttention: Fast and memory-efficient exact attention with IO-awareness. In NeurIPS, 2022.

.

Databricks. Introducing dbrx: A new state-of-the-art open llm, 2024. URL https://www databricks.com/blog/introducing-dbrx-new-state-art-open-llm

Jiayu Ding et al. LongNet : Scaling Transformers to 1 000 000 000 tokens. arXiv:2307.02486, 2023.

Yiran Ding et al. LongRoPE : Extending LLM context window beyond 2 million tokens. arXiv:2402.13753, 2024.

Zican Dong, Tianyi Tang, Junyi Li, Wayne Xin Zhao, and Ji-Rong Wen. Bamboo : A comprehensive benchmark for evaluating long text modeling capacities of large language models. arXiv:2309.13345, 2023.

Daniel Y. Fu, Tri Dao, Khaled K. Saab, Armin W. Thomas, Atri Rudra, and Christopher Ré. Hungry Hungry Hippos : Towards language modeling with state space models. In ICLR, 2023a.

Daniel Y. Fu et al. Simple hardware-efficient long convolutions for sequence modeling. ICML, 2023b.

Yao Fu et al. Data engineering for scaling language models to 128k context. arXiv:2402.10171, 2024.

Team GLM, Aohan Zeng, Bin Xu, Bowen Wang, Chenhui Zhang, Da Yin, Diego Rojas, Guanyu Feng, Hanlin Zhao, Hanyu Lai, Hao Yu, Hongning Wang, Jiadai Sun, Jiajie Zhang, Jiale Cheng, Jiayi Gui, Jie Tang, Jing Zhang, Juanzi Li, Lei Zhao, Lindong Wu, Lucen Zhong, Mingdao Liu, Minlie Huang, Peng Zhang, Qinkai Zheng, Rui Lu, Shuaiqi Duan, Shudan Zhang, Shulin Cao, Shuxun Yang, Weng Lam Tam, Wenyi Zhao, Xiao Liu, Xiao Xia, Xiaohan Zhang, Xiaotao Gu, Xin Lv, Xinghan Liu, Xinyi Liu, Xinyue Yang, Xixuan Song, Xunkai Zhang, Yifan An, Yifan Xu, Yilin Niu, Yuantao Yang, Yueyan Li, Yushi Bai, Yuxiao Dong, Zehan Qi, Zhaoyu Wang, Zhen Yang, Zhengxiao Du, Zhenyu Hou, and Zihan Wang. Chatglm : A family of large language models from glm-130b to glm-4 all tools, 2024.

Omer Goldman, Alon Jacovi, Aviv Slobodkin, Aviya Maimon, Ido Dagan, and Reut Tsarfaty. Is it really long context if all you need is retrieval? towards genuinely difficult long context nlp. arXiv preprint arXiv:2407.00402, 2024.

Alex Graves, Greg Wayne, and Ivo Danihelka. Neural Turing machines. arXiv:1410.5401, 2014.

Albert Gu and Tri Dao. Mamba : Linear-time sequence modeling with selective state spaces. arXiv:2312.00752, 2023.

Albert Gu, Karan Goel, and Christopher Re. Efficiently modeling long sequences with structured state spaces. In ICLR, 2022.

Chi Han, Qifan Wang, Wenhan Xiong, Yu Chen, Heng Ji, and Sinong Wang. Lm-infinite : Simple on-the-fly length generalization for large language models. arXiv:2308.16137, 2023.

John J. Hopfield. Neural networks and physical systems with emergent collective computational abilities. Proc of the National Academy of Sciences of the United States of America, 79 8: 2554-8, 1982.

Maor Ivgi, Uri Shaham, and Jonathan Berant. Efficient long-text understanding with short-text models. Transactions of the ACL, 11:284-299, 2023.

Sam Ade Jacobs et al. DeepSpeed Ulysses : System optimizations for enabling training of extreme long sequence Transformer models. arXiv:2309.14509, 2023.

Sebastian Jaszczur et al. Sparse is enough in scaling transformers. In NeurIPS, 2021.

Albert Q Jiang et al. Mixtral of experts. arXiv:2401.04088, 2024.

Huiqiang Jiang et al. LongLlmLingua : Accelerating and enhancing LLMs in long context scenarios via prompt compression. arXiv:2310.06839, 2023.

Gregory Kamradt. Needle In A Haystack - pressure testing LLMs. Github, 2023. URL https://github.com/gkamradt/LLMTest.NeedleInAHaystack/tree/main

Marzena Karpinska, Katherine Thai, Kyle Lo, Tanya Goyal, and Mohit Iyyer. One thousand and one pairs : A" novel" challenge for long-context language models. arXiv preprint arXiv:2406.16264, 2024.

Lauri Karttunen. Discourse referents. In COLING, 1969.

George Kingsley Zipf. Selected studies of the principle of relative frequency in language. Harvard university press, 1932.

Yuri Kuratov, Aydar Bulatov, Petr Anokhin, Ivan Rodkin, Dmitry Sorokin, Artyom Sorokin, and Mikhail Burtsev. Babilong : Testing the limits of llms with long context reasoning-in-a-haystack. arXiv preprint arXiv:2406.10149, 2024.

Woosuk Kwon et al. Efficient memory management for large language model serving with paged attention. In Proc. of the ACM SIGOPS 29th Symposium on Operating Systems Principles, 2023.

Jinhyuk Lee, Anthony Chen, Zhuyun Dai, Dheeru Dua, Devendra Singh Sachan, Michael Boratko, Yi Luan, Sébastien MR Arnold, Vincent Perot, Siddharth Dalmia, et al. Can long-context language models subsume retrieval, rag, sql, and more? arXiv preprint arXiv:2406.13121, 2024.

Mosh Levy, Alon Jacoby, and Yoav Goldberg. Same task, more tokens : the impact of input length on the reasoning performance of large language models. arXiv preprint arXiv:2402.14848, 2024.

Dacheng Li, Rulin Shao, et al. How long can open-source LLMs truly promise on context length?, 2023a. URL https://1msys.org/blog/2023-06-29-longchat

Jiaqi Li, Mengmeng Wang, Zilong Zheng, and Muhan Zhang. Loogle : Can long-context language models understand long contexts? arXiv:2311.04939, 2023b.

Hao Liu, Matei Zaharia, and Pieter Abbeel. Ring attention with blockwise Transformers for near-infinite context. In ICLR, 2023.

Hao Liu, Wilson Yan, Matei Zaharia, and Pieter Abbeel. World model on million-length video and language with Ring Attention. arxiv:2402.08268, 2024a.

Jiaheng Liu et al. E2-LLM : Efficient and extreme length extension of large language models. arXiv:2401.06951, 2024b.

Jiawei Liu, Jia Le Tian, Vijay Daita, Yuxiang Wei, Yifeng Ding, Yuhan Katherine Wang, Jun Yang, and Lingming Zhang. Repoqa : Evaluating long context code understanding. arXiv preprint arXiv:2406.06025, 2024c.

Nelson F Liu, Kevin Lin, John Hewitt, Ashwin Paranjape, Michele Bevilacqua, Fabio Petroni, and Percy Liang. Lost in the middle : How language models use long contexts. Transactions of the ACL, 12:157-173, 2024d.

Pedro Henrique Martins, Zita Marinho, and Andre Martins. ∞-former : Infinite memory Transformer. In Proc. of the 60th Annual Meeting of the ACL (Volume 1 : Long Papers), 2022.

Meta.AI. Llama 3 model card. 2024a. URL https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md

Meta.AI. Llama 3.1 model card. 2024b. URL https://github.com/meta-llama/llama-models/blob/main/models/llama3.1/MODEL_CARD.md

Mistral.AI. La plateforme, 2023. URL https://mistral.ai/news/la- plateforme/Amirkeivan Mohtashami and Martin Jaggi. Landmark attention: Random- access infinite context length for Transformers. In Workshop on Efficient Systems for Foundation Models @ ICML, 2023.

Vincent Ng. Supervised noun phrase coreference research: The first fifteen years. In Proc. of the 48th Annual Meeting of the ACL, 2010.

Catherine Olsson et al. In- context learning and induction heads. Transformer Circuits Thread, 2022. https://transformer-circuits.pub/2022/in- context- learning- and- induction- heads/index.html.

OpenAI : Josh Achiam et al. Rapport technique GPT- 4. arXiv:2303.08774, 2023.

Bo Peng et al. RWKV : Réinventer les RNN pour l'ère des Transformers. In EMNLP, 2023.

Bowen Peng, Jeffrey Quesnelle, Honglu Fan, et Enrico Shippole. YaRN : Extension efficace de la fenêtre de contexte des grands modèles de langage. In ICLR, 2024.

Michael Poli, Stefano Massaroli, Eric Nguyen, Daniel Y Fu, Tri Dao, Stephen Baccus, Yoshua Bengio, Stefano Ermon, et Christopher Ré. Hiérarchie Hyena : Vers des modèles de langage convolutionnels plus grands. In ICML, 2023.

Ofir Press, Noah Smith, et Mike Lewis. Entraîner court, tester long : L'attention avec biais linéaires permet l'extrapolation de la longueur d'entrée. In ICLR, 2022.

Pranav Rajpurkar, Robin Jia, et Percy Liang. Savoir ce que vous ne savez pas : Questions sans réponse pour SQuAD. In Proc. of the 56th Annual Meeting of the ACL (Volume 2: Short Papers), 2018.

Machel Reid et al. Gemini 1.5 : Débloquer la compréhension multimodale sur des millions de tokens de contexte. arXiv:2403.05530, 2024.

Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, et Sameer Singh. Au-delà de la précision : Tests comportementaux des modèles de NLP avec CheckList. In Proc. of the 58th Annual Meeting of the ACL, 2020.

Uri Shaham, Maor Ivgi, Avia Efrat, Jonathan Berant, et Omer Levy. ZeroSCROLLS : Un benchmark zero- shot pour la compréhension de textes longs. In EMNLP, 2023.

Jianlin Su, Yu Lu, Shengfeng Pan, Ahmed Murtadha, Bo Wen et Yunfeng Liu. RoFormer : Transformer amélioré avec un encodage positionnel rotatif. arXiv:2104.09864, 2023.

Simeng Sun, Katherine Thai et Mohit Iyyer. ChapterBreak : Un jeu de données de défi pour les modèles de langage à longue portée. In Proc. of the 2022 Conference of the North American Chapter of the ACL : Human Language Technologies, 2022.

Yutao Sun, Li Dong, Shaohan Huang, Shuming Ma, Yuqing Xia, Jilong Xue, Jianyong Wang et Furu Wei. Réseau rétentif : Un successeur du Transformer pour les grands modèles de langage. arXiv:2307.08621, 2023a.

Yutao Sun, Li Dong, Barun Patra, Shuming Ma, Shaohan Huang, Alon Benhaim, Vishrav Chaudhary, Xia Song et Furu Wei. Un Transformer extrapolable en longueur. In Proc. of the 61st Annual Meeting of the ACL (Volume 1 : Long Papers), 2023b.

Yutao Sun, Li Dong, Yi Zhu, Shaohan Huang, Wenhui Wang, Shuming Ma, Quanlu Zhang, Jianyong Wang et Furu Wei. Vous ne mettez en cache qu'une seule fois : Architectures décodeur-décodeur pour les modèles de langage. arXiv preprint arXiv:2405.05254, 2024.

Garrett Tanzer, Mirac Suzgun, Eline Visser, Dan Jurafsky et Luke Melas-Kyriazi. Un benchmark pour apprendre à traduire une nouvelle langue à partir d'un seul livre de grammaire. In ICLR, 2024.

Together.AI. Se préparer à l'ère du contexte de 32k : Premiers apprentissages et explorations, 2023a. URL https://www.together.ai/blog/llama-2-7b-32k

Together.AI. Llama-2-7b-32k-instruct — et affinage pour les modèles llama-2 avec l'API together, 2023b. URL https://www.together.ai/blog/llama-2-7b-32k-instruct

Hugo Touvron et al. Llama 2 : Modèles de fondation ouverts et modèles de chat affinés. arXiv:2307.09288, 2023.

Harsh Trivedi, Niranjan Balasubramanian, Tushar Khot et Ashish Sabharwal. Musique : Questions multi-sauts via la composition de questions mono-saut. Transactions of the ACL, 10 : 539-554, 2022.

Szymon Tworkowski et al. Focused Transformer : Entraînement contrastif pour la mise à l'échelle du contexte. NeurIPS, 36, 2024.

Teun A. van Dijk et Walter Kintsch. Strategies of discourse comprehension. In Academic Press, 1983.

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser et Illia Polosukhin. Attention is all you need. In NeurIPS, 2017.

Weizhi Wang, Li Dong, Hao Cheng, Xiaodong Liu, Xifeng Yan, Jianfeng Gao et Furu Wei. Augmenter les modèles de langage avec une mémoire à long terme. NeurIPS, 36, 2024.

Thomas Wolf et al. Huggingface's Transformers : Traitement du langage naturel de pointe. arXiv:1910.03771, 2019.

Qingyang Wu, Zhenzhong Lan, Kun Qian, Jing Gu, Alborz Geramifard et Zhou Yu. Memformer : Un Transformer augmenté de mémoire pour la modélisation de séquences. In Findings of the ACL : AACL-IJCNLP, 2022.

X.AI. Annonce de grok-1.5, 2024. URL https://x.ai/blog/grok-1.5

Chaojun Xiao et al. InfLLM : Dévoiler la capacité intrinsèque des LLMs à comprendre des séquences extrêmement longues avec une mémoire sans entraînement. arXiv:2402.04617, 2024a.

Guangxuan Xiao, Yuandong Tian, Beidi Chen, Song Han et Mike Lewis. Modèles de langage en flux efficaces avec des puits d'attention. In ICLR, 2024b.

Wenhan Xiong et al. Mise à l'échelle efficace du contexte long des modèles de fondation. arXiv:2309.16039, 2023.

Peng Xu, Wei Ping, Xianchao Wu, Lawrence McAfee, Chen Zhu, Zihan Liu, Sandeep Subramanian, Evelina Bakhturina, Mohammad Shoeybi et Bryan Catanzaro. La récupération rencontre les grands modèles de langage à contexte long. In ICLR, 2024a.

Xiaoyue Xu, Qinyuan Ye et Xiang Ren. Tester sous stress les modèles de langage à contexte long avec l'ICL continu et la tâche haystack. arXiv preprint arXiv:2407.16695, 2024b.

An Yang, Baosong Yang, Binyuan Hui, Bo Zheng, Bowen Yu, Chang Zhou, Chengpeng Li, Chengyuan Li, Dayiheng Liu, Fei Huang, et al. Rapport technique Qwen2. arXiv preprint arXiv:2407.10671, 2024.

Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William Cohen, Ruslan Salakhutdinov et Christopher D. Manning. HotpotQA : Un jeu de données pour des questions-réponses multi-sauts diverses et explicables. In EMNLP, 2018.

Alex Young et al. Yi : Modèles de fondation ouverts par 01. AI. arXiv:2403.04652, 2024.

Tao Yuan, Xuefei Ning, Dong Zhou, Zhijie Yang, Shiyao Li, Minghui Zhuang, Zheyue Tan, Zhuyu Yao, Dahua Lin, Boxun Li, et al. Lv-eval : Un benchmark équilibré pour contexte long avec 5 niveaux de longueur allant jusqu'à 256k. arXiv preprint arXiv:2402.05136, 2024.

Peitian Zhang, Zheng Liu, Shitao Xiao, Ninglu Shao, Qiwei Ye et Zhicheng Dou. Passer de 4k à 400k : Étendre le contexte des LLMs avec activation beacon. arXiv:2401.03462, 2024a.

Xinrong Zhang, Yingfa Chen, Shengding Hu, Zihang Xu, Junhao Chen, Moo Khai Hao, Xu Han, Zhen Leng Thai, Shuo Wang, Zhiyuan Liu et Maosong Sun. obench : Étendre l'évaluation de contexte long au-delà de 100k tokens. arXiv:2402.13718, 2024b.

Dawei Zhu, Nan Yang, Liang Wang, Yifan Song, Wenhao Wu, Furu Wei et Sujian Li. PoSE : Extension efficace de la fenêtre de contexte des LLMs via un entraînement par saut positionnel. In ICLR, 2024.

A Modèles

Nous sélectionnons au total 37 modèles pour l'évaluation et l'analyse. Nos résultats dans le texte principal n'incluent que les modèles alignés (GPT-4, Gemini-1.5 et 15 modèles open source). Outre les modèles alignés, nous évaluons également 7 modèles de base open source à l'aide de RULER. Nous utilisons les performances de Llama2-7b (base) et Llama2-7b (chat) à une longueur de contexte de 4K comme seuil pour déterminer la taille de contexte effective. Dans notre section d'analyse, nous évaluons au total 11 modèles, y compris les séries de modèles Yi et LWM, ainsi que des modèles d'architectures novatrices, notamment Mamba et RWKV.

ModèleAlignéTailleLongueur du contexteHuggingface [Wolf et al., 2019] / API
GPT-4OpenAI : Josh Achiam et al., 2023✓-128K
Gemini-1.5Kred et al., 2024✓-1M
Llama3.1Meta : AI, 2024b✓70B128K
Llama3.1Meta : AI, 2024b✓8B128K
Command-K-plus : Cohen, 2024✓✓104B128K
Qwen2 : Yang et al., 2024✓✓72B128K
Yi : Young et al., 2024✓✓34B200K
Mixtral-8x22B : Huang et al., 2024✓✓39B/141B32K
Mixtral-v0.2 : Mixtral-AI, 2023✓✓7B32K
GLM4 : GLM et al., 2024✓✓9B1M
GradieHAT : Llama3 : Meta, AI, 2024a✓✓70B1M
Phi3-medium : Abdin et al., 2024✓✓14B128K
LWM : Liu et al., 2024a✓✓7B1M
DBRX : Tabatricks, 2024✓✓36B/132B1M
Together : Together, AI, 2023b✓✓7B32K
LongChat : Li et al., 2023a✓✓7B32K
LongAlpaca : Chen et al., 2024✓✓13B32K
Mixtral-base : Jiang et al., 2024✓✓8x7B32K
Mixtral-base : Mixtral-AI, 2023✓✓7B32K
LWM-base : Liu et al., 2024a✓✓7B1M
LongLoRA-base : Chen et al., 2024✓✓7B100K
Yarn-base : Peng et al., 2024✓✓7B128K
Together-base : Together, AI, 2023a✓✓7B32K
Jamba-base : AI, 2024✓✓52B256K
Llama2 (chat) : Touvron et al., 2023✓✓7B4K
Llama2 (base) : Touvron et al., 2023✓✓7B4K
Série Yi : Young et al., 2024✓✓6B, 9B200K
Série LWM : Liu et al., 2024a✓✓7B128K, 256K, 512K
Série LWM-base : Liu et al., 2024a✓✓7B32K, 128K, 256K, 512K
Mamba : Gu & Dai, 2023✓✓2,8B2K
RWKV : Peng et al., 2023✓✓7B4K

Tableau 4 : Informations sur les modèles évalués et analysés dans RULER.

B Configurations des tâches

RULER est conçu pour être configurable afin de permettre des longueurs de séquence et des complexités de tâches variées. Pour chaque tâche, il existe un nombre combinatoirement élevé de configurations que l'on peut adopter. Dans le texte principal, nous évaluons les modèles avec 13 tâches représentatives couvrant les quatre catégories de RULER. Notre processus de sélection des tâches est décrit dans la section d'annexe suivante.

- Récupération : Dans S-NIAH, nous incluons la récupération de clé d'accès (Mohtashami & Jaggi, 2023) et le NIAH standard (Kamtrandt, 2023), qui utilisent tous deux un mot-nombre comme clé-valeur et ne diffèrent que par la botte de foin d'arrière-plan. De plus, nous changeons le type de valeur en UUID, dans le but de tester la robustesse du modèle lors de la récupération de longues chaînes à partir du contexte. Pour MK-NIAH, nous ajoutons trois aiguilles distractives dans la botte de foin. Nous incluons également des configurations existantes issues de travaux antérieurs : la récupération de ligne (Li et al., 2023a) et la récupération clé-valeur (Liu et al., 2024d) avec la botte de foin entièrement remplie d'aiguilles distractives. Pour MV-NIAH et MQ-NIAH, nous testons respectivement 4 valeurs et requêtes.

- Traçage multi-sauts : Pour VT, nous insérons 1 chaîne avec 4 sauts de liaison de noms, soit au total 5 noms de variables à retourner.

- Agrégation : pour CWE, au total 10 mots courants doivent être renvoyés, chacun apparaissant 30 fois, tandis que les mots peu courants apparaissent 3 fois chacun. Pour FWE, nous fixons α\alpha à 2,0 dans la distribution Zeta pour l’échantillonnage de mots synthétiques.

- QA : pour QA, nous augmentons SQuAD (Rajpurkar et al., 2018) et HotpotQA (Yang et al., 2018) afin de simuler un scénario à long contexte. Ils sont représentatifs respectivement des tâches de réponse à des questions à un seul saut et à plusieurs sauts.

TâcheConfigurations
Sous-tâche-1Sous-tâche-2Sous-tâche-3
NIAH simpletype_key = word
type_value = number
type_haystack = repeat
~récupération de passkey
type_key = word
type_value = number
type_haystack = essay
~NIAH classique
type_key = word
type_value = uuid
type_haystack = essay
MK-NIAHnum_keys = 4
type_key = word
type_value = number
type_haystack = essay
num_keys = full haystack
type_key = word
type_value = number
~récupération de ligne
num_keys = full haystack
type_key = uuid
type_value = uuid
~récupération KV
MV-NIAHnum_values = 4, type_key = word, type_value = number, type_haystack = essay
MQ-NIAHnum_queries = 4, type_key = word, type_value = number, type_haystack = essay
VTnum_chains = 1, num_hops = 4
CWEfreq_cw = 30, freq_ucw = 3, num_cw = 10
FWEα = 2.0
QAdataset = SQuADdataset = HotpotQA

Tableau 5 : Nos 13 configurations de tâches au total dans RULER.

C Analyse de corrélation des tâches

RULER est conçu selon l’hypothèse que les tâches de différentes catégories sont capables de révéler des comportements distincts des modèles. Nous menons une étude de corrélation préliminaire afin de confirmer la validité des catégories de tâches et de guider la sélection de tâches représentatives. Nous évaluons huit modèles open source à différentes tailles de contexte sur 18 configurations de tâches. Chaque tâche peut ensuite être représentée par un vecteur des performances du modèle à différentes tailles de contexte. Les 18 vecteurs de tâches sont ensuite regroupés au moyen d’un algorithme de clustering agglomératif, en utilisant le coefficient de corrélation comme métrique de distance. Comme le montre la Figure 5, bien que certaines tâches présentent des corrélations modérées avec d’autres, les tâches de chacune des quatre catégories (NIAH, VT, AG, QA) forment leurs propres groupes cohérents sans redondance. Nous éliminons en outre quelques tâches qui sont fortement corrélées avec d’autres tâches au sein du même groupe, et retenons finalement 13 tâches pour l’évaluation ultérieure à grande échelle.

Figure 5 : Carte thermique de corrélation entre 18 tâches aux configurations variées. Nous supprimons les tâches redondantes (en rouge) et ne conservons que 13 tâches représentatives dans RULER. (W : mots ; N : nombres ; U : UUID ; Full : botte de foin entière)
Figure 5 : Carte thermique de corrélation entre 18 tâches aux configurations variées. Nous supprimons les tâches redondantes (en rouge) et ne conservons que 13 tâches représentatives dans RULER. (W : mots ; N : nombres ; U : UUID ; Full : botte de foin entière)

D Modèles de prompts

Nous décomposons le modèle de prompt d’entrée en modèle de modèle dans le Tableau 6 et en modèle de tâche dans le Tableau 7. Le modèle de modèle correspond au format de chat du modèle, tandis que le modèle de tâche combine l’instruction, le contexte et la requête. Pour empêcher les modèles de refuser de répondre à nos questions, nous ajoutons à l’entrée un préfixe de réponse afin de susciter les réponses du modèle. Pour VT et CWE, nous utilisons un échantillon de tâche comme démonstration en contexte.

ModèleModèle de gabarit
GPT-4{task_template} Ne fournissez aucune explication. Veuillez me donner directement la réponse. {task_answer_prefix}
Yi/Base{task_template} {task_answer_prefix}
Command-R
{BOS_TOKEN}{START_OF_TURN_TOKEN}{USER_TOKEN}{task_template}{END_OF_TURN_TOKEN}{START_OF_TURN_TOKEN}{CHATBOT_TOKEN}{task_answer_prefix}
LWM/LongChat
{system_prompt} USER: {task_template} ASSISTANT:{task_answer_prefix}
GLM
{gMASK} sop{user}{task_template} {assistant}{task_answer_prefix}
Phi3
{user}{task_template} {end}{assistant}{task_answer_prefix}
Qwen/DBRX
{im_start} system{system_prompt} {im_end}{im_start} user{task_template} {im_end}{im_start} assistant{task_answer_prefix}
Llama3/Llama3.1{begin_of_text} {start_header_id} user {end_header_id}
Llama2/Autres
{task_template} {eot_id}{start_header_id} assistant {end_header_id}
{task_answer_prefix}
[INST] {task_template} [/INST] {task_answer_prefix}

Tableau 6 : Modèles de chat des modèles. Nous ajoutons un préfixe de réponse de tâche dans la réponse du modèle afin d’empêcher les modèles de refuser de répondre à nos questions. L’ajout du préfixe de réponse ne rompt pas le modèle de chat des modèles.


S-NIAH Sous-tâche-1



Modèle de tâche : Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai ensuite sur ces nombres. L'herbe est verte. Le ciel est bleu. Le soleil est jaune. C'est parti. Aller et retour. L'un des nombres magiques spéciaux pour {word} est : {number}. Quel est le nombre magique spécial pour {word} mentionné dans le texte fourni ?
S-NIAH Sous-tâche-2
Préfixe de réponse à la tâche : Le nombre magique spécial pour {word} mentionné dans le texte fourni est
S-NIAH Sous-tâche-3



Modèle de tâche : Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai ensuite sur ces nombres. Essais de Paul Graham. L'un des nombres magiques spéciaux pour {word} est : {number}. Quel est le nombre magique spécial pour {word} mentionné dans le texte fourni ?
MK-NIAH Sous-tâche-1
Préfixe de réponse à la tâche : Le nombre magique spécial pour {word} mentionné dans le texte fourni est
MK-NIAH Sous-tâche-2



Modèle de tâche : Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai ensuite sur ces nombres. Essais de Paul Graham. L'un des nombres magiques spéciaux pour {word} est : {number}. Quel est le nombre magique spécial pour {word} mentionné dans le texte fourni ?
MK-NIAH Sous-tâche-3
Préfixe de réponse à la tâche : Le nombre magique spécial pour {word} mentionné dans le texte fourni est
MK-NIAH Sous-tâche-4







Modèle de tâche : Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai ensuite sur ces nombres. Essais de Paul Graham. L'un des nombres magiques spéciaux pour {word} est : {number}. L'un des nombres magiques spéciaux pour {word-1} est : {number-1}. L'un des nombres magiques spéciaux pour {word-2} est : {number-2}. L'un des nombres magiques spéciaux pour {word-3} est : {number-3}. L'un des nombres magiques spéciaux pour {word-4} est : {number-4}. Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?
MK-NIAH Sous-tâche-5
Préfixe de réponse à la tâche : Le nombre magique spécial pour {word-4} mentionné dans le texte fourni est
MK-NIAH Sous-tâche-6





Modèle de tâche : Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai ensuite sur ces nombres. L'un des nombres magiques spéciaux pour {word-1} est : {number-1}. L'un des nombres magiques spéciaux pour {word-2} est : {number-2}. L'un des nombres magiques spéciaux pour {word-3} est : {number-3}. L'un des nombres magiques spéciaux pour {word-4} est : {number-4}. Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?
MK-NIAH Sous-tâche-7
Préfixe de réponse à la tâche : Le nombre magique spécial pour {word-4} mentionné dans le texte fourni est
MK-NIAH Sous-tâche-8





Modèle de tâche : Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai ensuite sur ces nombres. L'un des nombres magiques spéciaux pour {word-1} est : {number-1}. L'un des nombres magiques spéciaux pour {word-2} est : {number-2}. L'un des nombres magiques spéciaux pour {word-3} est : {number-3}. L'un des nombres magiques spéciaux pour {word-4} est : {number-4}. Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?
MK-NIAH Sous-tâche-9
Préfixe de réponse à la tâche : Le nombre magique spécial pour {word-4} mentionné dans le texte fourni est
MK-NIAH Sous-tâche-10





Modèle de tâche : Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai ensuite sur ces nombres. L'un des nombres magiques spéciaux pour {word-1} est : {number-1}. L'un des nombres magiques spéciaux pour {word-2} est : {number-2}. L'un des nombres magiques spéciaux pour {word-3} est : {number-3}. L'un des nombres magiques spéciaux pour {word-4} est : {number-4}. Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?
MK-NIAH Sous-tâche-11
Préfixe de réponse à la tâche : Le nombre magique spécial pour {word-4} mentionné dans le texte fourni est
MK-NIAH Sous-tâche-12





Modèle de tâche : Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai ensuite sur ces nombres. L'un des nombres magiques spéciaux pour {word-1} est : {number-1}. L'un des nombres magiques spéciaux pour {word-2} est : {number-2}. L'un des nombres magiques spéciaux pour {word-3} est : {number-3}. L'un des nombres magiques spéciaux pour {word-4} est : {number-4}. Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?
MK-NIAH Sous-tâche-13
Préfixe de réponse à la tâche : Le nombre magique spécial pour {word-4} mentionné dans le texte fourni est
MK-NIAH Sous-tâche-14





Modèle de tâche : Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai ensuite sur ces nombres. L'un des nombres magiques spéciaux pour {word-1} est : {number-1}. L'un des nombres magiques spéciaux pour {word-2} est : {number-2}. L'un des nombres magiques spéciaux pour {word-3} est : {number-3}. L'un des nombres magiques spéciaux pour {word-4} est : {number-4}. Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?
MK-NIAH Sous-tâche-15
Préfixe de réponse à la tâche : Le nombre magique spécial pour {word-4} mentionné dans le texte fourni est
MK-NIAH Sous-tâche-16





Modèle de tâche : Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai ensuite sur ces nombres. L'un des nombres magiques spéciaux pour {word-1} est : {number-1}. L'un des nombres magiques spéciaux pour {word-2} est : {number-2}. L'un des nombres magiques spéciaux pour {word-3} est : {number-3}. L'un des nombres magiques spéciaux pour {word-4} est : {number-4}. Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?
MK-NIAH Sous-tâche-17
Préfixe de réponse à la tâche : Le nombre magique spécial pour {word-4} mentionné dans le texte fourni est
MK-NIAH Sous-tâche-18Modèle de tâche :
Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai sur les nombres par la suite.
L'un des nombres magiques spéciaux pour {word-1} est : {number-1}.
L'un des nombres magiques spéciaux pour {word-2} est : {number-2}.
L'un des nombres magiques spéciaux pour {word-3} est : {number-3}.
L'un des nombres magiques spéciaux pour {word-4} est : {number-4}.
Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?MK-NIAH
Subtask-19Préfixe de réponse de la tâche :
Le nombre magique spécial pour {word-4} mentionné dans le texte fourni estMK-NIAH
Subtask-20Modèle de tâche :
Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai sur les nombres par la suite.
L'un des nombres magiques spéciaux pour {word-1} est : {number-1}.
L'un des nombres magiques spéciaux pour {word-2} est : {number-2}.
L'un des nombres magiques spéciaux pour {word-3} est : {number-3}.
L'un des nombres magiques spéciaux pour {word-4} est : {number-4}.
Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?MK-NIAH
Subtask-21Préfixe de réponse de la tâche :
Le nombre magique spécial pour {word-4} mentionné dans le texte fourni estMK-NIAH
Subtask-22Modèle de tâche :
Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai sur les nombres par la suite.
L'un des nombres magiques spéciaux pour {word-1} est : {number-1}.
L'un des nombres magiques spéciaux pour {word-2} est : {number-2}.
L'un des nombres magiques spéciaux pour {word-3} est : {number-3}.
L'un des nombres magiques spéciaux pour {word-4} est : {number-4}.
Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?MK-NIAH
Subtask-23Préfixe de réponse de la tâche :
Le nombre magique spécial pour {word-4} mentionné dans le texte fourni estMK-NIAH
Subtask-24Modèle de tâche :
Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai sur les nombres par la suite.
L'un des nombres magiques spéciaux pour {word-1} est : {number-1}.
L'un des nombres magiques spéciaux pour {word-2} est : {number-2}.
L'un des nombres magiques spéciaux pour {word-3} est : {number-3}.
L'un des nombres magiques spéciaux pour {word-4} est : {number-4}.
Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?MK-NIAH
Subtask-25Préfixe de réponse de la tâche :
Le nombre magique spécial pour {word-4} mentionné dans le texte fourni estMK-NIAH
Subtask-26Modèle de tâche :
Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai sur les nombres par la suite.
L'un des nombres magiques spéciaux pour {word-1} est : {number-1}.
L'un des nombres magiques spéciaux pour {word-2} est : {number-2}.
L'un des nombres magiques spéciaux pour {word-3} est : {number-3}.
L'un des nombres magiques spéciaux pour {word-4} est : {number-4}.
Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?MK-NIAH
Subtask-27Préfixe de réponse de la tâche :
Le nombre magique spécial pour {word-4} mentionné dans le texte fourni estMK-NIAH
Subtask-28Modèle de tâche :
Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai sur les nombres par la suite.
L'un des nombres magiques spéciaux pour {word-1} est : {number-1}.
L'un des nombres magiques spéciaux pour {word-2} est : {number-2}.
L'un des nombres magiques spéciaux pour {word-3} est : {number-3}.
L'un des nombres magiques spéciaux pour {word-4} est : {number-4}.
Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?Contexte en lecture seule pour comprendre la source (ce n’est pas le texte source à traduire) :
Tableau 6 : Modèles de conversation. Nous ajoutons un préfixe de réponse à la tâche dans la réponse du modèle afin d’empêcher les modèles de refuser de répondre à nos questions. L’ajout du préfixe de réponse ne rompt pas le modèle de conversation des modèles.Modèle de tâche : Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai ensuite sur ces nombres. L’un des nombres magiques spéciaux pour {word-1} est : {number-1}. L’un des nombres magiques spéciaux pour {word-2} est : {number-2}. L’un des nombres magiques spéciaux pour {word-3} est : {number-3}. L’un des nombres magiques spéciaux pour {word-4} est : {number-4}. Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?Texte à traduire :
MK-NIAHSubtask-29Préfixe de réponse à la tâche : Le nombre magique spécial pour {word-4} mentionné dans le texte fourni est





MK-NIAHSubtask-30
Modèle de tâche : Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai ensuite sur ces nombres. L’un des nombres magiques spéciaux pour {word-1} est : {number-1}. L’un des nombres magiques spéciaux pour {word-2} est : {number-2}. L’un des nombres magiques spéciaux pour {word-3} est : {number-3}. L’un des nombres magiques spéciaux pour {word-4} est : {number-4}. Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?MK-NIAHSubtask-31Préfixe de réponse à la tâche : Le nombre magique spécial pour {word-4} mentionné dans le texte fourni est





MK-NIAHSubtask-32
Modèle de tâche : Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai ensuite sur ces nombres. L’un des nombres magiques spéciaux pour {word-1} est : {number-1}. L’un des nombres magiques spéciaux pour {word-2} est : {number-2}. L’un des nombres magiques spéciaux pour {word-3} est : {number-3}. L’un des nombres magiques spéciaux pour {word-4} est : {number-4}. Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?MK-NIAHSubtask-33Préfixe de réponse à la tâche : Le nombre magique spécial pour {word-4} mentionné dans le texte fourni est





MK-NIAHSubtask-34
Modèle de tâche : Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai ensuite sur ces nombres. L’un des nombres magiques spéciaux pour {word-1} est : {number-1}. L’un des nombres magiques spéciaux pour {word-2} est : {number-2}. L’un des nombres magiques spéciaux pour {word-3} est : {number-3}. L’un des nombres magiques spéciaux pour {word-4} est : {number-4}. Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?MK-NIAHSubtask-35Préfixe de réponse à la tâche : Le nombre magique spécial pour {word-4} mentionné dans le texte fourni est





MK-NIAHSubtask-36
Modèle de tâche : Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai ensuite sur ces nombres. L’un des nombres magiques spéciaux pour {word-1} est : {number-1}. L’un des nombres magiques spéciaux pour {word-2} est : {number-2}. L’un des nombres magiques spéciaux pour {word-3} est : {number-3}. L’un des nombres magiques spéciaux pour {word-4} est : {number-4}. Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?MK-NIAHSubtask-37Préfixe de réponse à la tâche : Le nombre magique spécial pour {word-4} mentionné dans le texte fourni est





MK-NIAHSubtask-38
Modèle de tâche : Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai ensuite sur ces nombres. L’un des nombres magiques spéciaux pour {word-1} est : {number-1}. L’un des nombres magiques spéciaux pour {word-2} est : {number-2}. L’un des nombres magiques spéciaux pour {word-3} est : {number-3}. L’un des nombres magiques spéciaux pour {word-4} est : {number-4}. Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?MK-NIAHSubtask-39Préfixe de réponse à la tâche : Le nombre magique spécial pour {word-4} mentionné dans le texte fourni est





MK-NIAHSubtask-40
Modèle de tâche : Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai ensuite sur ces nombres. L’un des nombres magiques spéciaux pour {word-1} est : {number-1}. L’un des nombres magiques spéciaux pour {word-2} est : {number-2}. L’un des nombres magiques spéciaux pour {word-3} est : {number-3}. L’un des nombres magiques spéciaux pour {word-4} est : {number-4}. Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?MK-NIAHSubtask-41Préfixe de réponse à la tâche : Le nombre magique spécial pour {word-4} mentionné dans le texte fourni est





MK-NIAHSubtask-42
Modèle de tâche : Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai ensuite sur ces nombres. L’un des nombres magiques spéciaux pour {word-1} est : {number-1}. L’un des nombres magiques spéciaux pour {word-2} est : {number-2}. L’un des nombres magiques spéciaux pour {word-3} est : {number-3}. L’un des nombres magiques spéciaux pour {word-4} est : {number-4}. Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?MK-NIAHSubtask-43Préfixe de réponse à la tâche : Le nombre magique spécial pour {word-4} mentionné dans le texte fourni est





MK-NIAHSubtask-44
Modèle de tâche : Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai ensuite sur ces nombres. L’un des nombres magiques spéciaux pour {word-1} est : {number-1}. L’un des nombres magiques spéciaux pour {word-2} est : {number-2}. L’un des nombres magiques spéciaux pour {word-3} est : {number-3}. L’un des nombres magiques spéciaux pour {word-4} est : {number-4}. Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?MK-NIAHSubtask-45Préfixe de réponse à la tâche : Le nombre magique spécial pour {word-4} mentionné dans le texte fourni est





MK-NIAHSubtask-46
Modèle de tâche : Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai ensuite sur ces nombres. L’un des nombres magiques spéciaux pour {word-1} est : {number-1}. L’un des nombres magiques spéciaux pour {word-2} est : {number-2}. L’un des nombres magiques spéciaux pour {word-3} est : {number-3}. L’un des nombres magiques spéciaux pour {word-4} est : {number-4}. Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?MK-NIAHSubtask-47
Préfixe de réponse à la tâche : Le nombre magique spécial pour {word-4} mentionné dans le texte fourni est
MK-NIAHSubtask-48Modèle de tâche :
Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai sur les nombres par la suite.
L’un des nombres magiques spéciaux pour {word-1} est : {number-1}.
L’un des nombres magiques spéciaux pour {word-2} est : {number-2}.
L’un des nombres magiques spéciaux pour {word-3} est : {number-3}.
L’un des nombres magiques spéciaux pour {word-4} est : {number-4}.
Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?MK-NIAH
Subtask-49Préfixe de réponse à la tâche :
Le nombre magique spécial pour {word-4} mentionné dans le texte fourni estMK-NIAH
Subtask-50Modèle de tâche :
Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai sur les nombres par la suite.
L’un des nombres magiques spéciaux pour {word-1} est : {number-1}.
L’un des nombres magiques spéciaux pour {word-2} est : {number-2}.
L’un des nombres magiques spéciaux pour {word-3} est : {number-3}.
L’un des nombres magiques spéciaux pour {word-4} est : {number-4}.
Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?MK-NIAH
Subtask-51Préfixe de réponse à la tâche :
Le nombre magique spécial pour {word-4} mentionné dans le texte fourni estMK-NIAH
Subtask-52Modèle de tâche :
Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai sur les nombres par la suite.
L’un des nombres magiques spéciaux pour {word-1} est : {number-1}.
L’un des nombres magiques spéciaux pour {word-2} est : {number-2}.
L’un des nombres magiques spéciaux pour {word-3} est : {number-3}.
L’un des nombres magiques spéciaux pour {word-4} est : {number-4}.
Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?MK-NIAH
Subtask-53Préfixe de réponse à la tâche :
Le nombre magique spécial pour {word-4} mentionné dans le texte fourni estMK-NIAH
Subtask-54Modèle de tâche :
Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai sur les nombres par la suite.
L’un des nombres magiques spéciaux pour {word-1} est : {number-1}.
L’un des nombres magiques spéciaux pour {word-2} est : {number-2}.
L’un des nombres magiques spéciaux pour {word-3} est : {number-3}.
L’un des nombres magiques spéciaux pour {word-4} est : {number-4}.
Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?MK-NIAH
Subtask-55Préfixe de réponse à la tâche :
Le nombre magique spécial pour {word-4} mentionné dans le texte fourni estMK-NIAH
Subtask-56Modèle de tâche :
Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai sur les nombres par la suite.
L’un des nombres magiques spéciaux pour {word-1} est : {number-1}.
L’un des nombres magiques spéciaux pour {word-2} est : {number-2}.
L’un des nombres magiques spéciaux pour {word-3} est : {number-3}.
L’un des nombres magiques spéciaux pour {word-4} est : {number-4}.
Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?MK-NIAH
Subtask-57Préfixe de réponse à la tâche :
Le nombre magique spécial pour {word-4} mentionné dans le texte fourni estMK-NIAH
Subtask-58Modèle de tâche :
Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai sur les nombres par la suite.
L’un des nombres magiques spéciaux pour {word-1} est : {number-1}.
L’un des nombres magiques spéciaux pour {word-2} est : {number-2}.
L’un des nombres magiques spéciaux pour {word-3} est : {number-3}.
L’un des nombres magiques spéciaux pour {word-4} est : {number-4}.
Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?MK-NIAH
Subtask-59Préfixe de réponse à la tâche :
Le nombre magique spécial pour {word-4} mentionné dans le texte fourni estMK-NIAH
Subtask-60Modèle de tâche :
Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai sur les nombres par la suite.
L’un des nombres magiques spéciaux pour {word-1} est : {number-1}.
L’un des nombres magiques spéciaux pour {word-2} est : {number-2}.
L’un des nombres magiques spéciaux pour {word-3} est : {number-3}.
L’un des nombres magiques spéciaux pour {word-4} est : {number-4}.
Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?Contexte en lecture seule pour comprendre la source (ce n’est pas le texte source à traduire) :
Tableau 6 : Modèles de chat des modèles. Nous ajoutons un préfixe de réponse à la tâche dans la réponse du modèle afin d’empêcher les modèles de refuser de répondre à nos questions. L’ajout du préfixe de réponse ne casse pas le modèle de chat des modèles.
Texte à traduire :
MK-NIAHSubtask-61





Préfixe de réponse à la tâche : Le nombre magique spécial pour {word-4} mentionné dans le texte fourni est
MK-NIAHSubtask-62
Modèle de tâche : Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de le mémoriser. Je vous interrogerai ensuite sur les nombres. L’un des nombres magiques spéciaux pour {word-1} est : {number-1}. L’un des nombres magiques spéciaux pour {word-2} est : {number-2}. L’un des nombres magiques spéciaux pour {word-3} est : {number-3}. L’un des nombres magiques spéciaux pour {word-4} est : {number-4}. Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?
MK-NIAHSubtask-63





Préfixe de réponse à la tâche : Le nombre magique spécial pour {word-4} mentionné dans le texte fourni est
MK-NIAHSubtask-64
Modèle de tâche : Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de le mémoriser. Je vous interrogerai ensuite sur les nombres. L’un des nombres magiques spéciaux pour {word-1} est : {number-1}. L’un des nombres magiques spéciaux pour {word-2} est : {number-2}. L’un des nombres magiques spéciaux pour {word-3} est : {number-3}. L’un des nombres magiques spéciaux pour {word-4} est : {number-4}. Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?
MK-NIAHSubtask-65





Préfixe de réponse à la tâche : Le nombre magique spécial pour {word-4} mentionné dans le texte fourni est
MK-NIAHSubtask-66
Modèle de tâche : Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de le mémoriser. Je vous interrogerai ensuite sur les nombres. L’un des nombres magiques spéciaux pour {word-1} est : {number-1}. L’un des nombres magiques spéciaux pour {word-2} est : {number-2}. L’un des nombres magiques spéciaux pour {word-3} est : {number-3}. L’un des nombres magiques spéciaux pour {word-4} est : {number-4}. Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?
MK-NIAHSubtask-67





Préfixe de réponse à la tâche : Le nombre magique spécial pour {word-4} mentionné dans le texte fourni est
MK-NIAHSubtask-68
Modèle de tâche : Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de le mémoriser. Je vous interrogerai ensuite sur les nombres. L’un des nombres magiques spéciaux pour {word-1} est : {number-1}. L’un des nombres magiques spéciaux pour {word-2} est : {number-2}. L’un des nombres magiques spéciaux pour {word-3} est : {number-3}. L’un des nombres magiques spéciaux pour {word-4} est : {number-4}. Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?
MK-NIAHSubtask-69





Préfixe de réponse à la tâche : Le nombre magique spécial pour {word-4} mentionné dans le texte fourni est
MK-NIAHSubtask-70
Modèle de tâche : Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de le mémoriser. Je vous interrogerai ensuite sur les nombres. L’un des nombres magiques spéciaux pour {word-1} est : {number-1}. L’un des nombres magiques spéciaux pour {word-2} est : {number-2}. L’un des nombres magiques spéciaux pour {word-3} est : {number-3}. L’un des nombres magiques spéciaux pour {word-4} est : {number-4}. Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?
MK-NIAHSubtask-71





Préfixe de réponse à la tâche : Le nombre magique spécial pour {word-4} mentionné dans le texte fourni est
MK-NIAHSubtask-72
Modèle de tâche : Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de le mémoriser. Je vous interrogerai ensuite sur les nombres. L’un des nombres magiques spéciaux pour {word-1} est : {number-1}. L’un des nombres magiques spéciaux pour {word-2} est : {number-2}. L’un des nombres magiques spéciaux pour {word-3} est : {number-3}. L’un des nombres magiques spéciaux pour {word-4} est : {number-4}. Quel est le nombre magique spécial pour {word-4} mentionné dans le texte fourni ?MK-NIAHSubtask-73
Préfixe de réponse à la tâche : Le nombre magique spécial pour {word-4} mentionné dans le texte fourni est
Task Template:
Some special magic numbers are hidden within the following text. Make sure to memorize it. I will quiz you about the numbers afterwards.
One of the special magic numbers for {word-1} is: {number-1}.
MK-NIAHSubtask-74

Modèle de tâche : Certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de le mémoriser. Je vous interrogerai ensuite sur les nombres. L’un des nombres magiques spéciaux pour {word-1} est : {number-1}. L’un des nombres magiques spéciaux pour {word-2} est : {number
Tableau 7 : Modèles S-NIAH et MK-NIAH.
Modèle de tâche : certains nombres magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai ensuite sur ces nombres. Paul Graham Essays....... L’un des nombres magiques spéciaux pour {word} est : {number-1}....... L’un des nombres magiques spéciaux pour {word} est : {number-2}....... L’un des nombres magiques spéciaux pour {word} est : {number-3}....... L’un des nombres magiques spéciaux pour {word} est : {number-4}. Quels sont tous les nombres magiques spéciaux pour {word} mentionnés dans le texte fourni ?
Tableau 8 : modèles MV-NIAH, MQ-NIAH, VT, CWE et FWE.
Préfixe de réponse à la tâche : Les numéros magiques spéciaux pour {word} mentionnés dans le texte fourni sont
Modèle de tâche : Certains numéros magiques spéciaux sont cachés dans le texte suivant. Assurez-vous de les mémoriser. Je vous interrogerai sur les numéros par la suite. Essais de Paul Graham....... L'un des numéros magiques spéciaux pour {word-1} est : {number-1}....... L'un des numéros magiques spéciaux pour {word-2} est : {number-2}....... L'un des numéros magiques spéciaux pour {word-3} est : {number-3}....... L'un des numéros magiques spéciaux pour {word-4} est : {number-4}. Quels sont tous les numéros magiques spéciaux pour {word-1}, {word-2}, {word-3} et {word-4} mentionnés dans le texte fourni ?
Préfixe de réponse à la tâche :
Les nombres magiques spéciaux pour {word-1}, {word-2}, {word-3} et {word-4} mentionnés dans le texte fourni sont
Modèle de tâche :
{un exemple de tâche}
Mémorisez et suivez la ou les chaînes d’affectation de variables cachées dans le texte suivant.
L’herbe est verte. Le ciel est bleu. Le soleil est jaune. C’est parti. Aller et retour.
...... VAR {X1} = {number} ......
...... VAR {X2} = {X1} ......
...... VAR {X3} = {X2} ......
...... VAR {X4} = {X3} ......
...... VAR {X5} = {X4} ......
Question : Trouvez toutes les variables auxquelles la valeur {number} est affectée dans le texte ci-dessus.
Préfixe de réponse à la tâche :
Réponse : Selon la ou les chaînes d'affectation de variables dans le texte ci-dessus, 5 variables se voient attribuer la valeur {number}, ce sont :
Modèle de tâche :
{un exemple de tâche}
Voici une liste numérotée de mots. Parmi ces mots, certains apparaissent plus souvent que d'autres.
Mémorisez ceux qui apparaissent le plus souvent.
1. mot-a 2. mot-b 3. mot-c 4. mot-d 5. mot-d 6. mot-a 7. mot-e 8. mot-f ......
Question : Quels sont les 10 mots les plus fréquents dans la liste ci-dessus ?
Préfixe de réponse à la tâche :
Réponse : Les 10 mots qui apparaissent le plus souvent dans la liste sont :
Modèle de tâche :
Lisez le texte codé suivant et suivez la fréquence de chaque mot codé. Trouvez les trois mots codés qui apparaissent le plus fréquemment. ... mot-a ... mot-b ... ... mot-c ... mot-a ...mot-d mot-e ... mot-a ... mot-f ... ... mot-g ... mot-h ... mot-a ... mot-i ....
Question : Ne fournissez aucune explication. Veuillez ignorer les points '...'. Quels sont les trois mots qui apparaissent le plus fréquemment dans le texte codé ci-dessus ?
Préfixe de réponse à la tâche :
Réponse : D'après le texte codé ci-dessus, les trois mots les plus fréquemment apparus sont :
Task Template:
Answer the question based on the given documents. Only give me the answer and do not output any other words.
The following are given documents.
Document 1:
{document-1}
......
Document x:
{document-x}
......
Document n:
{document-n}
Answer the question based on the given documents. Only give me the answer and do not output any other words.
Question: question
Task Answer Prefix:
Answer:
Task Template:
Answer the question based on the given documents. Only give me the answer and do not output any other words.
The following are given documents.
Document 1:
{document-1}
......
Document x:
{document-x}
......
Document y:
{document-y}
......
Document n:
{document-n}
Answer the question based on the given documents. Only give me the answer and do not output any other words.
Question: question
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Task Answer Prefix:
Answer:
Modèle de tâche :
Répondez à la question en vous fondant sur les documents fournis. Donnez-moi uniquement la réponse et n'affichez aucun autre mot.
Les documents suivants sont fournis.
Document 1 :
{document-1}
......
Document x :
{document-x}
......
Document n :
{document-n}
Répondez à la question en vous fondant sur les documents fournis. Donnez-moi uniquement la réponse et n'affichez aucun autre mot.
Question : question
Préfixe de réponse à la tâche :
Réponse :
Modèle de tâche :
Répondez à la question en vous fondant sur les documents fournis. Donnez-moi uniquement la réponse et n'affichez aucun autre mot.
Les documents suivants sont fournis.
Document 1 :
{document-1}
......
Document x :
{document-x}
......
Document y :
{document-y}
......
Document n :
{document-n}
Répondez à la question en vous fondant sur les documents fournis. Donnez-moi uniquement la réponse et n'affichez aucun autre mot.
Question : question
Préfixe de réponse à la tâche :
Réponse :
Préfixe de réponse à la tâche :
Réponse :
Tableau 9 : Modèles de questions-réponses.

E Récupération de passkey et résultats du NIAH standard

Contexte de référence en lecture seule pour comprendre la source (il ne s’agit pas du texte source à traduire) : E Résultats de récupération de passkey et de NIAH vanilla Tableau 11 : Performance de modèles alignés et de base sélectionnés sur des longueurs allant de 4K à 128K dans le NIAH vanilla de RULER. Presque tous les modèles obtiennent un score parfait à la longueur qu’ils revendiquent. Texte à traduire : ModèlesLongueur revendiquée4K8K16K32K64K128KMoy.
Gemini-1.51M100,0100,0100,0100,0100,0100,0100,0
GPT-4128K100,0100,0100,0100,0100,0100,0100,0
Llama3.1 (70B)128K100,0100,0100,0100,0100,097,899,6
Llama3.1 (8B)128K100,0100,0100,0100,0100,0100,0100,0
Qwen2 (72B)128K100,0100,0100,0100,0100,096,699,4
Command-R-plus (104B)128K100,0100,099,899,8100,097,299,5
GLM4 (9B)1M100,0100,0100,0100,0100,0100,0100,0
GradientAI/LLama3 (70B)1M100,0100,0100,0100,0100,093,698,9
Mixtral-8x22B (39B/141B)64K100,0100,0100,0100,099,60,083,3
Yi (34B)200K100,0100,0100,0100,0100,0100,0100,0
Phi3-medium (14B)128K100,0100,0100,0100,0100,088,098,0
Mistral-v0.2 (7B)32K100,0100,0100,0100,099,669,694,9
LWM (7B)1M100,0100,0100,0100,0100,0100,0100,0
DBRX (36B/132B)32K100,0100,0100,0100,00,00,066,7
Together (7B)32K100,0100,0100,0100,00,00,066,7
LongChat (7B)32K100,0100,0100,099,40,00,066,6
LongAlpaca (13B)32K88,288,686,482,40,00,057,6
Mixtral-base (8x7B)32K100,0100,0100,0100,0100,046,891,1
Mixtral-base (7B)32K100,0100,0100,0100,099,670,895,1
Jamba-base (52B)256K100,0100,0100,0100,0100,0100,0100,0
LWM-base (7B)1M99,899,699,698,296,098,998,9
LongLoRA-base (7B)100K99,699,499,099,499,40,082,8
Yarn-base (7B)128K100,0100,099,0100,099,239,689,6
Together-base (7B)32K100,0100,099,8100,00,00,066,6
ModèlesLongueur annoncée4K8K16K32K64K128KMoy.
Gemini-1.51M100,0100,0100,098,0100,0100,099,7
GPT-4128K100,0100,0100,0100,0100,0100,0100,0
Llama3.1 (70B)128K100,0100,0100,0100,0100,099,699,9
Llama3.1 (8B)128K100,0100,0100,0100,0100,099,699,9
Qwen2 (72B)128K100,0100,0100,0100,099,856,492,7
Command-R-plus (35B)128K100,0100,0100,0100,099,886,097,6
GLM4 (9B)128K100,0100,0100,0100,0100,0100,0100,0
GradientAI/LLama3 (70B)1M100,0100,0100,0100,099,697,899,4
Mixtral-8x22B (39B/141B)64K100,0100,0100,0100,099,624,287,3
Yi (34B)200K100,0100,0100,0100,0100,0100,0100,0
Phi3-medium (14B)128K100,0100,0100,099,899,873,895,5
Mixtral-v0.2 (7B)32K100,0100,0100,097,070,07,479,1
LWM (7B)1M100,0100,0100,0100,0100,0100,0100,0
DBRX (36B/132B)32K100,0100,090,093,20,80,064,0
Together (7B)32K100,0100,0100,099,80,00,066,6
LongChat (7B)32K100,0100,097,698,40,00,066,0
LongAlpaca (13B)32K90,290,288,483,40,00,058,7
Mixtral-base (8x7B)32K100,0100,0100,0100,085,234,886,7
Mixtral-base (7B)32K100,0100,0100,0100,094,80,482,5
Jamba-base (52B)256K100,0100,098,899,899,886,497,5
LWM-base (7B)1M100,099,497,898,698,298,698,8
LongLoRA-base (7B)100K99,8100,0100,099,8100,00,083,3
Yarn-base (7B)128K97,497,891,485,486,620,079,8
Together-base (7B)32K100,0100,0100,099,80,00,066,6
Tableau 10 : Performance de modèles sélectionnés, alignés et de base, sur des longueurs allant de 4K à 128K dans la récupération de passkeys de RULER. Presque tous les modèles obtiennent un score parfait à la longueur qu'ils revendiquent.

Tableau 11 : Performance de modèles alignés et de base sélectionnés sur des longueurs de 4K à 128K dans le NIAH standard de RULER. Presque tous les modèles obtiennent un score parfait à la longueur qu'ils revendiquent.

.

F Résultats supplémentaires

ModèlesLongueur annoncéeLongueur effective4K8K16K32K64K128KMoy.wMoy. (inc)wMoy. (déc)
Llama2-7B (base)4K-79,4
Mixtral-base (8x7B)32K32K91,891,089,585,866,929,075,766,4(1er)85,0(1er)
Mixtral-base (7B)32K16K91,689,886,377,252,38,067,554,7(4e)80,4(2e)
Jamba-base (52B)256K4K81,275,468,865,361,051,467,262,5(3e)71,8(4e)
LWM-base (7B)1M<4K77,574,069,664,661,359,067,764,4(2e)70,9(5e)
Contexte de référence en lecture seule pour comprendre la source (il ne s'agit pas du texte source à traduire) :F Résultats supplémentairesTableau 12 : Performance des modèles de base sélectionnés sur des longueurs de 4K à 128K en faisant la moyenne des scores de 13 tâches dans RULER.Texte à traduire :LongLoRA-base (7B)100K8K81,980,475,665,160,8
0,060,649,2(5e)72,0(3e)Yarn-base (7B)128K<4K77,367,559,047,338,6
13,950,640,7(6e)60,5(7e)Together-base (7B)32K4K84,678,768,357,90,0 0,0 48,2 32,3(7e) 64,2(6e)

Tableau 12 : Performance de modèles de base sélectionnés sur des longueurs de 4K à 128K en faisant la moyenne des scores de 13 tâches dans RULER.

ModèlesLongueur annoncéeLongueur effective4K8K16K32K64K128KMoy.wMoy. (inc)wMoy. (déc)
Llama2-7B (chat)4K-96,9
Gemini-1.51M>128K99,899,999,699,799,799,699,799,7(1er)99,7(1er)
Llama3.1 (8B)128K64K99,999,999,899,698,792,698,497,5(3e)99,4(2e)
GLM4 (9B)1M64K99,499,299,599,497,394,498,297,5(2e)98,9(3e)
Llama3.1 (70B)128K64K100,0100,099,999,698,578,996,193,5(5e)98,8(4e)
GPT-4128K32K99,999,998,798,390,984,895,492,9(6e)97,9(5e)
Command-R-plus (104B)128K32K99,999,999,497,989,665,792,187,3(8e)96,9(6e)
GradientAI/Llama3 (70B)1M16K99,098,898,394,591,284,994,492,1(7e)96,8(7e)
Yi (34B)200K16K98,296,897,395,193,090,295,193,8(4e)96,4(8e)
Qwen2 (72B)128K32K100,099,999,999,484,548,088,681,3(11e)95,9(9e)
Phi3-medium (14B)128K8K98,798,596,695,491,951,388,782,6 (10e)94,9 (10e)
Mixtral-8x22B (39B/141B)64K16K99,399,197,796,789,923,884,474,8 (12e)94,1 (11e)
LWM (7B)1M<4K92,592,187,683,784,183,487,285,5 (9e)89,0 (12e)
Mistral-v0.2 (7B)32K4K98,196,294,385,551,110,772,658,8 (13e)86,5 (13e)
DBRX (36B/132B)32K8K99,499,093,573,40,50,061,041,6 (14e)80,3 (14e)
Together (7B)32K<4K96,289,982,380,20,00.058,140,2 (15e)76,0 (15e)
LongChat (7B)32K<4K93,392,281,167,30,00,055,737,6 (16e)73,7 (16e)
LongAlpaca (13B)32K<4K74,972,270,853,20,00,045,230,7 (17e)59,7 (17e)
Contexte en lecture seule pour comprendre la source (il ne s'agit pas du texte source à traduire) :Tableau 12 : Performance de modèles de base sélectionnés sur des longueurs de 4K à 128K en faisant la moyenne des scores de 13 tâches dans RULER.Tableau 13 : Performance de modèles alignés et de base sélectionnés sur des longueurs de 4K à 128K en faisant la moyenne des scores de 8 tâches dans Retrieval (NIAH) de RULER.Texte à traduire :
Llama2-7B (base)4K-90.9Mixtral-base (8x7B)32K32K99.999.798.494.872.1
29.182.371.8(2e)92.8(1er)Mixtral-base (7B)32K16K99.397.595.789.856.8
10.274.961.2(4e)88.6(2e)Jamba-base (52B)256K<4K86.480.573.772.368.1
56.973.068.5(3e)77.4(5e)LWM-base (7B)1M<4K88.587.784.579.676.1
74.281.879.1(1er)84.4(4e)LongLoRA-base (7B)100K16K95.395.692.781.576.2 0.0 73.5 60.6(5e) 86.5(3e)
Contexte de référence en lecture seule pour comprendre la source (ce n'est pas le texte source à traduire) : Tableau 12 : Performance de modèles de base sélectionnés sur des longueurs de 4K à 128K en faisant la moyenne des scores de 13 tâches dans RULER. Tableau 13 : Performance de modèles alignés et de base sélectionnés sur des longueurs de 4K à 128K en faisant la moyenne des scores de 8 tâches dans Retrieval (NIAH) de RULER. Texte à traduire : Yarn-base (7B)128K<4K89,986,178,459,049,517,563,451,7(6e)75,1(7e)
Together-base (7B)32K8K95,491,586,175,10,00,058,039,9(7e)76,2(6e)
Together-base (7B)32K8K95,491,586,175,10,00,058,039,9(7e)76,2(6e)

Tableau 13 : Performance de modèles alignés et de base sélectionnés sur des longueurs de 4K à 128K en faisant la moyenne des scores de 8 tâches dans Retrieval (NIAH) de RULER.

« »

ModèlesLongueur annoncéeLongueur effective4K8K16K32K64K128KMoy.Moy. pondérée (aug.)Moy. pondérée (dim.)
Llama2-7B (chat)4K-89,7
GPT-4128K128K100,0100,0100,0100,0100,099,699,999,9(2e)100,0(1er)
Gemini-1.51M>128K100,0100,0100,0100,099,6100,099,999,9(1er)100,0(2e)
Command-R-plus (104B)128K128K100,0100,0100,0100,099,997,299,599,2(3e)99,8(3e)
GLM4 (9B)1M>128K99,999,699,899,899,697,799,499,1(4e)99,7(4e)
Qwen2 (72B)128K64K100,0100,0100,0100,095,279,095,792,9 (5e)98,5 (5e)
Llama3.1 (70B)128K64K100,0100,0100,0100,099,959,293,288,3 (8e)98,0 (6e)
Llama3.1 (8B)128K64K99,999,799,798,897,670,494,490,7 (6e)98,0 (7e)
GradientAI/Llama3 (70B)1M64K100,0100,0100,0100,099,756,292,687,4 (9e)97,9 (8e)
Yi (34B)200K64K99,899,899,894,592,576,893,690,3 (7e)96,9 (9e)
Mixtral-8x22B (39B/141B)64K64K100,0100,099,898,696,40,082,570,3 (10e)94,7 (10e)
Phi3-medium (14B)128K16K99,699,298,482,153,626,076,564,1 (11e)88,9 (11e)
Mixtral-v0.2 (7B)32K16K98,996,092,285,074,50,074,460,9 (12e)87,9 (12e)
LongChat (7B)32K8K97,693,583,462,40,00,056,237,4 (14e)75,0 (13e)
DBRX (36B/132B)32K8K100,099,072,545,80,00,052,933,3 (15e)72,5 (14e)
LWM (7B)1M<4K84,480,167,252,245,915.257.546.5(13e)68.6(15e)
Together (7B)32K<4K89.288.848.316.60.00.040.522.8(16e)58.2(16e)
LongAlpaca (13B)32K<4K8.52.118.217.00.00.07.66.5(17e)8.8(17e)
Llama2-7B (base)4K-58.8
Mixtral-base (8x7B)32K64K100.099.9100.098.487.343.388.180.5(2e)95.8(1er)
Mixtral-base (7B)32K64K99.098.496.589.186.10.078.265.4(4e)91.0(2e)
Jamba-base (52B)256K128K87.587.686.288.186.077,885,584,3(1er)86,7(3e)
LWM-base (7B)1M128K80,282,779,376,470,766,175,973,3(3e)78,5(4e)
LongLoRA-base (7B)100K64K92,587,473,156,069,20,063,050,3(5e)75,8(5e)
Yarn-base (7B)128K4K84,643,624,843,020,90,036,124,9(7e)47,4(7e)
Together-base (7B)32K16K95,090,669,643,20,00,049,731,3(6e)68,1(6e)
Tableau 14 : Performance de modèles sélectionnés, alignés et de base, sur des longueurs allant de 4K à 128K dans le traçage multi-sauts (VT) de RULER.
ModèlesLongueur annoncéeLongueur effective4K8K16K32K64K128KMoy. (avec incl.)Moy. pondérée (avec déc.)
Llama2-7B-chat4K-84,8
Gemini-1.51M>128K97,797,797,698,697,390,996,695,8 (1er)
GPT-4128K64K99,098,398,095,090,179,793,490,4 (2e)
Qwen2 (72B)128K32K99,398,093,197,478,570,389,484,7 (3e)
Mixtral-8x22B (39B/141B)64K32K97,896,994,888,283,369,788,584,0 (4e)
Command-R-plus (104B)128K32K98,296,9 Note : « Avg. (inc) » et « wAvg. (dec) » ont été rendus par « Moy. (avec incl.) » et « Moy. pondérée (avec déc.) » ; les abréviations « incl. » et « déc. » restent ambiguës dans la source et ont été conservées telles quelles.95,290,382,559,587,181,3 (5e)
Llama3.1 (70B)128K32K99,998,398,497,166,339,883,373,8 (6e)
Phi3-medium (14B)128K16K90,895,190,382,462,143,877,469,3 (7e)
Yi (34B)200K16K91,490,986,275,358,543,474,366,0 (8e)
GLM4 (9B)1M8K93,585,278,568,158,349,772,264,8 (9e)
GradientAI/Llama3 (70B)1M8K96,494,774,957,045,141,468,357,7 (10e)
Llama3.1 (8B)128K8K97,090,179,254,143,536,266,755,5 (11e)
Mixtral-v0.2 (7B)32K8K94,390,477,448,542,433,764,453,1 (12e)
DBRX (36B/132B)32K8K94,594,773,748,74,10,052,634,3 (13e)
Together (7B)32K<4K82,364,543,334,80,00,037,522,9 (16e)
LongChat (7B)32K<4K74,350,746,751,10,00,037,124,8 (15e)
LWM (7B)1M<4K61,343,638,332,829,129,139,034,0 (14e)
LongAlpaca (13B)32K<4K33,027,026,023,20,00,018,212,3 (17e)
Llama2-7B (base)4K-73,1
Mixtral-base (8x7B)32K32K96,594,893,187,868,624,377,566,9 (1er)
Mixtral-base (7B)32K16K94,893,181,653,336,79,261,446,5 (2e)
Jamba-base (52B)256K4K75,963,551,738,533,328,048,540,3 (3e)
LWM-base (7B)1M<4K67,148,436,026,321,518,736,328,4 (5e)
LongLoRA-base (7B)100K<4K70,364,450,739,929,40,042,431,3 (4e)
Yarn-base (7B)128K<4K70,649,228,920,517,02,131,420,7 (6e)
Together-base (7B)32K<4K69,153,019,920,60,00,027,115,1 (7e)
Tableau 15 : Performances de modèles alignés et de base sélectionnés sur des longueurs de 4K à 128K, en faisant la moyenne de 2 scores de tâches dans l’agrégation (CWE/FWE) de RULER.
ModèlesLongueur revendiquéeLongueur effective4K8K16K32K64K128KMoy.Moy. pondérée (inc)Moy. pondérée (déc)
Llama2-7B (chat)4K-49,7
Gemini-1.51M>128K81,975,977,875,977,674,177,276,3(1er)78,0(1er)
GPT-4128K128K79,078,076,068,061,659,070,366,5(4e)74,0(2e)
Qwen2 (72B)128K64K80,876,974,166,954,547,266,761,0(8e)72,5(3e)
GradientAI/LLama3 (70B)1M>128K75,673,972,469,966,059,869,667,1(3e)72,1(4e)
Llama3.1 (70B)128K64K77,274,872,370,464,247,667,863,4 (7e)72,1 (5e)
GLM4 (9B)1M>128K74,771,371,968,566,363,669,467,6 (2e)71,1 (6e)
Mixtral-8x22B (39B/141B)64K64K76,673,571,866,559,740,864,859,4 (9e)70,2 (7e)
Yi (34B)200K>128K72,771,568,466,264,159,967,165,0 (5e)69,2 (8e)
Llama3.1 (8B)128K128K74,170,167,365,863,758,866,664,3 (6e)68,9 (9e)
Command-R-plus (104B)128K64K73,472,369,465,957,039,262,957,6 (10e)68,1 (10e)
Phi3-medium (14B)128K64K70,967,266,159,354,238,059,354,3 (12e)64,3 (11e)
Mixtral-v0.2 (7B)32K32K72,470,065,757,634,413,352,242,5 (13e)62,0 (12e)
LWM (7B)1M>128K61,257,856,755,454,752,656,455,1 (11e)57,7 (13e)
DBRX (36B/132B)32K16K76,069,459,445,09,60,043,229,6 (14e)56,9 (14e)
Together (7B)32K16K61,158,354,245,60,00,036,524,9(15e)48,2(15e)
LongAlpaca (13B)32K16K57,253,549,739,00,00,033,222,3(16e)44,1(16e)
LongChat (7B)32K8K54,553,647,634,00,00,031,621,0(17e)42,3(17e)
Llama2-7B (base)4K-48,647,745,341,334,426,441,037,0(3e)44,9(3e)
Mixtral-base (8x7B)32K4K50,847,745,341,334,426,441,037,0(3e)44,9(3e)
Mixtral-base (7B)32K8K53,551,048,444,732,82,238,831,3(4e)46,3(2e)
Jamba-base (52B)256K32K62,760,657,952,647,539,653,549,7(1er)57,3(1er)
LWM-base (7B)1M<4K42,740,238,737,137,334,638,437,2(2e)39,6(4e)
LongLoRA-base (7B)100K<4K34,532,133,629,426,10,026,021,3(6e)30,6(6e)
Yarn-base (7B)128K<4K29,723,528,629,725,518,125,924,6(5e)27,1(7e)
Together-base (7B)32K4K52,047,544,633,60,00,029,619,8(7e)39,5(5e)
Tableau 16 : Performance de modèles alignés et de base sélectionnés sur des longueurs de 4K à 128K, en moyennant les scores de 2 tâches de Question Answering de RULER.