L’essentiel
Que contient la fenêtre ?
Le texte visible dans une interface n’est qu’une partie possible de l’entrée. Une application peut assembler :
- des instructions système ;
- les messages de la conversation ;
- des documents récupérés ;
- le résultat d’un outil ;
- des exemples ;
- les tokens déjà générés dans la réponse courante.
Le tout est transformé en tokens. Une limite annoncée en tokens ne correspond donc pas à un nombre fixe de pages ou de mots.
Un budget partagé avec la réponse
Si le système autorise une capacité totale, il doit réserver assez de place pour la sortie. Une entrée qui occupe presque tout le budget peut laisser une réponse très courte ou être rejetée. Les API et applications n’exposent pas toutes cette limite de la même manière.
Laboratoire : composer un budget de contexte
Les tailles suivantes sont fictives. Elles rendent visibles une politique simple : réserver la réponse, puis conserver les blocs dans un ordre préparé.
Composer une entrée limitée
Budget de fenêtre de contexte
Activez des blocs et changez la capacité pour observer ce qui peut entrer avant de réserver de la place à la réponse.
Plan préparé
1 bloc écarté
Budget d’entrée: 1100 unités. Demande: 1360 unités. Dépassement théorique : 260 unités.
Limites de cette représentation
- Les unités ne sont pas des comptes de tokens réels.
- La stratégie conserve ici les blocs dans un ordre fixe ; les applications réelles peuvent tronquer, résumer ou rechercher autrement.
- Tenir dans la fenêtre ne garantit pas que le modèle utilisera chaque information avec la même efficacité.
Que se passe-t-il lorsque le contexte déborde ?
L’application peut appliquer une troncature, par exemple supprimer les plus anciens messages. Elle peut aussi résumer, sélectionner des passages, refuser la requête ou utiliser une récupération documentaire.
Chaque choix perd potentiellement quelque chose. Un résumé peut oublier un détail ; une recherche peut manquer le passage pertinent ; une troncature peut retirer l’instruction qui donnait son sens à la demande.
Présent dans la fenêtre ne veut pas dire bien utilisé
Le mécanisme d’attention aide le modèle à relier des positions de la séquence. Mais l’accès théorique à une longue entrée ne garantit pas une exploitation uniforme. Des évaluations dites « perdu au milieu » montrent que la position d’une information peut influencer les performances.
Une grande fenêtre est donc une capacité, pas une promesse de mémoire parfaite. Il reste utile de placer clairement les instructions, de retirer le bruit et de tester des documents de longueurs variées.
Contexte, paramètres et mémoire externe
Ajouter un document dans la fenêtre ne modifie normalement pas les paramètres du modèle. L’information sert à l’inférence actuelle. Une application peut conserver des données en dehors du modèle, puis les réinjecter plus tard. Cette mémoire externe dépend alors de règles de stockage et de récupération distinctes.
Le cache KV est encore autre chose : il réutilise des calculs d’attention pendant la génération pour éviter de tout recalculer, sans transformer la conversation en connaissance durable.
Présentation
Vérifiez votre compréhension
Sans piège, avec explications
Quiz de compréhension
Le quiz ne bloque rien. Une erreur sert à préciser le modèle mental.
Trois idées à retenir
Sources principales
Sources vérifiées le 27 juillet 2026.
- Attention Is All You Need — Ashish Vaswani et al. (2017) (ouvre un nouvel onglet)Introduit l’architecture Transformer fondée sur les mécanismes d’attention.
- Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context — Zihang Dai et al. (2019) (ouvre un nouvel onglet)Étudie la dépendance à longue portée et une forme de récurrence entre segments.
- Lost in the Middle: How Language Models Use Long Contexts — Nelson F. Liu et al. (2024) (ouvre un nouvel onglet)Évalue l’influence de la position des informations dans de longs contextes.
- Found in the Middle: Calibrating Positional Attention Bias — Chun-Ting Wu et al. (2024) (ouvre un nouvel onglet)Analyse et atténue certains biais de position lors du traitement de contextes longs.
Votre progression locale
Statut: Non commencée
La progression reste sur cet appareil.