Les mots, sans le brouillard
Une définition courte pour avancer, une précision pour aller plus loin. Le jargon doit simplement payer son loyer en explications.
Ensemble de techniques permettant à un système informatique d’effectuer des tâches de prédiction, de classification, de génération ou de décision.
Le terme recouvre des approches très différentes. Cette leçon se concentre sur des modèles dont les paramètres sont ajustés à partir de données.
Système mathématique ajusté à partir de données pour transformer des entrées en sorties.
Pendant une inférence ordinaire, les paramètres appris du modèle restent fixes : c’est le contexte fourni au modèle qui change.
Grand modèle de langage conçu pour traiter des séquences de tokens.
LLM signifie « large language model ». Un LLM génératif peut produire du texte, mais il ne constitue pas à lui seul un chatbot ou une application complète.
Unité de texte associée à un identifiant numérique pour être traitée par un modèle.
Selon le tokenizer et le texte, un token peut correspondre à un mot entier, un fragment de mot, un signe de ponctuation ou une autre unité. Un token n’est donc pas toujours un mot.
Système qui transforme un texte en une séquence de tokens et d’identifiants, puis permet généralement l’opération inverse.
Le résultat dépend de l’algorithme, du vocabulaire, de la normalisation, des règles de prétraitement et de leur version. Deux tokenizers peuvent segmenter différemment le même texte.
Liste finie des unités qu’un tokenizer sait associer directement à des identifiants.
Le vocabulaire peut mêler mots, sous-mots, signes, séquences d’octets et tokens spéciaux. Sa taille et sa construction influencent la segmentation.
Nombre entier qui désigne une entrée précise du vocabulaire d’un tokenizer.
Un identifiant n’a de sens qu’avec le vocabulaire et la version concernés. Le même fragment peut recevoir un autre identifiant dans un autre système.
Fragment de texte réutilisable qui peut être combiné avec d’autres pour représenter des mots.
Les méthodes de sous-mots cherchent un compromis entre un vocabulaire fini et des séquences raisonnablement courtes. Leurs frontières ne correspondent pas nécessairement à des morphèmes linguistiques.
Groupe de huit bits utilisé pour encoder des données numériques, notamment du texte en UTF-8.
Un caractère Unicode peut occuper plusieurs octets en UTF-8. Certains tokenizers disposent d’un repli sur les octets et certains modèles traitent directement des séquences d’octets.
Transformation appliquée au texte pour rendre certaines représentations plus cohérentes avant ou pendant la tokenisation.
Elle peut concerner des variantes Unicode, la casse ou les espaces. Les règles varient et peuvent modifier les distinctions conservées par le système.
Valeur comprise entre 0 et 1 utilisée ici pour pondérer un token candidat.
Cette valeur dépend du modèle, du contexte et des réglages de génération. Elle ne mesure pas directement la probabilité qu’une affirmation soit vraie.
Ensemble des probabilités attribuées aux différentes possibilités considérées.
Après normalisation, la somme des probabilités vaut 1. L’affichage en pourcentages peut présenter un petit écart à cause des arrondis.
Réglage positif qui modifie la concentration de la distribution utilisée pour générer du texte.
Une température basse concentre généralement la distribution sur les tokens déjà les plus probables ; une température haute la rend plus plate. Elle ne donne pas de nouvelles connaissances au modèle.
Sélection aléatoire d’un token en tenant compte de sa probabilité.
L’échantillonnage se distingue du décodage glouton, qui choisit systématiquement le token de score maximal. Des filtres comme top-k ou top-p peuvent aussi intervenir.
Ensemble des règles utilisées pour transformer les scores d’un modèle en une suite de tokens.
Le décodage peut être glouton ou utiliser un échantillonnage, une température, des filtres top-k ou top-p, des pénalités et des règles d’arrêt.
Stratégie qui choisit à chaque étape le token dont le score est maximal.
Elle supprime le tirage aléatoire de la sélection locale, mais ne garantit ni la vérité de la sortie ni un déterminisme identique entre toutes les infrastructures.
État initial utilisé pour produire une suite reproductible de nombres pseudo-aléatoires.
La même graine aide uniquement lorsque l’algorithme, l’ordre des tirages, le modèle, les réglages et l’environnement pertinent restent compatibles.
Filtre qui limite l’échantillonnage aux k tokens les mieux classés à une étape.
Le nombre de candidats reste fixe, même si leur masse de probabilité cumulée varie selon le contexte.
Filtre qui conserve un ensemble de tokens dont la probabilité cumulée atteint un seuil p.
Aussi appelé nucleus sampling, il adapte la taille de l’ensemble de candidats à la forme de la distribution courante.
Propriété d’un système qui produit le même résultat lorsque toutes les conditions pertinentes sont identiques.
Dans une chaîne d’inférence, cela peut nécessiter de contrôler le modèle, les entrées, le décodage, les générateurs pseudo-aléatoires, les bibliothèques, la précision, le matériel et le parallélisme.
Ensemble des tokens dont le modèle peut tenir compte pour produire la suite.
Le contexte peut inclure des instructions, la demande de l’utilisateur, les tokens déjà générés et du contenu fourni par des outils. Sa taille est limitée par la fenêtre de contexte.
Utilisation d’un modèle entraîné pour calculer une sortie à partir d’une entrée.
L’inférence se distingue de l’entraînement : elle utilise les paramètres appris sans normalement les modifier.
Sortie plausible mais fausse, non étayée ou incompatible avec la source demandée.
Le terme décrit un résultat observable. Il n’implique ni intention de tromper ni état de conscience du modèle.
Valeur numérique apprise pendant l’entraînement et utilisée dans les calculs du modèle.
Les paramètres du modèle sont à distinguer des paramètres de génération, ou réglages, tels que la température et top-p.
Fait de relier une réponse à des données ou documents explicitement fournis.
L’ancrage rend les affirmations plus contrôlables, mais sa qualité dépend de la pertinence des sources et de leur interprétation.
Examen d’une affirmation à partir de preuves indépendantes et consultables.
La vérification décompose la réponse en affirmations, recherche des sources adaptées et classe le soutien, la contradiction ou l’insuffisance des preuves.
Document ou donnée produit directement par l’acteur, l’expérience ou l’institution concernée.
Une source primaire peut être un texte officiel, un jeu de données, un article de recherche original ou un témoignage direct. Elle doit encore être authentifiée et contextualisée.
Part de ce qui n’est pas connu ou ne peut pas être conclu avec les preuves disponibles.
Exprimer l’incertitude consiste notamment à distinguer les faits établis, les hypothèses et les informations manquantes.
Référence permettant de retrouver la source associée à une affirmation.
Une citation utile doit être exacte, accessible et réellement soutenir le passage auquel elle est attachée.
Limite de la séquence de tokens disponible pour une génération.
Elle peut couvrir les instructions, la demande, l’historique, les données d’outils et les tokens de sortie, selon les règles de l’application et du modèle.
Répartition d’une capacité limitée entre les différentes parties de l’entrée et de la réponse.
Le budget dépend du tokenizer et des limites du système ; un nombre de tokens ne correspond pas à un nombre fixe de mots.
Suppression d’une partie d’une séquence pour respecter une limite de taille.
La politique peut retirer le début, la fin ou des blocs choisis. Elle risque d’éliminer une instruction ou une preuve importante.
Mécanisme qui calcule des relations pondérées entre des positions d’une séquence.
Dans un transformeur, plusieurs têtes d’attention produisent des représentations contextualisées ; l’attention n’équivaut pas à une conscience humaine.
Recherche de passages externes à ajouter au contexte d’une demande.
La récupération sélectionne des documents selon une requête et un système d’indexation. Elle peut échouer à retrouver la source pertinente.
Mémoire de calcul qui réutilise des clés et valeurs d’attention déjà produites pendant la génération.
Le cache KV accélère le décodage autorégressif, mais ne constitue ni un apprentissage durable ni une mémoire sémantique complète de l’utilisateur.
Application qui organise un dialogue entre une personne et un système automatisé.
Un chatbot peut préparer le contexte, appeler un ou plusieurs modèles, gérer l’historique, appliquer des règles et présenter les réponses.
Système qui choisit des étapes et peut agir avec des outils pour poursuivre un objectif.
Les définitions varient. Cette leçon réserve le terme à une architecture comprenant une boucle d’action et d’observation, sans supposer une autonomie totale.
Fonction externe qu’une application peut appeler pour consulter une donnée, calculer ou agir.
Un outil expose des arguments, un résultat, des erreurs et des permissions. Son appel doit être validé et ses effets contrôlés.
Données conservées par l’application en dehors des paramètres du modèle.
Elle peut stocker un état, un profil ou un historique, puis récupérer une sélection pour la réinjecter dans le contexte.
Logique d’application qui coordonne modèles, outils, données et règles.
L’orchestrateur prépare les appels, contrôle les boucles, gère les erreurs et applique les permissions et critères d’arrêt.
Cycle où le système choisit une action, observe son résultat puis décide de la suite.
La boucle doit posséder des limites de durée, de coût et d’actions, ainsi que des confirmations lorsque les conséquences sont importantes.