Pourquoi deux réponses peuvent-elles être différentes ?

L’essentiel

« Même demande » ne signifie pas toujours « mêmes conditions »

Deux personnes peuvent copier la même phrase dans une interface et recevoir des réponses différentes. Avant d’invoquer le hasard, il faut vérifier tout ce qui entoure le texte visible :

• les instructions système ou éditoriales ;
• l’historique de la conversation ;
• les documents ajoutés au contexte ;
• les résultats d’une recherche ou d’un outil ;
• le modèle et sa version ;
• les réglages de génération ;
• la date, la langue ou les options propres à l’application.

Si l’un de ces éléments change, le modèle ne calcule plus la suite à partir de la même entrée complète. La comparaison reste intéressante, mais elle ne mesure pas uniquement la variabilité du décodage.

Des scores au choix : le rôle du décodage

Comme vu dans la première leçon, un modèle autorégressif calcule un score pour chaque prochain token possible. Le décodage désigne les règles qui transforment ces scores en une suite de tokens.

Deux grandes approches aident à raisonner :

1. Le décodage glouton. Il choisit à chaque étape le token dont le score est maximal.
2. L’échantillonnage. Il effectue un tirage pondéré dans une distribution, éventuellement modifiée ou filtrée.

Le top-k limite par exemple les candidats aux k tokens les mieux classés. Le top-p, ou nucleus sampling, conserve un ensemble dynamique de candidats dont la probabilité cumulée atteint un seuil p. La température modifie la concentration de la distribution, mais ne remplace pas ces autres règles.

Pourquoi une petite différence devient-elle grande ?

La génération est une boucle. Si deux exécutions choisissent un token différent à l’étape 12, leurs contextes deviennent différents à l’étape 13. Elles calculent alors deux nouvelles distributions différentes. Chaque choix suivant peut accentuer la divergence.

Deux réponses peuvent donc partager leur début puis bifurquer rapidement. La première différence n’explique pas nécessairement tout le contenu qui suit : elle a ouvert un autre chemin dans une suite de décisions conditionnelles.

Ce qu’une graine peut — et ne peut pas — reproduire

Un générateur pseudo-aléatoire produit une suite de nombres à partir d’un état initial appelé graine. Avec le même algorithme et le même état, il peut rejouer la même suite de tirages.

Pour reproduire une génération échantillonnée, il faut toutefois aligner bien plus que la graine :

• le modèle et ses paramètres ;
• le tokenizer et le prompt exact ;
• tous les réglages de décodage ;
• l’ordre des appels au générateur pseudo-aléatoire ;
• les bibliothèques et leur version ;
• les calculs numériques utilisés avant chaque tirage.

Un service peut ne pas exposer de graine, ou la traiter comme un effort de reproductibilité sans garantie contractuelle. Une graine observée dans notre simulation locale ne doit donc pas être extrapolée à toutes les API.

Température zéro signifie-t-elle déterministe ?

Une interface peut utiliser « température 0 » comme raccourci pour un comportement proche du décodage glouton. Cela retire normalement le tirage aléatoire de la sélection. Ce n’est pourtant pas une définition suffisante du déterminisme de tout le système.

Les calculs en virgule flottante ont une précision finie. Leur ordre peut varier selon le matériel, le parallélisme, la taille des lots ou les bibliothèques. Si deux tokens ont des scores presque égaux, un très petit écart numérique peut inverser leur classement. Une fois un autre token choisi, l’effet de cascade commence.

Dans un environnement local stable, un décodage glouton peut être parfaitement répétable. La formulation prudente est donc :

Les conditions favorisent la répétabilité lorsque l’entrée, le modèle, le décodage et l’environnement sont contrôlés.

Ce n’est pas la même chose que promettre une sortie identique entre toutes les infrastructures.

Laboratoire : diagnostiquer les sources de variation

Commencez avec des conditions identiques et un décodage glouton. Activez ensuite l’échantillonnage, changez la graine, puis rendez l’environnement variable. Enfin, modifiez le prompt ou le modèle : le diagnostic doit alors rappeler que les deux exécutions ne sont plus directement comparables.

Variation, cohérence et qualité

Une réponse différente n’est pas automatiquement moins bonne. Deux textes peuvent :

• exprimer la même information avec des formulations différentes ;
• suivre des raisonnements distincts et arriver à la même conclusion ;
• être tous les deux plausibles mais faux ;
• diverger parce que la question accepte plusieurs réponses légitimes.

Certaines méthodes utilisent volontairement la diversité. La self-consistency, par exemple, échantillonne plusieurs chemins de raisonnement puis agrège la réponse finale la plus cohérente dans un cadre donné. Cela montre que la variabilité peut être exploitée comme une ressource méthodologique, pas seulement combattue comme un défaut.

La répétabilité et l’exactitude restent deux propriétés différentes. Répéter fidèlement une erreur ne la rend pas vraie ; varier la formulation d’une réponse exacte ne la rend pas fausse.

Un protocole simple pour comparer deux réponses

1. Capturer l’entrée complète. Inclure historique, instructions et données externes.
2. Identifier le système. Noter modèle, version et date.
3. Conserver les réglages. Température, top-k, top-p, longueur maximale, pénalités et graine lorsqu’ils sont disponibles.
4. Contrôler l’environnement. Pour une expérience locale, noter matériel, bibliothèques et précision.
5. Répéter plusieurs fois. Une seule paire ne permet pas d’estimer une fréquence de variation.
6. Comparer le sens et les faits. Ne pas se limiter à une égalité exacte des chaînes de caractères.

Ce protocole ne rend pas tous les services auditables. Il évite au moins de confondre un changement de conditions avec un simple tirage différent.

Présentation

La présentation résume les quatre familles de causes et la méthode pour les isoler.

Vérifiez votre compréhension

Le quiz distingue hasard, changement de contexte et variation numérique.

Trois idées à retenir

Concepts liés

• Décodage
• Décodage glouton
• Graine pseudo-aléatoire
• Top-k
• Top-p
• Déterminisme

Sources principales

Ces sources couvrent le décodage, l’apprentissage en contexte, l’exploitation de plusieurs générations et la reproductibilité numérique. Elles ont été vérifiées le 27 juillet 2026.