Vocabulaire fictif
Profil compact
Ce vocabulaire préparé contient plusieurs unités fréquentes de la phrase.
- Les
- ␠modèles
- ␠apprennent
- .
Laboratoire 02 · Démonstration préparée
Un texte, plusieurs tokenisations
Comparez deux vocabulaires fictifs, affichez les identifiants et observez comment le même texte devient des séquences de longueurs différentes.
Comparer deux découpages
Un texte, plusieurs tokenisations
Changez d’exemple et observez comment deux vocabulaires préparés représentent exactement le même texte avec des frontières différentes.
Texte original
Les modèles apprennent.4 tokens
Vocabulaire fictif
Profil fragmenté
Ce vocabulaire préparé doit composer davantage de fragments pour produire exactement le même texte.
- L
- es
- ␠mod
- èles
- ␠appr
- ennent
- .
Un vocabulaire peut contenir un mot fréquent entier ou seulement des fragments permettant de le reconstruire.
Ce que cette démonstration ne montre pas
- Les profils et identifiants sont fictifs et préparés localement.
- Aucun tokenizer commercial ou open source n’est exécuté ici.
- Les vraies frontières dépendent de l’algorithme, du vocabulaire, de sa version, de la normalisation et du texte exact.
- Un plus petit nombre de tokens n’implique pas automatiquement un meilleur modèle ou une meilleure réponse.