Wat is een token in AI? Simpel uitgelegd (gewone taal)
Wat is een token in AI? Simpel uitgelegd met voorbeelden. Begrijp context window, kosten en waarom ChatGPT soms afkapt.
Een token is de manier waarop AI tekst opknipt in kleine stukjes die het model kan tellen en verwerken. Niet per se woorden, maar vaak delen van woorden.
Token in AI (in 2 zinnen)
Een token in AI is een stukje tekst dat een taalmodel gebruikt als rekeneenheid. Hoe meer tokens, hoe meer “ruimte” je gesprek of document inneemt en hoe sneller je tegen limieten en kosten aanloopt.
Waarom jij dit wil snappen
- Je snapt beter waarom een AI soms “afkapt”.
- Je begrijpt waarom lange teksten duurder zijn.
- Je kunt slimmer prompten: korter, specifieker, minder ruis.
Token vs woord (simpel uitgelegd)
Een token is niet altijd een woord. Sommige woorden zijn 1 token, andere worden opgesplitst. Ook spaties en leestekens tellen mee. Daarom kan dezelfde zin in het Nederlands net iets anders uitpakken dan in het Engels.
Veelgestelde vraag: het token of de token?
In het dagelijks Nederlands hoor je allebei. In IT-context wordt vaak de token gezegd (zoals: “een access token”). Maar het token komt ook voor, zeker als mensen het als “codewoord” of “symbool” zien.
Praktisch advies: kies één vorm en blijf consistent in je team. Als je twijfelt: “de token” is in tech het meest gangbaar.
Hoeveel tokens heb je ongeveer?
- Een korte e-mail: grofweg enkele honderden tokens.
- Een A4 aan tekst: vaak rond de 400 tot 800 tokens (ruwe schatting).
- Een rapport of dossier: kan snel duizenden tokens worden.
Dit zijn schattingen. Elk model tokeniseert net anders.
Wat kun je ermee in de praktijk?
- Samenvatten: knip een lang document in stukken en vraag per stuk om een samenvatting.
- Structuur: vraag om een tabel of lijst met vaste koppen, dat scheelt tokens en ruis.
- Projecten: bewaar context bij elkaar (Project), in plaats van alles in één mega-chat te proppen.
Tip: merk je dat je prompt steeds langer wordt? Dan is het tijd om te schrappen, te structureren, of context te verplaatsen naar een document/Project.
