Mi az a token az AI-ban?

Részletes magyarázat

Vállalkozóként azért fontos, mert a hosszabb szöveg, nagyobb dokumentum vagy sok háttéranyag több tokent használ, és ez befolyásolhatja a költséget, a sebességet és a kezelhető kontextus mennyiségét. Nagy tudástárak, hosszú riportok, szerződések, SEO auditok vagy ügyféldokumentációk AI-feldolgozásánál a tokenkorlát gyakorlati kérdéssé válhat. A token a modell „szótöredéke" — angolban kb. 1 token = 4 karakter / 0,75 szó. Magyar nyelvnél 1,5–2× annyi tokent fogyaszt ugyanaz a szöveg, mert a tokenizer angolra van optimalizálva. 1 A4 oldal magyar szöveg ≈ 800–1200 token. Két ár van: input (a beküldött prompt + kontextus tokenenként) és output (a generált válasz tokenenként). Az output rendszerint 3–5× drágább, mint az input. Modern költségcsökkentő technikák: prompt caching (ismétlődő system promptra akár 90% kedvezmény az újratöltött részre) az OpenAI, Anthropic és Google is támogatja; Batch API (50% kedvezmény, ha 24 órán belül kell csak válasz). Üzleti tervezésnél nem 1 promptot számolj, hanem havi átlag * token / db; egy aktív csapat heti 100–500 USD API-költséget reális tervezni, ha komoly content/agent flow fut.

Tipikus hibák

• Az árazást angol token alapján kalkulálják — magyar szövegen 1,5–2× drágább lesz, mint várták.
• Nem használnak prompt caching-et ismétlődő system promptra — felesleges sok pénz megy el.
• Output tokent inputtal egyenlő áron kalkulálják — pedig az output 3–5× drágább.
• Csak input árat néznek, kihagyják a kontextus (előzmény) tokenjeit a számolásból.