Tokenizácia – Ako AI rozumie textu

Keď píšeš ChatGPT, AI nevidí slová ako ty. Rozkladá text na menšie časti – tokeny. Pochopenie tokenizácie ti pomôže efektívnejšie pracovať s AI.

Čo je token

Token je základná jednotka textu pre AI. Môže to byť:

  • Celé slovo (“hello” = 1 token)
  • Časť slova (“understanding” = “understand” + “ing” = 2 tokeny)
  • Znak alebo interpunkcia (”!” = 1 token)

Pravidlo: 1 token ≈ 4 znaky alebo 0.75 slova v angličtine.

Prečo na tom záleží

1. Context window

AI má limit tokenov, ktoré môže spracovať naraz:

  • GPT-4: 128 000 tokenov (~96 000 slov)
  • Claude: 200 000 tokenov (~150 000 slov)

Keď prekročíš limit, AI “zabudne” začiatok konverzácie.

2. Cena

API účtuje podľa tokenov:

  • GPT-4o: $5 / 1M input tokenov
  • Claude 3.5 Sonnet: $3 / 1M input tokenov

Efektívne prompty = nižšie náklady.

3. Rýchlosť

Viac tokenov = dlhší čas generovania.

Slovenčina vs angličtina

Problém: Slovenčina používa viac tokenov ako angličtina.

Príklad “Dobrý deň”:

  • Anglicky “Hello”: 1 token
  • Slovensky “Dobrý deň”: 3-4 tokeny

Prečo: AI boli trénované primárne na angličtine. Slovenské slová sú menej “známe” a rozkladajú sa na menšie časti.

Praktické dôsledky

1. Dlhé konverzácie

Pri dlhých chatoch môžeš naraziť na limit. Riešenie:

  • Zhrň dôležité body
  • Začni novú konverzáciu s kontextom

2. Efektívne prompty

Zbytočne dlhé prompty = viac tokenov = vyššie náklady.

Neefektívne:

Rád by som ťa poprosil, či by si mi mohol láskavo 
pomôcť s napísaním emailu, pričom by som potreboval, 
aby si zohľadnil nasledovné...

Efektívne:

Napíš email. Téma: ospravedlnenie za oneskorenie. 
Tón: profesionálny. Max 100 slov.

3. Upload dokumentov

Veľké dokumenty zaberú veľa tokenov. Ak máš 100-stranový PDF:

  • GPT-4: zmestí sa
  • Staršie modely: potrebuješ rozdeliť

Ako spočítať tokeny

Online nástroje

Rýchly odhad

  • Anglický text: slová × 1.3
  • Slovenský text: slová × 1.5-2
  • Kód: riadky × 10

Tipy pre efektivitu

  1. Stručnosť – hovor čo potrebuješ, nie viac
  2. Angličtina pre technické – ak nepotrebuješ slovenčinu
  3. Zhrň dlhé konverzácie – pred limitom
  4. Čisti kontext – nepotrebné info vymaž

Záver

Tokenizácia je “za oponou” AI, ale ovplyvňuje tvoju prácu. Efektívne prompty a pochopenie limitov ti pomôže využiť AI lepšie a lacnejšie.

Témy 💬 Základy💬 Tutoriály
Koncepty 🧠 Tokenizácia🧠 LLM