◆ AI Koncept
Tokenizácia
tiež známy ako: Tokenization · Token · Tokeny
Tokenizácia je proces rozdelenia textu na menšie jednotky (tokeny), ktoré LLM modely spracúvajú. Token môže byť slovo, časť slova, alebo aj jednotlivý znak.
Články o Tokenizácia.
ai-zaklady Čo je LLM? Vysvetlenie veľkých jazykových modelov
Jednoduchý sprievodca veľkými jazykovými modelmi. Čo sú LLM, ako fungujú a prečo menia svet technológií.
→
ai-zaklady Context Window – Pamäť AI vysvetlená
Context window určuje koľko si AI pamätá. Vysvetlíme čo to je a ako s tým pracovať.
→
ai-zaklady Tokenizácia – Ako AI rozumie textu
Tokenizácia je kľúčový koncept pre pochopenie AI. Vysvetlíme ako LLM rozkladá text na tokeny.
→