Token
El pedacito de texto que un modelo de lenguaje realmente lee.
Un modelo de lenguaje como Claude o ChatGPT no lee letras ni palabras completas. Lee tokens: trozos de texto que suelen ser una palabra corta, una parte de una palabra larga o un signo de puntuación. La palabra gato es un token; increíblemente puede ser tres.
Antes de que el modelo vea tu mensaje, un programa llamado tokenizador lo parte en tokens y convierte cada uno en un número. El modelo trabaja con esos números, predice el siguiente token y la salida se vuelve a convertir en texto.
Los tokens importan en la práctica porque es lo que pagás y lo que entra en la memoria del modelo. Una página en inglés son unos 400 tokens; el español y el código suelen necesitar un poco más.
Para quedarse
- Un token son unos 3 o 4 caracteres en inglés, en promedio.
- Los precios y límites de los modelos de IA se miden en tokens, no en palabras.
- El mismo texto puede ser más tokens en otro idioma o en código.
