# Token

> El pedacito de texto que un modelo de lenguaje realmente lee.

- Nivel: Básico
- Temas: IA
- URL: https://tidbit.legios.com.ar/es/token/
- En inglés: [Token](https://tidbit.legios.com.ar/token/)

Un modelo de lenguaje como Claude o ChatGPT no lee letras ni palabras completas. Lee **tokens**: trozos de texto que suelen ser una palabra corta, una parte de una palabra larga o un signo de puntuación. La palabra `gato` es un token; `increíblemente` puede ser tres.

Antes de que el modelo vea tu mensaje, un programa llamado tokenizador lo parte en tokens y convierte cada uno en un número. El modelo trabaja con esos números, predice el siguiente token y la salida se vuelve a convertir en texto.

Los tokens importan en la práctica porque es lo que pagás y lo que entra en la memoria del modelo. Una página en inglés son unos 400 tokens; el español y el código suelen necesitar un poco más.

## Una analogía

Pensá en bloques de Lego. No construís con plástico crudo ni comprás un castillo entero: trabajás con piezas estándar que encajan. Los tokens son los bloques del texto.

## Para quedarse

- Un token son unos 3 o 4 caracteres en inglés, en promedio.
- Los precios y límites de los modelos de IA se miden en tokens, no en palabras.
- El mismo texto puede ser más tokens en otro idioma o en código.

## Para seguir leyendo

- [Conteo de tokens en la documentación de Anthropic](https://docs.anthropic.com/en/docs/build-with-claude/token-counting)
- [Tokenizador interactivo de OpenAI](https://platform.openai.com/tokenizer)

## Términos relacionados

- [LLM](https://tidbit.legios.com.ar/es/llm/): Una red neuronal entrenada con muchísimo texto para predecir la próxima palabra.
- [Claude](https://tidbit.legios.com.ar/es/claude/): La familia de modelos de IA de Anthropic, y el asistente construido sobre ellos.
- [ChatGPT](https://tidbit.legios.com.ar/es/chatgpt/): El asistente de chat de OpenAI, la app que llevó los chatbots de IA al público.
- [Inteligencia artificial](https://tidbit.legios.com.ar/es/artificial-intelligence/): Lograr que las computadoras hagan cosas que hasta hace poco solo hacía la gente.