# Parámetros de un modelo

> Los miles de millones de números que aprende un modelo; '70B' son 70 mil millones.

- Nivel: Intermedio
- Temas: IA
- URL: https://tidbit.legios.com.ar/es/model-parameters/
- En inglés: [Model parameters](https://tidbit.legios.com.ar/model-parameters/)

Una red neuronal es, en el fondo, una colección enorme de números. Durante el entrenamiento cada uno de esos números se ajusta una y otra vez hasta que el modelo hace bien su tarea. Esos números aprendidos son los **parámetros**, también llamados **pesos** (weights). Son el modelo: cuando alguien 'descarga un modelo', está descargando un archivo lleno de ellos.

Cuando ves un nombre como 'Llama 70B' o escuchás 'un modelo de 7 mil millones de parámetros', el número es cuántos parámetros tiene: la B viene de billion, que en inglés quiere decir mil millones (no el billón nuestro). En 2020 GPT-3 tenía 175 mil millones, algo que en ese momento parecía enorme. Más parámetros le dan al modelo más lugar para guardar patrones, así que los modelos grandes suelen ser más capaces, pero la calidad y la cantidad de datos de entrenamiento importan igual, y un modelo chico bien entrenado le puede ganar a uno grande hecho a las apuradas. Muchas empresas ya no publican cuántos parámetros tienen sus modelos principales.

La cifra también te dice qué hardware hace falta. Cada parámetro se guarda con cierta precisión: a 16 bits ocupa 2 bytes, así que un modelo de 70B necesita unos 140 GB de memoria solo para cargarse, mucho más de lo que tiene una notebook. La **cuantización** guarda cada número con menos bits, por ejemplo 4, y deja el mismo modelo en unos 35 GB a cambio de perder un poco de calidad. Algunos modelos, llamados **mixture of experts** (mezcla de expertos), usan solo una parte de sus parámetros para cada palabra, así que corren más rápido de lo que sugiere su tamaño total.

## Una analogía

Los parámetros son como las perillas de una consola de sonido gigantesca. El entrenamiento gira cada perilla un poquito hasta que suena bien. Una consola '70B' tiene 70 mil millones de perillas, por eso necesita una sala muy grande.

## Para quedarse

- Los parámetros, o pesos, son los números que el modelo aprende al entrenarse.
- '70B' quiere decir unos 70 mil millones de parámetros (la B es billion en inglés).
- La memoria necesaria es más o menos parámetros por bytes por parámetro.
- Más grande suele ser más capaz, pero los datos y el entrenamiento pesan igual.

## Para seguir leyendo

- [Modelo de lenguaje de gran tamaño en Wikipedia](https://es.wikipedia.org/wiki/Modelo_extenso_de_lenguaje)
- [Glosario de aprendizaje automático (Google)](https://developers.google.com/machine-learning/glossary?hl=es-419)
- [Red neuronal artificial en Wikipedia](https://es.wikipedia.org/wiki/Red_neuronal_artificial)

## Términos relacionados

- [Red neuronal](https://tidbit.legios.com.ar/es/neural-network/): Una pila de unidades matemáticas chiquitas que aprende patrones a partir de ejemplos.
- [Entrenamiento e inferencia](https://tidbit.legios.com.ar/es/training-and-inference/): Entrenar construye el modelo una vez; inferir es usarlo, millones de veces por día.