Parámetros de un modelo

Una red neuronal es, en el fondo, una colección enorme de números. Durante el entrenamiento cada uno de esos números se ajusta una y otra vez hasta que el modelo hace bien su tarea. Esos números aprendidos son los parámetros, también llamados pesos (weights). Son el modelo: cuando alguien 'descarga un modelo', está descargando un archivo lleno de ellos.

Cuando ves un nombre como 'Llama 70B' o escuchás 'un modelo de 7 mil millones de parámetros', el número es cuántos parámetros tiene: la B viene de billion, que en inglés quiere decir mil millones (no el billón nuestro). En 2020 GPT-3 tenía 175 mil millones, algo que en ese momento parecía enorme. Más parámetros le dan al modelo más lugar para guardar patrones, así que los modelos grandes suelen ser más capaces, pero la calidad y la cantidad de datos de entrenamiento importan igual, y un modelo chico bien entrenado le puede ganar a uno grande hecho a las apuradas. Muchas empresas ya no publican cuántos parámetros tienen sus modelos principales.

La cifra también te dice qué hardware hace falta. Cada parámetro se guarda con cierta precisión: a 16 bits ocupa 2 bytes, así que un modelo de 70B necesita unos 140 GB de memoria solo para cargarse, mucho más de lo que tiene una notebook. La cuantización guarda cada número con menos bits, por ejemplo 4, y deja el mismo modelo en unos 35 GB a cambio de perder un poco de calidad. Algunos modelos, llamados mixture of experts (mezcla de expertos), usan solo una parte de sus parámetros para cada palabra, así que corren más rápido de lo que sugiere su tamaño total.