# Mezcla de expertos

> Un modelo armado con muchas subredes, donde solo unas pocas trabajan en cada token.

- Nivel: Avanzado
- Temas: IA
- URL: https://tidbit.legios.com.ar/es/mixture-of-experts/
- En inglés: [Mixture of experts](https://tidbit.legios.com.ar/mixture-of-experts/)

Una **mezcla de expertos** (MoE, por mixture of experts) es una forma de armar una red neuronal para que pueda ser enorme sin volverse lenta. Dentro de algunas capas de un transformer, en lugar de un único bloque grande que procesa todos los tokens, hay muchos bloques más chicos llamados expertos, más un **router** chiquito que decide, para cada token, qué dos o tres expertos se encargan. El resto queda quieto para ese token.

Eso parte el tamaño del modelo en dos números. La cantidad total de parámetros es lo que el modelo sabe; la cantidad de parámetros activos es lo que gasta en cada token. Mixtral 8x7B, que Mistral AI publicó a fines de 2023 como modelo de pesos abiertos, tiene unos 47 mil millones de parámetros en total pero usa más o menos 13 mil millones por token. DeepSeek-V3 tiene alrededor de 671 mil millones en total y unos 37 mil millones activos. Se cree que muchos de los modelos más grandes de hoy usan alguna variante de MoE, aunque la mayoría de los laboratorios no publica su arquitectura.

La ventaja es entrenar más barato e inferir más rápido para una misma cantidad de conocimiento. Los costos son menos evidentes: todos los expertos tienen que estar cargados en memoria igual, así que necesitás mucha RAM de GPU aunque la mayor parte esté ociosa en cada momento; el router hay que entrenarlo para que reparta la carga parejo en vez de elegir siempre a los mismos favoritos; y los expertos no se vuelven especialistas prolijos en medicina o derecho, como sugiere el nombre. Se especializan en patrones de tokens que casi nunca coinciden con temas humanos.

## Una analogía

Un hospital grande con decenas de especialistas y una enfermera de triage en la puerta. Cada paciente ve solo a los dos médicos que necesita, así el hospital puede tener muchos expertos sin que cada paciente pague por todos. Eso sí, el edificio igual necesita un consultorio para cada uno.

## Para quedarse

- Un router manda cada token a unos pocos expertos entre muchos.
- Los parámetros totales pueden ser enormes y los activos por token, pocos.
- Más barato de entrenar y correr, pero todos los expertos tienen que entrar en memoria.
- Los expertos aprenden patrones de tokens, no materias humanas prolijas.

## Para seguir leyendo

- [Mezcla de expertos en Wikipedia](https://es.wikipedia.org/wiki/Mezcla_de_expertos)
- [Mixture of Experts Explained (Hugging Face, en inglés)](https://huggingface.co/blog/moe)
- [Paper de Mixtral of Experts (arXiv, en inglés)](https://arxiv.org/abs/2401.04088)

## Términos relacionados

- [Red neuronal](https://tidbit.legios.com.ar/es/neural-network/): Una pila de unidades matemáticas chiquitas que aprende patrones a partir de ejemplos.
- [Transformer](https://tidbit.legios.com.ar/es/transformer/): El diseño de red neuronal detrás de los modelos de lenguaje, basado en la 'atención'.
- [Token](https://tidbit.legios.com.ar/es/token/): El pedacito de texto que un modelo de lenguaje realmente lee.
- [Router](https://tidbit.legios.com.ar/es/router/): La cajita que conecta tus dispositivos entre sí y con internet.
- [Mistral AI](https://tidbit.legios.com.ar/es/mistral-ai/): Una empresa francesa que crea modelos de lenguaje de IA, muchos con pesos abiertos.
- [Modelos de pesos abiertos](https://tidbit.legios.com.ar/es/open-weights-models/): Modelos de IA cuyos números entrenados cualquiera puede descargar y correr en su equipo.
- [DeepSeek](https://tidbit.legios.com.ar/es/deepseek/): Un laboratorio chino de IA cuyos modelos abiertos mostraron que se podía gastar menos.
- [RAM](https://tidbit.legios.com.ar/es/ram/): La memoria de corto plazo de la computadora: rápida, chica y se borra al apagar.