# Modelo de lenguaje pequeño

> Un modelo de lenguaje compacto y barato de correr, incluso en una notebook o un celular.

- Nivel: Intermedio
- Temas: IA
- URL: https://tidbit.legios.com.ar/es/small-language-model/
- En inglés: [Small language model](https://tidbit.legios.com.ar/small-language-model/)

Un **modelo de lenguaje pequeño** (SLM, por small language model) es un modelo de lenguaje con muchos menos parámetros que los gigantes que hay detrás de los chatbots más conocidos. No hay un límite oficial, pero el término suele usarse para modelos de unos cientos de millones hasta más o menos diez mil millones de parámetros, contra cientos de miles de millones o más de los modelos de punta. Algunos ejemplos son la familia Phi de Microsoft, Gemma de Google y las versiones chicas de Llama, de Meta.

Más chico quiere decir más barato y más rápido. Un SLM puede correr en una sola GPU modesta, en una notebook o directamente en el celular, sin conexión a internet. Eso sirve para la privacidad (el texto nunca sale del dispositivo), para la latencia (no hay ida y vuelta a un data center) y para el costo cuando tenés que procesar millones de pedidos cortos, como clasificar tickets de soporte o sacar datos de facturas.

La contra es la amplitud. Un modelo chico sabe menos del mundo, se pierde más fácil en tareas largas de muchos pasos y alucina más en temas que casi no vio. Los equipos suelen compensarlo haciéndole fine-tuning para una sola tarea acotada, donde puede igualar a uno mucho más grande, o entrenándolo para imitar a un modelo grande (una técnica que se llama destilación). Un esquema común es combinarlos: el modelo chico resuelve lo fácil y frecuente, y le pasa los casos difíciles a uno grande.

## Una analogía

Un diccionario de bolsillo al lado de una enciclopedia. No te responde todo, pero entra en la mochila, se abre al toque y alcanza para casi todo lo que buscás en el día a día.

## Para quedarse

- No hay un tamaño oficial; en general, hasta unos diez mil millones de parámetros.
- Puede correr en notebooks y celulares, incluso sin conexión.
- Más barato, rápido y privado, pero con menos conocimiento general.
- Rinde mejor cuando se lo ajusta para una tarea acotada y bien definida.

## Para seguir leyendo

- [¿Qué son los modelos de lenguaje pequeños? (IBM)](https://www.ibm.com/es-es/think/topics/small-language-models)
- [Modelo de lenguaje pequeño en Wikipedia](https://es.wikipedia.org/wiki/Modelo_de_lenguaje_peque%C3%B1o)

## Términos relacionados

- [LLM](https://tidbit.legios.com.ar/es/llm/): Una red neuronal entrenada con muchísimo texto para predecir la próxima palabra.
- [Chatbot](https://tidbit.legios.com.ar/es/chatbot/): Un programa con el que hablás escribiendo o con la voz, como si fuera una persona.
- [Microsoft](https://tidbit.legios.com.ar/es/microsoft/): La empresa de Windows y Office, que hoy es igual de importante como nube con Azure.
- [Google](https://tidbit.legios.com.ar/es/google/): La empresa del buscador, que regala casi todo y gana plata con publicidad.
- [Meta](https://tidbit.legios.com.ar/es/meta/): La empresa detrás de Facebook, Instagram y WhatsApp, financiada con publicidad.
- [GPU](https://tidbit.legios.com.ar/es/gpu/): El chip que hace miles de cálculos simples al mismo tiempo.
- [Notebook](https://tidbit.legios.com.ar/es/laptop/): Una computadora entera plegada en un solo estuche portátil que anda a batería.
- [Internet](https://tidbit.legios.com.ar/es/internet/): Una red mundial de redes que conecta cualquier aparato con cualquier otro.