# Data lake

> Almacenamiento barato donde todos los datos se guardan como archivos crudos.

- Nivel: Intermedio
- Temas: Datos, Cloud
- URL: https://tidbit.legios.com.ar/es/data-lake/
- En inglés: [Data lake](https://tidbit.legios.com.ar/data-lake/)

Un **data lake** (lago de datos) es un depósito grande y barato donde una organización guarda todos sus datos como archivos, con la forma que tengan al llegar: logs de las apps, exportaciones CSV, eventos en JSON, imágenes, lecturas de sensores. No hace falta modelar nada antes de que entre. En AWS suele ser Amazon S3 con una organización de carpetas y algunas reglas; la estructura se aplica después, cuando alguien lee los datos.

Esa es la diferencia clave con un data warehouse. Un warehouse te pide limpiar y modelar los datos antes de cargarlos (**schema on write**); un lake acepta todo y deja que cada lector decida cómo interpretarlo (**schema on read**). Motores de consulta como Amazon Athena o Spark leen los archivos donde están, y un **catálogo** registra qué hay en cada carpeta para que la gente lo encuentre.

Los lakes son populares porque guardar es barato y no se tira nada: la pregunta de mañana, o el modelo de machine learning de mañana, puede necesitar datos que hoy nadie creía útiles. El riesgo es el **data swamp** (el pantano): años de archivos sin documentar, duplicados o medio rotos, en los que nadie confía. Muchos equipos hoy combinan las dos ideas en un **lakehouse**: archivos en el lake, guardados en formatos como Parquet, con una capa de tablas encima que suma las garantías de un warehouse.

## Una analogía

Una baulera enorme donde todo entra en su caja original. Es barata y no se pierde nada, pero si nadie etiqueta las cajas, encontrar los papeles de impuestos del año pasado se vuelve una expedición.

## Para quedarse

- Guarda archivos crudos de cualquier tipo; la estructura se aplica al leer.
- Suele armarse sobre almacenamiento de objetos como Amazon S3, barato y prácticamente ilimitado.
- Sin un catálogo y algo de disciplina, se convierte en un data swamp.
- Lakes y warehouses se complementan; un lakehouse mezcla los dos.

## Para seguir leyendo

- [¿Qué es un data lake? (AWS)](https://aws.amazon.com/es/what-is/data-lake/)
- [Lago de datos en Wikipedia](https://es.wikipedia.org/wiki/Lago_de_datos)

## Términos relacionados

- [CSV](https://tidbit.legios.com.ar/es/csv/): Un archivo de texto que guarda una tabla: una fila por línea, comas entre valores.
- [JSON](https://tidbit.legios.com.ar/es/json/): El formato de texto con el que los programas se pasan datos estructurados.
- [Amazon S3](https://tidbit.legios.com.ar/es/amazon-s3/): Un cajón gigante en internet para guardar archivos, alquilado por gigabyte.
- [Data warehouse](https://tidbit.legios.com.ar/es/data-warehouse/): Una base hecha para analizar: años de historia, de muchas fuentes, en un solo lugar.
- [Esquema de base de datos](https://tidbit.legios.com.ar/es/database-schema/): El plano de una base de datos: qué tablas hay, sus columnas y cómo se conectan.
- [Amazon Athena](https://tidbit.legios.com.ar/es/amazon-athena/): Corré SQL directo sobre archivos guardados en S3, sin armar ninguna base de datos.
- [Apache Spark](https://tidbit.legios.com.ar/es/apache-spark/): Un motor open source que reparte el trabajo con datos enormes entre muchas máquinas.
- [Machine learning](https://tidbit.legios.com.ar/es/machine-learning/): Enseñarle a una computadora con ejemplos en lugar de escribirle cada regla.