# Databricks

> Una plataforma en la nube para procesar los datos de una empresa y entrenar IA con ellos.

- Nivel: Intermedio
- Temas: Empresas tech, Datos
- URL: https://tidbit.legios.com.ar/es/databricks/
- En inglés: [Databricks](https://tidbit.legios.com.ar/databricks/)

**Databricks** es una empresa estadounidense fundada en 2013 por los investigadores de UC Berkeley que crearon Apache Spark, entre ellos Ali Ghodsi, su CEO, Matei Zaharia e Ion Stoica. Vende una plataforma donde las empresas procesan cantidades enormes de datos, los consultan con SQL y arman y corren modelos de machine learning e IA, todo en el mismo lugar. Funciona arriba de las grandes nubes: AWS, Microsoft Azure y Google Cloud.

Su idea central es el **lakehouse**: guardar todos los datos como archivos en formatos abiertos en almacenamiento barato de la nube, como hace un data lake, pero sumarle encima la confiabilidad y las consultas rápidas de un data warehouse. Dos proyectos de código abierto que arrancó la empresa hacen que eso funcione: **Delta Lake**, que agrega transacciones e historial de versiones a esos archivos, y MLflow, que registra los experimentos de machine learning. **Unity Catalog** controla quién puede ver qué tablas, archivos y modelos.

En la práctica, un banco, una cadena de retail o un hospital usa Databricks para traer datos de decenas de sistemas, limpiarlos, armar reportes y entrenar modelos sin andar copiando todo entre herramientas separadas. Su gran rival es Snowflake, que arrancó desde el lado del warehouse; con los años las dos se fueron pareciendo, y hoy ambas se venden como el lugar donde las empresas construyen IA con sus propios datos. Databricks se metió de lleno en eso al comprar MosaicML en 2023.

## Una analogía

Una cocina enorme y compartida, construida al lado del depósito donde llegan todos los ingredientes crudos. En vez de mandar los ingredientes en camión a distintos restaurantes, todos los cocineros, el pastelero, el analista y el chef de IA, trabajan ahí mismo con los mismos estantes.

## Para quedarse

- Fundada en 2013 por los creadores de Apache Spark.
- Popularizó el lakehouse: almacenamiento de data lake con funciones de data warehouse.
- Corre sobre AWS, Azure y Google Cloud; los clientes pagan por el cómputo que usan.
- Su principal competidor es Snowflake.

## Para seguir leyendo

- [Databricks en Wikipedia](https://es.wikipedia.org/wiki/Databricks)
- [Databricks (sitio oficial, en inglés)](https://www.databricks.com/)
- [Delta Lake (proyecto de código abierto, en inglés)](https://delta.io/)

## Términos relacionados

- [Apache Spark](https://tidbit.legios.com.ar/es/apache-spark/): Un motor open source que reparte el trabajo con datos enormes entre muchas máquinas.
- [SQL](https://tidbit.legios.com.ar/es/sql/): El lenguaje para hacerle preguntas a una base de datos.
- [Machine learning](https://tidbit.legios.com.ar/es/machine-learning/): Enseñarle a una computadora con ejemplos en lugar de escribirle cada regla.
- [Inteligencia artificial](https://tidbit.legios.com.ar/es/artificial-intelligence/): Lograr que las computadoras hagan cosas que hasta hace poco solo hacía la gente.
- [Microsoft](https://tidbit.legios.com.ar/es/microsoft/): La empresa de Windows y Office, que hoy es igual de importante como nube con Azure.
- [Google Cloud](https://tidbit.legios.com.ar/es/google-cloud/): El negocio de nube de Google: cómputo, almacenamiento, datos e IA que se pagan por uso.
- [Data lake](https://tidbit.legios.com.ar/es/data-lake/): Almacenamiento barato donde todos los datos se guardan como archivos crudos.
- [Computación en la nube](https://tidbit.legios.com.ar/es/cloud-computing/): Alquilar computadoras por internet en vez de comprar las tuyas.