dbt
Una herramienta para escribir transformaciones de datos en SQL, con tests, como software.
dbt (al principio "data build tool") es una herramienta open source para el paso de transformación de un pipeline de datos, la T de ELT. Los datos ya están cargados en un data warehouse como Snowflake, BigQuery, Redshift o Databricks; dbt te ayuda a convertir esas tablas crudas en tablas limpias y confiables. Cada transformación es un modelo: un archivo .sql común con una consulta SELECT, guardado en un repositorio de git.
Los modelos se pueden referir entre sí con {{ ref('orders') }}, así dbt sabe en qué orden construirlos y dibuja toda la cadena como un grafo. Cuando corrés dbt run, dbt manda el SQL de cada modelo al warehouse, que hace el trabajo pesado; dbt en sí no mueve datos. dbt test controla reglas como "esta columna nunca está vacía" o "cada pedido tiene un cliente", y dbt docs genera un sitio web que describe cada tabla y columna, con su linaje.
Su impacto fue tanto cultural como técnico: llevó costumbres del software, como el control de versiones, la revisión de código, los tests y las piezas reutilizables, a analistas que ya sabían SQL. De ahí nació el rol de analytics engineer. dbt Labs, la empresa detrás, vende además una plataforma en la nube, pero la herramienta central es open source y corre desde la línea de comandos.
Para quedarse
- Cada modelo es un SELECT en un archivo .sql; dbt los construye dentro del warehouse.
- ref() conecta los modelos en un grafo de dependencias con orden automático.
- Trae tests incorporados y documentación generada con linaje.
- Llevó git, revisión de código y tests al trabajo de análisis en SQL.
