Data mesh
Una forma de organizarse en la que cada equipo del negocio es dueño de sus propios datos.
Un data mesh (malla de datos) es una manera de organizar quién hace qué con los datos en una empresa grande, más que una tecnología. En el esquema clásico, cada área le manda sus datos a un único equipo central de datos, que arma el data warehouse o el data lake para todos. A medida que la empresa crece, ese equipo se vuelve un cuello de botella: está lejos del negocio, no sabe qué significa realmente cada campo y cada pedido espera en su fila.
La idea, que Zhamak Dehghani describió alrededor de 2019, se apoya en cuatro principios. Propiedad por dominio: el equipo que maneja una parte del negocio (ventas, envíos, pagos) también es dueño de sus datos. Datos como producto: ese equipo publica conjuntos de datos en los que otros equipos pueden confiar, con documentación, garantías de calidad y alguien que responde. Plataforma de autoservicio: un equipo de plataforma central da las herramientas compartidas, para que cada dominio no reinvente almacenamiento, pipelines y catálogos. Gobierno federado: reglas comunes de seguridad, privacidad y formatos, acordadas entre todos y aplicadas en forma automática.
El data mesh tiene más sentido en organizaciones grandes, con muchos equipos e ingeniería madura; en una empresa chica, un buen equipo central suele ser más simple. Muchas veces se lo confunde con un producto que se compra, pero ninguna herramienta te da un mesh. Herramientas como un catálogo de datos, dbt o un warehouse compartido pueden ayudar; lo difícil es cambiar responsabilidades e incentivos.
Para quedarse
- Cada dominio del negocio es dueño de sus datos, los documenta y los sirve.
- Los conjuntos de datos se tratan como productos, con usuarios, garantías de calidad y un responsable.
- Una plataforma central da las herramientas compartidas; las reglas de gobierno son comunes.
- Es un modelo organizacional para empresas grandes, no un producto que se instala.
