# Deduplicación

> Encontrar las copias de una misma cosa y quedarse con una sola.

- Nivel: Intermedio
- Temas: Datos
- URL: https://tidbit.legios.com.ar/es/deduplication/
- En inglés: [Deduplication](https://tidbit.legios.com.ar/deduplication/)

La **deduplicación** es detectar registros o pedazos de datos que en realidad son lo mismo y juntarlos en uno. Aparece en dos lugares bastante distintos: en los datos de negocio, donde el mismo cliente se cargó varias veces, y en el almacenamiento, donde el mismo archivo o bloque de bytes se guarda una y otra vez.

En los datos de negocio lo difícil es que los duplicados casi nunca coinciden exacto. "María González", "Maria Gonzalez" y "M. González" con el mismo teléfono probablemente son la misma persona. Las herramientas de deduplicación normalizan el texto (tildes, mayúsculas, espacios), comparan campos con coincidencia aproximada y calculan qué tan probable es que dos registros sean el mismo. Arriba de cierto umbral los fusionan; en la zona gris decide una persona. Es parte de la limpieza de datos y pesa mucho antes de contar clientes o mandar un mailing.

En almacenamiento y backups, la deduplicación trabaja con bytes crudos. El sistema corta los archivos en pedazos, calcula un hash de cada uno y guarda el pedazo solo la primera vez que ve ese hash; las copias siguientes apuntan a él. Así un servicio de backup puede guardar copias diarias de miles de notebooks sin almacenar mil veces los mismos archivos del sistema operativo. En los pipelines de datos hay una tercera variante: asegurarse de que un evento que llegó dos veces no se cuente dos veces.

## Una analogía

Como ordenar los contactos del celular y encontrar "Mamá", "Mami" y "Mamá cel" con el mismo número. Los fusionás en una sola ficha y te quedás con los mejores datos de cada una.

## Para quedarse

- Junta en una sola las copias de una misma cosa.
- En datos de negocio los duplicados son aproximados y hay que compararlos con cuidado.
- En almacenamiento, los pedazos idénticos se detectan por su hash y se guardan una vez.
- Fusionar mal puede ser peor que el duplicado, por eso importan los umbrales.

## Para seguir leyendo

- [Deduplicación de datos en Wikipedia](https://es.wikipedia.org/wiki/Deduplicaci%C3%B3n_de_datos)
- [Record linkage en Wikipedia (en inglés)](https://en.wikipedia.org/wiki/Record_linkage)

## Términos relacionados

- [Bit y byte](https://tidbit.legios.com.ar/es/bit-and-byte/): La unidad mínima de información digital y el grupo de ocho que usan las computadoras.
- [Limpieza de datos](https://tidbit.legios.com.ar/es/data-cleaning/): Corregir errores, huecos y duplicados en los datos antes de confiar en ellos.
- [Copia de seguridad](https://tidbit.legios.com.ar/es/backup/): Una copia aparte de tus datos, para recuperarlos cuando se pierde el original.
- [Hashing](https://tidbit.legios.com.ar/es/hashing/): Una huella digital de los datos en un solo sentido: fácil de calcular, imposible de revertir.
- [Notebook](https://tidbit.legios.com.ar/es/laptop/): Una computadora entera plegada en un solo estuche portátil que anda a batería.
- [Sistema operativo](https://tidbit.legios.com.ar/es/operating-system/): El software base que maneja un dispositivo y reparte su hardware entre todas las apps.
- [ETL](https://tidbit.legios.com.ar/es/etl/): Sacar datos de sus fuentes, limpiarlos y cargarlos donde se puedan analizar.