AWS DataSync

AWS DataSync mueve archivos y objetos de un sistema de almacenamiento a otro por la red. El caso típico es una empresa con años de documentos, imágenes o datos de investigación en un servidor de archivos en su propia oficina, que los quiere en Amazon S3, Amazon EFS o Amazon FSx. También funciona entre servicios de AWS y desde otras nubes, como Azure Blob Storage o Google Cloud Storage.

Para almacenamiento on-premises instalás una pequeña máquina virtual, el agente de DataSync, cerca de tu servidor de archivos. Lee con los protocolos de siempre, como NFS, SMB, HDFS o almacenamiento de objetos, y manda los datos a AWS. Definís una tarea con origen, destino y opciones, y la corrés una vez o de forma programada. En cada corrida copia solo lo que cambió, cifra los datos en tránsito y verifica que lo que llegó coincida con lo que salió.

Podrías copiar archivos vos con scripts, pero con millones de archivos lo difícil es la velocidad, los reintentos, los permisos y demostrar que nada se corrompió. DataSync usa muchas transferencias en paralelo para aprovechar tu conexión y se ocupa de esos detalles. Cuando la conexión es muy lenta para tanto volumen, la alternativa es una transferencia física.