Capítulo 5. Automatiza tu infraestructura
Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com
Christiano Anderson
Una de las funciones de los ingenieros de datos es implementar canalizaciones de datos utilizando un proveedor de servicios en la nube como Amazon Web Services (AWS), Google Cloud Platform (GCP), Microsoft Azure u otros. Podemos utilizar fácilmente la consola web para enlazar componentes y proporcionar una canalización de datos completa.
Tomando AWS como ejemplo, es posible que queramos utilizar API Gateway como nuestra interfaz de transferencia de estado representacional (REST) para realizar la ingestión de datos, unas cuantas funciones Lambda para validar la ingestión, Kinesis Data Streams para proporcionar un análisis en tiempo real, Kinesis Data Firehose para entregar los datos, y Simple Storage Service (S3) como capa de persistencia. También podemos utilizar Athena como capa de visualización.
En este ejemplo, tenemos que tratar con unos seis componentes. Cada componente puede requerir una configuración adicional. Por último, tenemos que tratar con un montón de roles de gestión de identidades y accesos (IAM) para gestionar los permisos y las listas de control de acceso (ACL). De acuerdo, podemos hacerlo todo haciendo clic en la consola y enlazando todos los componentes; ésta es la forma más rápida ...
Get 97 cosas que todo ingeniero de datos debe saber now with the O’Reilly learning platform.
O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.
