Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
AWS Glue utilizza altri AWS servizi per orchestrare i processi ETL (estrazione, trasformazione e caricamento) per creare data warehouse e data lake e generare flussi di output. AWS Glue chiama API le operazioni per trasformare i dati, creare registri di runtime, archiviare la logica dei processi e creare notifiche per aiutarti a monitorare le esecuzioni dei processi. Il AWS Glue la console collega questi servizi in un'applicazione gestita, così puoi concentrarti sulla creazione e sul monitoraggio del tuo ETL lavoro. La console esegue le operazioni amministrative e di sviluppo del processo per tuo conto. Fornisci credenziali e altre proprietà a AWS Glue per accedere alle tue fonti di dati e scrivere sulle tue destinazioni di dati.
AWS Glue si occupa del provisioning e della gestione delle risorse necessarie per eseguire il carico di lavoro. Non è necessario creare l'infrastruttura per uno strumento ETL perché AWS Glue lo fa per te. Quando sono necessarie risorse, per ridurre i tempi di avvio, AWS Glue utilizza un'istanza dal relativo pool di istanze caldo per eseguire il carico di lavoro.
Con AWS Glue, crei lavori utilizzando le definizioni delle tabelle nel tuo Data Catalog. I lavori sono costituiti da script che contengono le istruzioni per eseguire le attività di trasformazione dei dati desiderate. Per avviare i processi, in base a una pianificazione o come risultato di un evento specificato, potrai utilizzare i trigger. Puoi decidere dove conservare i dati dell'obiettivo e quale origine dati popola l'obiettivo. In base ai tuoi input, AWS Glue trasforma i dati dal formato di origine a quello di destinazione. In alternativa, puoi anche fornire script personalizzati in AWS Glue console o API per elaborare i dati in base alle esigenze specifiche.
Origini dati e destinazioni
AWS Glue for Spark ti consente di leggere e scrivere dati da più sistemi e database, tra cui:
-
Amazon S3
-
Amazon DynamoDB
-
Amazon Redshift
-
Servizio di Database Relazionale Amazon (AmazonRDS)
-
Database accessibili JDBC da terze parti
-
MongoDB e Amazon DocumentDB (compatibile con MongoDB)
-
Altri connettori del marketplace e plug-in Apache Spark
Flussi dei dati
AWS Glue for Spark può trasmettere dati dai seguenti sistemi:
-
Flusso di dati Amazon Kinesis
-
Apache Kafka
AWS Glue è disponibile in diverse AWS regioni. Per ulteriori informazioni, consulta la sezione relativa a regioni ed endpoint AWS nella Riferimenti generali di Amazon Web Services.
Argomenti
I ETL processi serverless vengono eseguiti in modo isolato
AWS Glue esegue i tuoi ETL lavori in un ambiente senza server con un motore a tua scelta, Spark o Ray. AWS Glue esegue questi lavori su risorse virtuali che fornisce e gestisce nel proprio account di servizio.
AWS Glue è progettato per eseguire le seguenti operazioni:
Isolare i dati dei clienti.
Proteggere i dati dei clienti in transito e quelli memorizzati.
Accedi ai dati dei clienti solo se necessario in risposta alle richieste dei clienti, utilizzando credenziali temporanee e limitate o con il consenso del cliente per IAM i ruoli nel proprio account.
Durante la fornitura di un ETL lavoro, fornisci fonti di dati di input e target di dati di output nel tuo cloud privato virtuale (). VPC Inoltre, fornisci il IAM ruolo, l'VPCID, l'ID di sottorete e il gruppo di sicurezza necessari per accedere alle fonti e alle destinazioni dei dati. Per ogni tupla (ID dell'account cliente, IAM ruolo, ID di sottorete e gruppo di sicurezza), AWS Glue crea un nuovo ambiente isolato a livello di rete e di gestione da tutti gli altri ambienti interni AWS Glue account di servizio.
Puoi creare e configurare AWS Glue risorse, come Cataloghi di dati, Offerte di lavoro e Crawler all'interno del tuo account. AWS Queste risorse vengono quindi associate al IAM ruolo e alle impostazioni di rete (sottorete e gruppo di sicurezza) specificate durante il processo di creazione.
AWS Glue crea interfacce di rete elastiche nella sottorete utilizzando indirizzi IP privati. I processi utilizzano queste interfacce di rete elastiche per accedere alle origini dati e alle destinazioni dati. Il traffico in entrata, in uscita e all'interno dell'ambiente di esecuzione del lavoro è regolato dalle politiche dell'utente VPC e di rete, con un'eccezione: le chiamate effettuate a AWS Glue le librerie possono inoltrare il traffico a AWS Glue APIoperazioni tramite AWS Glue VPC. Tutti AWS Glue APIle chiamate vengono registrate; pertanto, i proprietari dei dati possono controllare API l'accesso abilitando AWS CloudTrail, che fornisce i registri di controllo all'account.
AWS Glue gli ambienti gestiti che eseguono le tue ETL attività sono protetti con le stesse pratiche di sicurezza seguite da altri AWS servizi. Per una panoramica delle pratiche e delle responsabilità condivise in materia di sicurezza, consulta il white paper Introduzione ai processi AWS di sicurezza.