Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Caricamento di dati da Amazon EMR

Puoi utilizzare il COPY comando per caricare dati in parallelo da un EMR cluster Amazon configurato per scrivere file di testo nell'Hadoop Distributed File System (HDFS) del cluster come file a larghezza fissa, file delimitati da caratteri, file o file formattati. CSV JSON

Procedura per il caricamento dei dati da Amazon EMR

Questa sezione illustra il processo di caricamento dei dati da un EMR cluster Amazon. Le sezioni seguenti forniscono le informazioni dettagliate necessarie per completare ogni fase.

Passaggio 1: configurare le autorizzazioni IAM

Gli utenti che creano il EMR cluster Amazon ed eseguono il COPY comando Amazon Redshift devono disporre delle autorizzazioni necessarie.

Fase 2: Creare un EMR cluster Amazon

Il COPY comando carica i dati dai file su Amazon EMR Hadoop Distributed File System ()HDFS. Quando crei il EMR cluster Amazon, configura il cluster per inviare file di dati al clusterHDFS.

Fase 3: Recupero degli indirizzi IP dei nodi del cluster e della chiave pubblica del cluster Amazon Redshift

Sarà utilizzato l'indirizzo IP per ciascun nodo del cluster per configurare i gruppi di sicurezza dell'host in modo da consentire l'accesso dal cluster Amazon Redshift utilizzando questi indirizzi IP.

Per recuperare la chiave pubblica del cluster e gli indirizzi IP del nodo del cluster per il cluster utilizzando Amazon CLI Redshift, esegui il comando describe-clusters. Per esempio:

aws redshift describe-clusters --cluster-identifier <cluster-identifier> 

La risposta includerà un ClusterPublicKey valore e l'elenco di indirizzi IP privati e pubblici, simili al seguente:

{
    "Clusters": [
        {
            "VpcSecurityGroups": [], 
            "ClusterStatus": "available", 
            "ClusterNodes": [
                {
                    "PrivateIPAddress": "10.nnn.nnn.nnn", 
                    "NodeRole": "LEADER", 
                    "PublicIPAddress": "10.nnn.nnn.nnn"
                }, 
                {
                    "PrivateIPAddress": "10.nnn.nnn.nnn", 
                    "NodeRole": "COMPUTE-0", 
                    "PublicIPAddress": "10.nnn.nnn.nnn"
                }, 
                {
                    "PrivateIPAddress": "10.nnn.nnn.nnn", 
                    "NodeRole": "COMPUTE-1", 
                    "PublicIPAddress": "10.nnn.nnn.nnn"
                }
            ], 
            "AutomatedSnapshotRetentionPeriod": 1, 
            "PreferredMaintenanceWindow": "wed:05:30-wed:06:00", 
            "AvailabilityZone": "us-east-1a", 
            "NodeType": "dc2.large", 
            "ClusterPublicKey": "ssh-rsa AAAABexamplepublickey...Y3TAl Amazon-Redshift", 
             ...
             ...
}

Per recuperare la chiave pubblica del cluster e gli indirizzi IP del nodo del cluster per il cluster utilizzando Amazon API Redshift, utilizza l'DescribeClustersazione. Per ulteriori informazioni, consulta describe-clusters nella Amazon Redshift Guide o CLInella Amazon Redshift Guide. DescribeClustersAPI

Fase 4: aggiungi la chiave pubblica del cluster Amazon Redshift al file di chiavi autorizzate di EC2 ogni host Amazon

Aggiungi la chiave pubblica del cluster al file di chiavi autorizzate di ciascun host per tutti i nodi del EMR cluster Amazon in modo che gli host riconoscano Amazon Redshift e accettino la SSH connessione.

Fase 5: Configurazione degli host affinché accettino tutti gli indirizzi IP del cluster Amazon Redshift

Per consentire il traffico in entrata verso le istanze dell'host, modificare il gruppo di sicurezza e aggiungere una regola in entrata per ciascun nodo del cluster Amazon Redshift. Per Tipo, seleziona SSH con TCP protocollo sulla porta 22. In Source (Origine), inserisci gli indirizzi IP privati dei nodi cluster di Amazon Redshift recuperati in Fase 3: Recupero degli indirizzi IP dei nodi del cluster e della chiave pubblica del cluster Amazon Redshift. Per informazioni sull'aggiunta di regole a un gruppo di EC2 sicurezza Amazon, consulta Authorizing Inbound Traffic for Your Instances nella Amazon EC2 User Guide.

Passaggio 6: esegui il COPY comando per caricare i dati

Esegui un COPY comando per connetterti al EMR cluster Amazon e carica i dati in una tabella Amazon Redshift. Il EMR cluster Amazon deve continuare a funzionare fino al completamento del COPY comando. Ad esempio, non configurare la terminazione automatica del cluster.

Nel COPY comando, specifica l'ID del EMR cluster Amazon, il HDFS percorso e il nome del file.

COPY sales
FROM 'emr://myemrclusterid/myoutput/part*' CREDENTIALS 
IAM_ROLE 'arn:aws:iam::0123456789012:role/MyRedshiftRole';

È possibile utilizzare i caratteri jolly asterisco (*) e punto interrogativo (?) come parte dell'argomento del nome file. Ad esempio, part* carica i file part-0000, part-0001 e così via. Se specifichi solo il nome di una cartella, COPY tenta di caricare tutti i file nella cartella.