Connessione ai database Apache Hadoop con AWS Schema Conversion Tool

Crea un nuovo AWS SCT CLI script o modifica un modello di scenario esistente. Ad esempio, puoi scaricare e modificare il HadoopMigrationTemplate.scts modello. Per ulteriori informazioni, consulta Ottenere CLI scenari.

Configura le impostazioni AWS SCT dell'applicazione come la posizione del driver e la cartella di registro.

Scaricate il JDBC driver richiesto e specificate la posizione in cui archiviate il file. Per ulteriori informazioni, consulta Installazione JDBC dei driver per AWS Schema Conversion Tool.

Il seguente esempio di codice mostra come aggiungere il percorso al driver Apache Hive. Dopo aver eseguito questo esempio di codice, AWS SCT memorizza i file di registro nella c:\sct cartella.

SetGlobalSettings
    -save: 'true'
    -settings: '{
        "hive_driver_file": "c:\\sct\\HiveJDBC42.jar",
        "log_folder": "c:\\sct",
        "console_log_folder": "c:\\sct"
    }'
/

È possibile utilizzare questo esempio e gli esempi seguenti in Windows.

Crea un nuovo AWS SCT progetto.

Il seguente esempio di codice crea il hadoop_emr progetto nella c:\sct cartella.

CreateProject
    -name: 'hadoop_emr'
    -directory: 'c:\sct'
/

Aggiungi il tuo cluster Hadoop di origine al progetto.

Usa il AddSourceCluster comando per connetterti al cluster Hadoop di origine. Assicurati di fornire i valori per i seguenti parametri obbligatori:name, hostport, e. user Gli altri parametri sono facoltativi.

Il seguente esempio di codice aggiunge il cluster Hadoop di origine. Questo esempio imposta HADOOP_SOURCE come nome del cluster di origine. Utilizzate questo nome di oggetto per aggiungere Hive e HDFS servizi al progetto e creare regole di mappatura.

AddSourceCluster
    -name: 'HADOOP_SOURCE'
    -vendor: 'HADOOP'
    -host: 'hadoop_address'
    -port: '22'
    -user: 'hadoop_user'
    -password: 'hadoop_password'
    -useSSL: 'true'
    -privateKeyPath: 'c:\path\name.pem'
    -passPhrase: 'hadoop_passphrase'
/

Nell'esempio precedente, sostituisci hadoop_address con l'indirizzo IP del cluster Hadoop. Se necessario, configura il valore dell'opzione di porta. Quindi, sostituisci hadoop_user e hadoop_password con il nome del tuo utente Hadoop e la password per questo utente. In path\name, inserisci il nome e il percorso del PEM file per il cluster Hadoop di origine.

Salva lo script. CLI Quindi, aggiungi le informazioni di connessione per Hive e i tuoi HDFS servizi.

Apri CLI lo script che include le informazioni di connessione per il cluster Hadoop di origine. Assicurati di utilizzare il nome del cluster Hadoop definito nel passaggio precedente.

Aggiungi il tuo servizio Hive di origine al progetto.

Usa il AddSourceClusterHive comando per connettere il servizio Hive di origine. Assicurati di fornire i valori per i seguenti parametri obbligatori:user,password, clustername, eport. Gli altri parametri sono facoltativi.

Il seguente esempio di codice crea un tunnel AWS SCT per l'utilizzo del servizio Hive. Questo servizio sorgente Hive viene eseguito sullo stesso PC di. AWS SCT Questo esempio utilizza il cluster HADOOP_SOURCE di origine dell'esempio precedente.

AddSourceClusterHive
    -cluster: 'HADOOP_SOURCE'
    -name: 'HIVE_SOURCE'
    -host: 'localhost'
    -port: '10005'
    -user: 'hive_user'
    -password: 'hive_password'
    -createTunnel: 'true'
    -localPort: '10005'
    -remoteHost: 'hive_remote_address'
    -remotePort: 'hive_port'
/

Il seguente esempio di codice si connette al servizio Hive senza un tunnel.

AddSourceClusterHive
    -cluster: 'HADOOP_SOURCE'
    -name: 'HIVE_SOURCE'
    -host: 'hive_address'
    -port: 'hive_port'
    -user: 'hive_user'
    -password: 'hive_password'
/

Negli esempi precedenti, sostituisci hive_user e hive_password con il nome del tuo utente Hive e la relativa password.

Quindi, sostituisci hive_address e hive_port con l'indirizzo NameNode IP e la porta del cluster Hadoop di origine.

In hive_remote_address, è possibile utilizzare il valore predefinito 127.0.0.1 o l'indirizzo NameNode IP del servizio Hive di origine.

Aggiungi il tuo HDFS servizio di origine al progetto.

Usa il AddSourceClusterHDFS comando per connettere il HDFS servizio di origine. Assicurati di fornire i valori per i seguenti parametri obbligatori: userpassword,cluster,name, eport. Gli altri parametri sono facoltativi.

Assicurati che l'utente disponga delle autorizzazioni necessarie per migrare i dati dal servizio di origineHDFS. Per ulteriori informazioni, consulta Autorizzazioni per l'utilizzo di Hive come fonte.

Il seguente esempio di codice crea un tunnel AWS SCT per l'utilizzo del servizio HDFS Apache. Questo esempio utilizza il cluster HADOOP_SOURCE di origine creato in precedenza.

AddSourceClusterHDFS
    -cluster: 'HADOOP_SOURCE'
    -name: 'HDFS_SOURCE'
    -host: 'localhost'
    -port: '9005'
    -user: 'hdfs_user'
    -password: 'hdfs_password'
    -createTunnel: 'true'
    -localPort: '9005'
    -remoteHost: 'hdfs_remote_address'
    -remotePort: 'hdfs_port'
/

Il codice seguente si connette al HDFS servizio Apache senza un tunnel.

AddSourceClusterHDFS
    -cluster: 'HADOOP_SOURCE'
    -name: 'HDFS_SOURCE'
    -host: 'hdfs_address'
    -port: 'hdfs_port'
    -user: 'hdfs_user'
    -password: 'hdfs_password'
/

Negli esempi precedenti, sostituisci hdfs_user e hdfs_password con il nome dell'HDFSutente e la relativa password.

Quindi, sostituisci hdfs_address e hdfs_port con l'indirizzo NameNode IP e la porta del cluster Hadoop di origine.

In hdfs_remote_address, è possibile utilizzare il valore predefinito 127.0.0.1 o l'indirizzo NameNode IP del servizio Hive di origine.

Salva il tuo CLI script. Quindi, aggiungi le informazioni di connessione per il tuo EMR cluster Amazon di destinazione e i comandi di migrazione.

Apri CLI lo script che include le informazioni di connessione per il cluster Hadoop di origine. Aggiungi le EMR credenziali Amazon di destinazione in questo file.

Aggiungi il EMR cluster Amazon di destinazione al progetto.

Il seguente esempio di codice aggiunge il EMR cluster Amazon di destinazione. Questo esempio imposta HADOOP_TARGET come nome del cluster di destinazione. Usa questo nome di oggetto per aggiungere Hive, HDFS servizi e una cartella bucket Amazon S3 al progetto e creare regole di mappatura.

AddTargetCluster
	-name: 'HADOOP_TARGET'
	-vendor: 'AMAZON_EMR'
	-host: 'ec2-44-44-55-66.eu-west-1.EXAMPLE.amazonaws.com'
	-port: '22'
	-user: 'emr_user'
	-password: 'emr_password'
	-useSSL: 'true'
	-privateKeyPath: 'c:\path\name.pem'
	-passPhrase: '1234567890abcdef0!'
	-s3Name: 'S3_TARGET'
	-accessKey: 'AKIAIOSFODNN7EXAMPLE'
	-secretKey: 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY'
	-region: 'eu-west-1'
	-s3Path: 'doc-example-bucket/example-folder'
/

Nell'esempio precedente, inserisci i nomi AWS delle risorse e le informazioni di EMR connessione Amazon. Ciò include l'indirizzo IP del EMR cluster Amazon, la chiave di AWS accesso, la chiave di accesso AWS segreta e il bucket Amazon S3. Se necessario, configura il valore della variabile di porta. Quindi, sostituisci emr_user e emr_password con il nome del tuo EMR utente Amazon e la password per questo utente. In path\name, inserisci il nome e il percorso del PEM file per il EMR cluster Amazon di destinazione. Per ulteriori informazioni, consulta Download PEM File for EMR Cluster Access.

Aggiungi il bucket Amazon S3 di destinazione al progetto.

Il seguente esempio di codice aggiunge il bucket Amazon S3 di destinazione. Questo esempio utilizza il HADOOP_TARGET cluster creato in precedenza.

AddTargetClusterS3
	-cluster: 'HADOOP_TARGET'
	-Name: 'S3_TARGET'
	-accessKey: 'AKIAIOSFODNN7EXAMPLE'
	-secretKey: 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY'
	-region: 'eu-west-1'
	-s3Path: 'doc-example-bucket/example-folder'
/

Nell'esempio precedente, inserisci la chiave di AWS accesso, la chiave di accesso AWS segreta e il bucket Amazon S3.

Aggiungi il servizio Hive di destinazione al progetto.

Il seguente esempio di codice crea un tunnel per AWS SCT lavorare con il servizio Hive di destinazione. Questo esempio utilizza il cluster HADOOP_TARGET di destinazione creato in precedenza.

AddTargetClusterHive
    -cluster: 'HADOOP_TARGET'
    -name: 'HIVE_TARGET'
    -host: 'localhost'
    -port: '10006'
    -user: 'hive_user'
    -password: 'hive_password'
    -createTunnel: 'true'
    -localPort: '10006'
    -remoteHost: 'hive_address'
    -remotePort: 'hive_port'
/

Nell'esempio precedente, sostituisci hive_user e hive_password con il nome del tuo utente Hive e la relativa password.

Quindi, sostituisci hive_address con il valore predefinito 127.0.0.1 o con l'indirizzo NameNode IP del servizio Hive di destinazione. Quindi, sostituisci hive_port con la porta del servizio Hive di destinazione.

Aggiungi il tuo HDFS servizio di destinazione al progetto.

Il seguente esempio di codice crea un tunnel per AWS SCT lavorare con il HDFS servizio Apache. Questo esempio utilizza il cluster HADOOP_TARGET di destinazione creato in precedenza.

AddTargetClusterHDFS
    -cluster: 'HADOOP_TARGET'
    -name: 'HDFS_TARGET'
    -host: 'localhost'
    -port: '8025'
    -user: 'hdfs_user'
    -password: 'hdfs_password'
    -createTunnel: 'true'
    -localPort: '8025'
    -remoteHost: 'hdfs_address'
    -remotePort: 'hdfs_port'
/

Nell'esempio precedente, sostituisci hdfs_user e hdfs_password con il nome dell'HDFSutente e la relativa password.

Quindi, sostituisci hdfs_address e hdfs_port con l'indirizzo IP privato e la porta NameNode del HDFS servizio di destinazione.

Salva il tuo CLI script. Quindi, aggiungi le regole di mappatura e i comandi di migrazione. Per ulteriori informazioni, consulta Migrazione dei carichi di lavoro Hadoop.