Como usar o Apache Hadoop como origem para AWS SCT

Crie um novo script de CLI da AWS SCT ou edite um modelo de cenário existente. Por exemplo, é possível baixar e editar o modelo HadoopMigrationTemplate.scts. Para obter mais informações, consulte Obter cenários de CLI.

Defina as configurações do aplicativo AWS SCT, como a localização do driver e a pasta do log.

Faça o download do driver JDBC necessário e especifique o local de armazenamento do arquivo. Para obter mais informações, consulte Baixar os drivers de banco de dados necessários.

O exemplo de código a seguir mostra como adicionar o caminho ao driver do Apache Hive. Depois de executar esse exemplo de código, a AWS SCT armazena os arquivos de log na pasta c:\sct.

SetGlobalSettings
    -save: 'true'
    -settings: '{
        "hive_driver_file": "c:\\sct\\HiveJDBC42.jar",
        "log_folder": "c:\\sct",
        "console_log_folder": "c:\\sct"
    }'
/

Você pode usar esse exemplo e os exemplos a seguir no Windows.

Criar um novo projeto da AWS SCT.

O exemplo de código a seguir cria o projeto da hadoop_emr na pasta c:\sct.

CreateProject
    -name: 'hadoop_emr'
    -directory: 'c:\sct'
/

Adicione seu cluster Hadoop de origem ao projeto.

Use o comando AddSourceCluster para se conectar ao cluster Hadoop de origem. Certifique-se de fornecer valores para os seguintes parâmetros obrigatórios: name, host, port e user. Outros parâmetros são opcionais.

O exemplo de código a seguir adiciona o cluster Hadoop de origem. Este exemplo define HADOOP_SOURCE como um nome do cluster de origem. Use esse nome de objeto para adicionar serviços Hive e HDFS ao projeto e criar regras de mapeamento.

AddSourceCluster
    -name: 'HADOOP_SOURCE'
    -vendor: 'HADOOP'
    -host: 'hadoop_address'
    -port: '22'
    -user: 'hadoop_user'
    -password: 'hadoop_password'
    -useSSL: 'true'
    -privateKeyPath: 'c:\path\name.pem'
    -passPhrase: 'hadoop_passphrase'
/

No exemplo anterior, substitua hadoop_address pelo endereço IP do seu cluster Hadoop. Se necessário, configure o valor da opção de porta. Em seguida, substitua hadoop_user e hadoop_password pelo nome do seu usuário do Hadoop e pela senha desse usuário. Em path\name, insira o nome e o caminho para o arquivo PEM do seu cluster Hadoop de origem.

Salve o script da CLI. Em seguida, adicione as informações de conexão dos seus serviços Hive e HDFS.

Abra seu script de CLI, que inclui as informações de conexão do seu cluster Hadoop de origem. Certifique-se de usar o nome do cluster Hadoop que você definiu na etapa anterior.

Adicione seu serviço Hive de origem ao projeto.

Use o comando AddSourceClusterHive para conectar o serviço Hive de origem. Certifique-se de fornecer valores para os seguintes parâmetros obrigatórios: user, password, cluster, name e port. Outros parâmetros são opcionais.

O exemplo de código a seguir cria um túnel para AWS SCT trabalhar com seu serviço Hive. Esse serviço Hive de origem é executado no mesmo PC que AWS SCT. Este exemplo usa o cluster de HADOOP_SOURCE de origem do exemplo anterior.

AddSourceClusterHive
    -cluster: 'HADOOP_SOURCE'
    -name: 'HIVE_SOURCE'
    -host: 'localhost'
    -port: '10005'
    -user: 'hive_user'
    -password: 'hive_password'
    -createTunnel: 'true'
    -localPort: '10005'
    -remoteHost: 'hive_remote_address'
    -remotePort: 'hive_port'
/

O exemplo de código a seguir se conecta ao seu serviço Hive sem um túnel.

AddSourceClusterHive
    -cluster: 'HADOOP_SOURCE'
    -name: 'HIVE_SOURCE'
    -host: 'hive_address'
    -port: 'hive_port'
    -user: 'hive_user'
    -password: 'hive_password'
/

Nos exemplos anteriores, substitua hive_user e hive_password pelo nome do seu usuário do Hive e pela senha desse usuário.

Em seguida, substitua hive_address e hive_port pelo endereço IP NameNode e pela porta do seu cluster Hadoop de origem.

Para hive_remote_address, você pode usar o valor padrão 127.0.0.1 ou o endereço IP NameNode do seu serviço Hive de origem.

Adicione seu serviço HDFS de origem ao projeto.

Use o comando AddSourceClusterHDFS para conectar o serviço HDFS de origem. Certifique-se de fornecer valores para os seguintes parâmetros obrigatórios: user, password, cluster, name e port. Outros parâmetros são opcionais.

Certifique-se de que seu usuário tenha as permissões necessárias para migrar dados do serviço HDFS de origem. Para obter mais informações, consulte Permissões para usar o Hive como origem.

O exemplo de código a seguir cria um túnel para AWS SCT trabalhar com seu serviço Apache HDFS. Este exemplo usa o cluster HADOOP_SOURCE de origem que você criou anteriormente.

AddSourceClusterHDFS
    -cluster: 'HADOOP_SOURCE'
    -name: 'HDFS_SOURCE'
    -host: 'localhost'
    -port: '9005'
    -user: 'hdfs_user'
    -password: 'hdfs_password'
    -createTunnel: 'true'
    -localPort: '9005'
    -remoteHost: 'hdfs_remote_address'
    -remotePort: 'hdfs_port'
/

O código a seguir se conecta ao seu serviço Apache HDFS sem um túnel.

AddSourceClusterHDFS
    -cluster: 'HADOOP_SOURCE'
    -name: 'HDFS_SOURCE'
    -host: 'hdfs_address'
    -port: 'hdfs_port'
    -user: 'hdfs_user'
    -password: 'hdfs_password'
/

Nos exemplos anteriores, substitua hdfs_user e hdfs_password pelo nome do seu usuário do HDFS e pela senha desse usuário.

Em seguida, substitua hdfs_address e hdfs_port pelo endereço IP NameNode e pela porta do seu cluster Hadoop de origem.

Para hdfs_remote_address, você pode usar o valor padrão 127.0.0.1 ou o endereço IP NameNode do seu serviço Hive de origem.

Salve o script da CLI. Em seguida, adicione as informações de conexão do seu cluster do Amazon EMR de destino e os comandos de migração.

Abra seu script de CLI, que inclui as informações de conexão do seu cluster Hadoop de origem. Adicione as credenciais do Amazon EMR de destino a esse arquivo.

Adicione seu cluster do Amazon EMR de destino ao projeto.

O exemplo de código a seguir adiciona o cluster do Amazon EMR de destino. Este exemplo define HADOOP_TARGET como um nome do cluster de destino. Use esse nome de objeto para adicionar seus serviços Hive e HDFS e uma pasta de bucket do Amazon S3 ao projeto e crie regras de mapeamento.

AddTargetCluster
	-name: 'HADOOP_TARGET'
	-vendor: 'AMAZON_EMR'
	-host: 'ec2-44-44-55-66.eu-west-1.EXAMPLE.amazonaws.com'
	-port: '22'
	-user: 'emr_user'
	-password: 'emr_password'
	-useSSL: 'true'
	-privateKeyPath: 'c:\path\name.pem'
	-passPhrase: '1234567890abcdef0!'
	-s3Name: 'S3_TARGET'
	-accessKey: 'AKIAIOSFODNN7EXAMPLE'
	-secretKey: 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY'
	-region: 'eu-west-1'
	-s3Path: 'doc-example-bucket/example-folder'
/

No exemplo anterior, insira os nomes dos recursos AWS e as informações de conexão do Amazon EMR. Isso inclui o endereço IP do seu cluster do Amazon EMR, chave de acesso AWS, chave de acesso secreta AWS e bucket do Amazon S3. Se necessário, configure o valor da variável de porta. Em seguida, substitua emr_user e emr_password pelo nome do seu usuário do Amazon EMR e pela senha desse usuário. Em path\name, insira o nome e o caminho para o arquivo PEM do seu cluster do Amazon EMR de destino. Para mais informações, consulte Baixar arquivo PEM para acesso ao cluster do EMR.

Adicione o bucket do Amazon S3 de destino ao projeto.

O exemplo de código a seguir adiciona o bucket do Amazon S3 de destino. Este exemplo usa o cluster HADOOP_TARGET que você criou antes.

AddTargetClusterS3
	-cluster: 'HADOOP_TARGET'
	-Name: 'S3_TARGET'
	-accessKey: 'AKIAIOSFODNN7EXAMPLE'
	-secretKey: 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY'
	-region: 'eu-west-1'
	-s3Path: 'doc-example-bucket/example-folder'
/

No exemplo anterior, insira sua chave de acesso AWS, chave de acesso secreta AWS e bucket do Amazon S3.

Adicione seu serviço Hive de destino ao projeto.

O exemplo de código a seguir cria um túnel para AWS SCT trabalhar com seu serviço Hive de destino. Este exemplo usa o cluster HADOOP_TARGET de destino que você criou anteriormente.

AddTargetClusterHive
    -cluster: 'HADOOP_TARGET'
    -name: 'HIVE_TARGET'
    -host: 'localhost'
    -port: '10006'
    -user: 'hive_user'
    -password: 'hive_password'
    -createTunnel: 'true'
    -localPort: '10006'
    -remoteHost: 'hive_address'
    -remotePort: 'hive_port'
/

No exemplo anterior, substitua hive_user e hive_password pelo nome do seu usuário do Hive e pela senha desse usuário.

Em seguida, substitua hive_address pelo valor padrão 127.0.0.1 ou pelo endereço IP NameNode do seu serviço Hive de destino. Em seguida, substitua hive_port pela porta do serviço Hive de destino.

Adicione seu serviço HDFS de destino ao projeto.

O exemplo de código a seguir cria um túnel para AWS SCT trabalhar com seu serviço Apache HDFS. Este exemplo usa o cluster HADOOP_TARGET de destino que você criou anteriormente.

AddTargetClusterHDFS
    -cluster: 'HADOOP_TARGET'
    -name: 'HDFS_TARGET'
    -host: 'localhost'
    -port: '8025'
    -user: 'hdfs_user'
    -password: 'hdfs_password'
    -createTunnel: 'true'
    -localPort: '8025'
    -remoteHost: 'hdfs_address'
    -remotePort: 'hdfs_port'
/

No exemplo anterior, substitua hdfs_user e hdfs_password pelo nome do usuário do HDFS e pela senha desse usuário.

Em seguida, substitua hdfs_address e hdfs_port pelo endereço IP privado e pela porta do NameNode do seu serviço HDFS de destino.

Salve o script da CLI. Em seguida, adicione regras de mapeamento e comandos de migração. Para obter mais informações, consulte Como migrar o Apache Hadoop para o Amazon EMR.