Uso de Apache Hadoop como origen para AWS SCT

Cree un script de la CLI de AWS SCT nuevo o edite una plantilla de escenario existente. Por ejemplo, puede descargar y editar la plantilla de HadoopMigrationTemplate.scts. Para obtener más información, consulte Obtención de escenarios de la CLI.

Configure los ajustes de aplicación de AWS SCT, como la ubicación del controlador y la carpeta de registro.

Descargue el controlador JDBC necesario y, a continuación, especifique la ubicación en la que se almacena el archivo. Para obtener más información, consulte Descarga de los controladores de base de datos necesarios.

En el siguiente ejemplo de código, se muestra cómo agregar la ruta de acceso al controlador Apache Hive. Tras ejecutar este ejemplo de código, AWS SCT almacena los archivos de registro en la carpeta c:\sct.

SetGlobalSettings
    -save: 'true'
    -settings: '{
        "hive_driver_file": "c:\\sct\\HiveJDBC42.jar",
        "log_folder": "c:\\sct",
        "console_log_folder": "c:\\sct"
    }'
/

Puede usar este ejemplo y los ejemplos siguientes en Windows.

Cree un proyecto de AWS SCT nuevo.

El siguiente ejemplo de código crea el proyecto de hadoop_emr en la carpeta c:\sct.

CreateProject
    -name: 'hadoop_emr'
    -directory: 'c:\sct'
/

Agregue su clúster de Hadoop de origen al proyecto.

Utilice el comando AddSourceCluster para conectarse al clúster de Hadoop de origen. Proporcione valores para los siguientes parámetros obligatorios: name, host, port y user. El resto de los parámetros son opcionales.

El siguiente ejemplo de código agrega el clúster de Hadoop de origen. En este ejemplo HADOOP_SOURCE se establece el nombre del clúster de origen. Utilice este nombre de objeto para añadir los servicios Hive y HDFS al proyecto y crear reglas de asignación.

AddSourceCluster
    -name: 'HADOOP_SOURCE'
    -vendor: 'HADOOP'
    -host: 'hadoop_address'
    -port: '22'
    -user: 'hadoop_user'
    -password: 'hadoop_password'
    -useSSL: 'true'
    -privateKeyPath: 'c:\path\name.pem'
    -passPhrase: 'hadoop_passphrase'
/

En el ejemplo anterior, sustituya hadoop_address por la dirección IP del clúster de Hadoop. Si es necesario, configure el valor de la opción de puerto. A continuación, sustituya hadoop_user y hadoop_password por su nombre de usuario de Hadoop y la contraseña de este usuario. En path\name, introduzca el nombre y la ruta del archivo PEM del clúster de Hadoop de origen.

Guarde el script de la CLI. A continuación, agregue la información de conexión de los servicios Hive y HDFS.

Abra el script de la CLI que incluye la información de conexión del clúster Hadoop de origen. Utilice el nombre del clúster de Hadoop que definió en el paso anterior.

Agregue su servicio Hive de origen al proyecto.

Use el comando AddSourceClusterHive para conectar el servicio Hive de origen. Proporcione valores para los siguientes parámetros obligatorios: user, password, cluster, name y port. El resto de los parámetros son opcionales.

El siguiente ejemplo de código crea un túnel para que AWS SCT funcione con el servicio Hive. Este servicio Hive de origen se ejecuta en el mismo equipo que AWS SCT. En este ejemplo se utiliza el clúster de origen de HADOOP_SOURCE del ejemplo anterior.

AddSourceClusterHive
    -cluster: 'HADOOP_SOURCE'
    -name: 'HIVE_SOURCE'
    -host: 'localhost'
    -port: '10005'
    -user: 'hive_user'
    -password: 'hive_password'
    -createTunnel: 'true'
    -localPort: '10005'
    -remoteHost: 'hive_remote_address'
    -remotePort: 'hive_port'
/

El siguiente ejemplo de código conecta su servicio Hive sin un túnel.

AddSourceClusterHive
    -cluster: 'HADOOP_SOURCE'
    -name: 'HIVE_SOURCE'
    -host: 'hive_address'
    -port: 'hive_port'
    -user: 'hive_user'
    -password: 'hive_password'
/

En los ejemplos anteriores, sustituya hive_user y hive_password por el nombre del usuario de Hive y la contraseña de este usuario.

A continuación, sustituya hive_address y hive_port por la dirección IP y el puerto de NameNode del clúster de Hadoop de origen.

En hive_remote_address, puede usar el valor predeterminado 127.0.0.1 o la dirección IP de NameNode del servicio Hive de origen.

Agregue su servicio HDFS de origen al proyecto.

Use el comando AddSourceClusterHDFS para conectar el servicio HDFS de origen. Proporcione valores para los siguientes parámetros obligatorios: user, password, cluster, name y port. El resto de los parámetros son opcionales.

El usuario debe tener los permisos necesarios para migrar datos desde el servicio HDFS de origen. Para obtener más información, consulte Permisos para usar Hive como origen.

El siguiente ejemplo de código crea un túnel para que AWS SCT funcione con el servicio HDFS. En este ejemplo, se utiliza el clúster de origen de HADOOP_SOURCE que creó anteriormente.

AddSourceClusterHDFS
    -cluster: 'HADOOP_SOURCE'
    -name: 'HDFS_SOURCE'
    -host: 'localhost'
    -port: '9005'
    -user: 'hdfs_user'
    -password: 'hdfs_password'
    -createTunnel: 'true'
    -localPort: '9005'
    -remoteHost: 'hdfs_remote_address'
    -remotePort: 'hdfs_port'
/

El siguiente ejemplo de código conecta su servicio Apache HDFS sin un túnel.

AddSourceClusterHDFS
    -cluster: 'HADOOP_SOURCE'
    -name: 'HDFS_SOURCE'
    -host: 'hdfs_address'
    -port: 'hdfs_port'
    -user: 'hdfs_user'
    -password: 'hdfs_password'
/

En los ejemplos anteriores, sustituya hdfs_user y hdfs_password por el nombre del usuario de HDFS y la contraseña de este usuario.

A continuación, sustituya hdfs_address y hdfs_port por la dirección IP y el puerto de NameNode del clúster de Hadoop de origen.

En hdfs_remote_address, puede usar el valor predeterminado 127.0.0.1 o la dirección IP de NameNode del servicio Hive de origen.

Guarde el script de la CLI. A continuación, agregue la información de conexión del clúster de Amazon EMR de destino y los comandos de migración.

Abra el script de la CLI que incluye la información de conexión del clúster Hadoop de origen. Agregue las credenciales de Amazon EMR de destino a este archivo.

Agregue su clúster de Amazon EMR de destino al proyecto.

El siguiente ejemplo de código se conecta al clúster de Amazon EMR de destino. En este ejemplo HADOOP_TARGET se establece el nombre del clúster de destino. Utilice este nombre de objeto para añadir los servicios Hive y HDFS y una carpeta del bucket de Amazon S3 al proyecto y crear reglas de asignación.

AddTargetCluster
	-name: 'HADOOP_TARGET'
	-vendor: 'AMAZON_EMR'
	-host: 'ec2-44-44-55-66.eu-west-1.EXAMPLE.amazonaws.com'
	-port: '22'
	-user: 'emr_user'
	-password: 'emr_password'
	-useSSL: 'true'
	-privateKeyPath: 'c:\path\name.pem'
	-passPhrase: '1234567890abcdef0!'
	-s3Name: 'S3_TARGET'
	-accessKey: 'AKIAIOSFODNN7EXAMPLE'
	-secretKey: 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY'
	-region: 'eu-west-1'
	-s3Path: 'doc-example-bucket/example-folder'
/

En el ejemplo anterior, introduzca los nombres de los recursos de AWS y la información de conexión de Amazon EMR. Esto incluye la dirección IP del clúster de Amazon EMR, la clave de acceso de AWS, la clave de acceso secreta de AWS y el bucket de Amazon S3. Si es necesario, configure el valor de la variable de puerto. A continuación, sustituya emr_user y emr_password por su nombre de usuario de Amazon EMR y la contraseña de este usuario. En path\name, introduzca el nombre y la ruta del archivo PEM del clúster de Amazon EMR de origen. Para obtener más información, consulte Descargar archivo PEM para el acceso al clúster de EMR.

Agregue su bucket de Amazon S3 al proyecto.

El siguiente ejemplo de código agrega el bucket de Amazon 3 de destino. En este ejemplo, se utiliza el clúster de HADOOP_TARGET que creó anteriormente.

AddTargetClusterS3
	-cluster: 'HADOOP_TARGET'
	-Name: 'S3_TARGET'
	-accessKey: 'AKIAIOSFODNN7EXAMPLE'
	-secretKey: 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY'
	-region: 'eu-west-1'
	-s3Path: 'doc-example-bucket/example-folder'
/

En el ejemplo anterior, introduzca la clave de acceso de AWS, la clave de acceso secreta de AWS y el bucket de Amazon S3.

Agregue su servicio Hive de destino al proyecto.

El siguiente ejemplo de código crea un túnel para que AWS SCT funcione con su servicio Hive de destino. En este ejemplo, se utiliza el clúster de HADOOP_TARGET de destino que creó anteriormente.

AddTargetClusterHive
    -cluster: 'HADOOP_TARGET'
    -name: 'HIVE_TARGET'
    -host: 'localhost'
    -port: '10006'
    -user: 'hive_user'
    -password: 'hive_password'
    -createTunnel: 'true'
    -localPort: '10006'
    -remoteHost: 'hive_address'
    -remotePort: 'hive_port'
/

En el ejemplo anterior, sustituya hive_user y hive_password por el nombre del usuario de Hive y la contraseña de este usuario.

A continuación, sustituya hive_address por el valor predeterminado 127.0.0.1 o por la dirección IP del NameNode del servicio Hive de destino. A continuación, sustituya hive_port por el puerto del servicio Hive de destino.

Agregue su servicio HDFS de destino al proyecto.

El siguiente ejemplo de código crea un túnel para que AWS SCT funcione con el servicio Apache HDFS. En este ejemplo, se utiliza el clúster de HADOOP_TARGET de destino que creó anteriormente.

AddTargetClusterHDFS
    -cluster: 'HADOOP_TARGET'
    -name: 'HDFS_TARGET'
    -host: 'localhost'
    -port: '8025'
    -user: 'hdfs_user'
    -password: 'hdfs_password'
    -createTunnel: 'true'
    -localPort: '8025'
    -remoteHost: 'hdfs_address'
    -remotePort: 'hdfs_port'
/

En el ejemplo anterior, sustituya hdfs_user y hdfs_password por el nombre del usuario de HDFS y la contraseña de este usuario.

A continuación, sustituya hdfs_address y hdfs_port por la dirección IP privada y el puerto del NameNode del servicio HDFS de destino.

Guarde el script de la CLI. A continuación, agregue reglas de asignación y comandos de migración. Para obtener más información, consulte Migración de Apache Hadoop a Amazon EMR con .