Utilisation d'Apache Hadoop comme source pour AWS SCT

Créez un nouveau script AWS SCT CLI ou modifiez un modèle de scénario existant. Par exemple, vous pouvez télécharger et modifier le HadoopMigrationTemplate.scts modèle. Pour plus d'informations, veuillez consulter Obtenir des scénarios CLI.

Configurez les paramètres de l'AWS SCTapplication tels que l'emplacement du pilote et le dossier journal.

Téléchargez le pilote JDBC requis et spécifiez l'emplacement où vous stockez le fichier. Pour plus d'informations, veuillez consulter Téléchargement des pilotes de base de données requis.

L'exemple de code suivant montre comment ajouter le chemin vers le pilote Apache Hive. Après avoir exécuté cet exemple de code, AWS SCT enregistre les fichiers journaux dans le c:\sct dossier.

SetGlobalSettings
    -save: 'true'
    -settings: '{
        "hive_driver_file": "c:\\sct\\HiveJDBC42.jar",
        "log_folder": "c:\\sct",
        "console_log_folder": "c:\\sct"
    }'
/

Vous pouvez utiliser cet exemple et les exemples suivants sous Windows.

Créez un nouveau AWS SCT projet.

L'exemple de code suivant crée le hadoop_emr projet dans le c:\sct dossier.

CreateProject
    -name: 'hadoop_emr'
    -directory: 'c:\sct'
/

Ajoutez votre cluster Hadoop source au projet.

Utilisez la AddSourceCluster commande pour vous connecter au cluster Hadoop source. Assurez-vous de fournir des valeurs pour les paramètres obligatoires suivants : namehost,port, etuser. Les autres paramètres sont facultatifs.

L'exemple de code suivant ajoute le cluster Hadoop source. Cet exemple définit HADOOP_SOURCE le nom du cluster source. Utilisez ce nom d'objet pour ajouter les services Hive et HDFS au projet et créer des règles de mappage.

AddSourceCluster
    -name: 'HADOOP_SOURCE'
    -vendor: 'HADOOP'
    -host: 'hadoop_address'
    -port: '22'
    -user: 'hadoop_user'
    -password: 'hadoop_password'
    -useSSL: 'true'
    -privateKeyPath: 'c:\path\name.pem'
    -passPhrase: 'hadoop_passphrase'
/

Dans l'exemple précédent, remplacez hadoop_address par l'adresse IP de votre cluster Hadoop. Si nécessaire, configurez la valeur de l'option de port. Remplacez ensuite hadoop_user et hadoop_password par le nom de votre utilisateur Hadoop et le mot de passe de cet utilisateur. Pour path \ name, entrez le nom et le chemin du fichier PEM pour votre cluster Hadoop source.

Enregistrez votre script CLI. Ajoutez ensuite les informations de connexion pour vos services Hive et HDFS.

Ouvrez votre script CLI qui inclut les informations de connexion pour votre cluster Hadoop source. Assurez-vous d'utiliser le nom du cluster Hadoop que vous avez défini à l'étape précédente.

Ajoutez votre service Hive source au projet.

Utilisez la AddSourceClusterHive commande pour connecter le service Hive source. Assurez-vous de fournir des valeurs pour les paramètres obligatoires suivants : userpassword,cluster,name, etport. Les autres paramètres sont facultatifs.

L'exemple de code suivant crée un tunnel AWS SCT pour fonctionner avec votre service Hive. Ce service source Hive s'exécute sur le même PC queAWS SCT. Cet exemple utilise le cluster HADOOP_SOURCE source de l'exemple précédent.

AddSourceClusterHive
    -cluster: 'HADOOP_SOURCE'
    -name: 'HIVE_SOURCE'
    -host: 'localhost'
    -port: '10005'
    -user: 'hive_user'
    -password: 'hive_password'
    -createTunnel: 'true'
    -localPort: '10005'
    -remoteHost: 'hive_remote_address'
    -remotePort: 'hive_port'
/

L'exemple de code suivant permet de se connecter à votre service Hive sans tunnel.

AddSourceClusterHive
    -cluster: 'HADOOP_SOURCE'
    -name: 'HIVE_SOURCE'
    -host: 'hive_address'
    -port: 'hive_port'
    -user: 'hive_user'
    -password: 'hive_password'
/

Dans les exemples précédents, remplacez hive_user et hive_password par le nom de votre utilisateur Hive et le mot de passe de cet utilisateur.

Ensuite, remplacez hive_address et hive_port par l'adresse NameNode IP et le port de votre cluster Hadoop source.

Pour hive_remote_address, vous pouvez utiliser la valeur par défaut 127.0.0.1 ou l'adresse NameNode IP de votre service Hive source.

Ajoutez votre service HDFS source au projet.

Utilisez la AddSourceClusterHDFS commande pour connecter le service HDFS source. Assurez-vous de fournir des valeurs pour les paramètres obligatoires suivants : userpassword,cluster,name, etport. Les autres paramètres sont facultatifs.

Assurez-vous que votre utilisateur dispose des autorisations requises pour migrer des données depuis votre service HDFS source. Pour plus d'informations, veuillez consulter Autorisations d'utilisation de Hive comme source.

L'exemple de code suivant crée un tunnel AWS SCT pour fonctionner avec votre service Apache HDFS. Cet exemple utilise le cluster HADOOP_SOURCE source que vous avez créé auparavant.

AddSourceClusterHDFS
    -cluster: 'HADOOP_SOURCE'
    -name: 'HDFS_SOURCE'
    -host: 'localhost'
    -port: '9005'
    -user: 'hdfs_user'
    -password: 'hdfs_password'
    -createTunnel: 'true'
    -localPort: '9005'
    -remoteHost: 'hdfs_remote_address'
    -remotePort: 'hdfs_port'
/

Le code suivant se connecte à votre service Apache HDFS sans tunnel.

AddSourceClusterHDFS
    -cluster: 'HADOOP_SOURCE'
    -name: 'HDFS_SOURCE'
    -host: 'hdfs_address'
    -port: 'hdfs_port'
    -user: 'hdfs_user'
    -password: 'hdfs_password'
/

Dans les exemples précédents, remplacez hdfs_user et hdfs_password par le nom de votre utilisateur HDFS et le mot de passe de cet utilisateur.

Ensuite, remplacez hdfs_address et hdfs_port par l'adresse NameNode IP et le port de votre cluster Hadoop source.

Pour hdfs_remote_address, vous pouvez utiliser la valeur par défaut 127.0.0.1 ou l'adresse NameNode IP de votre service Hive source.

Enregistrez votre script CLI. Ajoutez ensuite les informations de connexion pour votre cluster Amazon EMR cible, ainsi que les commandes de migration.

Ouvrez votre script CLI qui inclut les informations de connexion pour votre cluster Hadoop source. Ajoutez les informations d'identification Amazon EMR cibles dans ce fichier.

Ajoutez votre cluster Amazon EMR cible au projet.

L'exemple de code suivant ajoute le cluster Amazon EMR cible. Cet exemple définit HADOOP_TARGET le nom du cluster cible. Utilisez ce nom d'objet pour ajouter vos services Hive et HDFS ainsi qu'un dossier de compartiment Amazon S3 au projet et créer des règles de mappage.

AddTargetCluster
	-name: 'HADOOP_TARGET'
	-vendor: 'AMAZON_EMR'
	-host: 'ec2-44-44-55-66.eu-west-1.EXAMPLE.amazonaws.com'
	-port: '22'
	-user: 'emr_user'
	-password: 'emr_password'
	-useSSL: 'true'
	-privateKeyPath: 'c:\path\name.pem'
	-passPhrase: '1234567890abcdef0!'
	-s3Name: 'S3_TARGET'
	-accessKey: 'AKIAIOSFODNN7EXAMPLE'
	-secretKey: 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY'
	-region: 'eu-west-1'
	-s3Path: 'doc-example-bucket/example-folder'
/

Dans l'exemple précédent, entrez les noms de vos AWS ressources et les informations de connexion Amazon EMR. Cela inclut l'adresse IP de votre cluster Amazon EMR, la clé AWS d'accès, la clé d'accès AWS secrète et le compartiment Amazon S3. Si nécessaire, configurez la valeur de la variable de port. Ensuite, remplacez emr_user et emr_password par le nom de votre utilisateur Amazon EMR et le mot de passe de cet utilisateur. Pour path \ name, entrez le nom et le chemin du fichier PEM pour votre cluster Amazon EMR cible. Pour plus d'informations, voir Télécharger le fichier PEM pour EMR Cluster Access.

Ajoutez votre compartiment Amazon S3 cible au projet.

L'exemple de code suivant ajoute le compartiment Amazon S3 cible. Cet exemple utilise le HADOOP_TARGET cluster que vous avez créé auparavant.

AddTargetClusterS3
	-cluster: 'HADOOP_TARGET'
	-Name: 'S3_TARGET'
	-accessKey: 'AKIAIOSFODNN7EXAMPLE'
	-secretKey: 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY'
	-region: 'eu-west-1'
	-s3Path: 'doc-example-bucket/example-folder'
/

Dans l'exemple précédent, entrez votre clé AWS d'accès, votre clé d'accès AWS secrète et votre compartiment Amazon S3.

Ajoutez votre service Hive cible au projet.

L'exemple de code suivant crée un tunnel AWS SCT pour fonctionner avec votre service Hive cible. Cet exemple utilise le cluster HADOOP_TARGET cible que vous avez créé auparavant.

AddTargetClusterHive
    -cluster: 'HADOOP_TARGET'
    -name: 'HIVE_TARGET'
    -host: 'localhost'
    -port: '10006'
    -user: 'hive_user'
    -password: 'hive_password'
    -createTunnel: 'true'
    -localPort: '10006'
    -remoteHost: 'hive_address'
    -remotePort: 'hive_port'
/

Dans l'exemple précédent, remplacez hive_user et hive_password par le nom de votre utilisateur Hive et le mot de passe de cet utilisateur.

Ensuite, remplacez hive_address par la valeur par défaut 127.0.0.1 ou par l'adresse NameNode IP de votre service Hive cible. Ensuite, remplacez hive_port par le port de votre service Hive cible.

Ajoutez votre service HDFS cible au projet.

L'exemple de code suivant crée un tunnel AWS SCT pour fonctionner avec votre service Apache HDFS. Cet exemple utilise le cluster HADOOP_TARGET cible que vous avez créé auparavant.

AddTargetClusterHDFS
    -cluster: 'HADOOP_TARGET'
    -name: 'HDFS_TARGET'
    -host: 'localhost'
    -port: '8025'
    -user: 'hdfs_user'
    -password: 'hdfs_password'
    -createTunnel: 'true'
    -localPort: '8025'
    -remoteHost: 'hdfs_address'
    -remotePort: 'hdfs_port'
/

Dans l'exemple précédent, remplacez hdfs_user et hdfs_password par le nom de votre utilisateur HDFS et le mot de passe de cet utilisateur.

Ensuite, remplacez hdfs_address et hdfs_port par l'adresse IP privée et le port du NameNode service HDFS cible.

Enregistrez votre script CLI. Ajoutez ensuite des règles de mappage et des commandes de migration. Pour plus d'informations, veuillez consulter Migration d'Apache Hadoop vers Amazon EMR.