使用连接到 Apache Hadoop 数据库 AWS Schema Conversion Tool

创建新 AWS SCT CLI脚本或编辑现有场景模板。例如，您可以下载和编辑 HadoopMigrationTemplate.scts 模板。有关更多信息，请参阅 获取CLI场景。

配置 AWS SCT 应用程序设置，例如驱动程序位置和日志文件夹。

下载所需的JDBC驱动程序并指定存储文件的位置。有关更多信息，请参阅 正在为安装JDBC驱动程序 AWS Schema Conversion Tool。

以下代码示例显示如何将路径添加到 Apache Hive 驱动程序。运行此代码示例后，将日志文件 AWS SCT 存储在c:\sct文件夹中。

SetGlobalSettings
    -save: 'true'
    -settings: '{
        "hive_driver_file": "c:\\sct\\HiveJDBC42.jar",
        "log_folder": "c:\\sct",
        "console_log_folder": "c:\\sct"
    }'
/

您可以在 Windows 中使用此示例和以下示例。

创建新 AWS SCT 项目。

以下代码示例在 c:\sct 文件夹中创建 hadoop_emr 项目。

CreateProject
    -name: 'hadoop_emr'
    -directory: 'c:\sct'
/

将源 Hadoop 集群添加到项目中。

使用 AddSourceCluster 命令连接到源 Hadoop 集群。请确保为以下必填参数提供值：name、host、port 和 user。其他参数都是可选的。

以下代码示例添加了源 Hadoop 集群。此示例将 HADOOP_SOURCE 设置为源集群的名称。使用此对象名称将 Hive 和HDFS服务添加到项目并创建映射规则。

AddSourceCluster
    -name: 'HADOOP_SOURCE'
    -vendor: 'HADOOP'
    -host: 'hadoop_address'
    -port: '22'
    -user: 'hadoop_user'
    -password: 'hadoop_password'
    -useSSL: 'true'
    -privateKeyPath: 'c:\path\name.pem'
    -passPhrase: 'hadoop_passphrase'
/

在前面的示例中，替换 hadoop_address 使用你的 Hadoop 集群的 IP 地址。如果需要，请配置端口选项的值。接下来，替换 hadoop_user 以及 hadoop_password 包含您的 Hadoop 用户的名字和该用户的密码。对于 path\name，输入源 Hadoop 集PEM群的文件名称和路径。

保存您的CLI脚本。接下来，添加 Hive 和HDFS服务的连接信息。

打开您的CLI脚本，其中包含您的源 Hadoop 集群的连接信息。确保使用您在上一步中定义的 Hadoop 集群的名称。

将源 Hive 服务添加到项目中。

使用 AddSourceClusterHive 命令连接源 Hive 服务。请确保为以下必填参数提供值：user、password、cluster、name 和 port。其他参数都是可选的。

以下代码示例创建了一个用于 AWS SCT 与 Hive 服务配合使用的隧道。此源 Hive 服务与 AWS SCT在同一台电脑上运行。此示例使用前一个示例中的 HADOOP_SOURCE 源集群。

AddSourceClusterHive
    -cluster: 'HADOOP_SOURCE'
    -name: 'HIVE_SOURCE'
    -host: 'localhost'
    -port: '10005'
    -user: 'hive_user'
    -password: 'hive_password'
    -createTunnel: 'true'
    -localPort: '10005'
    -remoteHost: 'hive_remote_address'
    -remotePort: 'hive_port'
/

以下代码示例无需隧道即可连接到 Hive 服务。

AddSourceClusterHive
    -cluster: 'HADOOP_SOURCE'
    -name: 'HIVE_SOURCE'
    -host: 'hive_address'
    -port: 'hive_port'
    -user: 'hive_user'
    -password: 'hive_password'
/

在前面的示例中，替换 hive_user 以及 hive_password 包含您的 Hive 用户的名字和该用户的密码。

接下来，替换 hive_address 以及 hive_port 包含您的源 Hadoop 集群 NameNode 的 IP 地址和端口。

对于 hive_remote_address，您可以使用源 Hive 服务的默认值127.0.0.1或 NameNode IP 地址。

将您的源HDFS服务添加到项目中。

使用AddSourceClusterHDFS命令连接源HDFS服务。请确保为以下必填参数提供值：user、password、cluster、name 和 port。其他参数都是可选的。

确保您的用户具有从源HDFS服务迁移数据所需的权限。有关更多信息，请参阅 使用 Hive 作为源的权限。

以下代码示例创建了一个用于 AWS SCT 与 Apache HDFS 服务配合使用的隧道。此示例使用您之前创建的 HADOOP_SOURCE 源集群。

AddSourceClusterHDFS
    -cluster: 'HADOOP_SOURCE'
    -name: 'HDFS_SOURCE'
    -host: 'localhost'
    -port: '9005'
    -user: 'hdfs_user'
    -password: 'hdfs_password'
    -createTunnel: 'true'
    -localPort: '9005'
    -remoteHost: 'hdfs_remote_address'
    -remotePort: 'hdfs_port'
/

以下代码无需隧道即可连接到您的 Apache HDFS 服务。

AddSourceClusterHDFS
    -cluster: 'HADOOP_SOURCE'
    -name: 'HDFS_SOURCE'
    -host: 'hdfs_address'
    -port: 'hdfs_port'
    -user: 'hdfs_user'
    -password: 'hdfs_password'
/

在前面的示例中，替换 hdfs_user 以及 hdfs_password 包括您的HDFS用户名和该用户的密码。

接下来，替换 hdfs_address 以及 hdfs_port 包含您的源 Hadoop 集群 NameNode 的 IP 地址和端口。

对于 hdfs_remote_address，您可以使用源 Hive 服务的默认值127.0.0.1或 NameNode IP 地址。

保存您的CLI脚本。接下来，添加目标 Amazon EMR 集群的连接信息以及迁移命令。

打开您的CLI脚本，其中包含您的源 Hadoop 集群的连接信息。将目标 Amazon EMR 凭证添加到此文件中。

将您的目标 Amazon EMR 集群添加到项目中。

以下代码示例添加了目标 Amazon EMR 集群。此示例将 HADOOP_TARGET 设置为目标集群的名称。使用此对象名称将您的 Hive 和HDFS服务以及 Amazon S3 存储桶文件夹添加到项目并创建映射规则。

AddTargetCluster
	-name: 'HADOOP_TARGET'
	-vendor: 'AMAZON_EMR'
	-host: 'ec2-44-44-55-66.eu-west-1.EXAMPLE.amazonaws.com'
	-port: '22'
	-user: 'emr_user'
	-password: 'emr_password'
	-useSSL: 'true'
	-privateKeyPath: 'c:\path\name.pem'
	-passPhrase: '1234567890abcdef0!'
	-s3Name: 'S3_TARGET'
	-accessKey: 'AKIAIOSFODNN7EXAMPLE'
	-secretKey: 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY'
	-region: 'eu-west-1'
	-s3Path: 'doc-example-bucket/example-folder'
/

在前面的示例中，输入您的 AWS 资源名称和 Amazon EMR 连接信息。这包括您的亚马逊EMR集群的 IP 地址、访问密钥、私有 AWS 访问 AWS 密钥和 Amazon S3 存储桶。如果需要，请配置端口变量的值。接下来，替换 emr_user 以及 emr_password 包含您的 Amazon EMR 用户名和该用户的密码。对于 path\name，输入目标 Amazon EMR 集群PEM的文件名称和路径。有关更多信息，请参阅下载EMR集群访问PEM文件。

将目标 Amazon S3 存储桶添加到项目中。

以下代码示例添加目标 Amazon S3 存储桶。此示例使用您之前创建的 HADOOP_TARGET 集群。

AddTargetClusterS3
	-cluster: 'HADOOP_TARGET'
	-Name: 'S3_TARGET'
	-accessKey: 'AKIAIOSFODNN7EXAMPLE'
	-secretKey: 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY'
	-region: 'eu-west-1'
	-s3Path: 'doc-example-bucket/example-folder'
/

在前面的示例中，输入您的 AWS 访问密钥、 AWS 私有访问密钥和 Amazon S3 存储桶。

将目标 Hive 服务添加到项目中。

以下代码示例创建了一个隧道， AWS SCT 以便与您的目标 Hive 服务配合使用。此示例使用您之前创建的 HADOOP_TARGET 目标集群。

AddTargetClusterHive
    -cluster: 'HADOOP_TARGET'
    -name: 'HIVE_TARGET'
    -host: 'localhost'
    -port: '10006'
    -user: 'hive_user'
    -password: 'hive_password'
    -createTunnel: 'true'
    -localPort: '10006'
    -remoteHost: 'hive_address'
    -remotePort: 'hive_port'
/

在前面的示例中，替换 hive_user 以及 hive_password 包含您的 Hive 用户的名字和该用户的密码。

接下来，替换 hive_address 使用默认值127.0.0.1或目标 Hive 服务 NameNode 的 IP 地址。接下来，替换 hive_port 使用您的目标 Hive 服务的端口。

将您的目标HDFS服务添加到项目中。

以下代码示例创建了一个用于 AWS SCT 与 Apache HDFS 服务配合使用的隧道。此示例使用您之前创建的 HADOOP_TARGET 目标集群。

AddTargetClusterHDFS
    -cluster: 'HADOOP_TARGET'
    -name: 'HDFS_TARGET'
    -host: 'localhost'
    -port: '8025'
    -user: 'hdfs_user'
    -password: 'hdfs_password'
    -createTunnel: 'true'
    -localPort: '8025'
    -remoteHost: 'hdfs_address'
    -remotePort: 'hdfs_port'
/

在前面的示例中，替换 hdfs_user 以及 hdfs_password 包括您的HDFS用户名和该用户的密码。

接下来，替换 hdfs_address 以及 hdfs_port 使用目标HDFS服务的私有 IP 地址和端口。 NameNode

保存您的CLI脚本。接下来，添加映射规则和迁移命令。有关更多信息，请参阅 迁移 Hadoop 工作负载。