使用連接到阿帕奇 Hadoop 數據庫 AWS Schema Conversion Tool

建立新 AWS SCT CLI指令碼或編輯現有案例範本。例如，您可以下載和編輯HadoopMigrationTemplate.scts範本。如需詳細資訊，請參閱取得CLI案例。

設定 AWS SCT 應用程式設定，例如驅動程式位置和記錄檔資料夾。

下載所需的JDBC驅動程式並指定儲存檔案的位置。如需詳細資訊，請參閱安裝JDBC驅動程式 AWS Schema Conversion Tool。

下列程式碼範例會示範如何將路徑新增至 Apache Hive 驅動程式。執行此程式碼範例之後，將記錄檔 AWS SCT 儲存在資c:\sct料夾中。

SetGlobalSettings
    -save: 'true'
    -settings: '{
        "hive_driver_file": "c:\\sct\\HiveJDBC42.jar",
        "log_folder": "c:\\sct",
        "console_log_folder": "c:\\sct"
    }'
/

您可以在 Windows 中使用這個範例和下列範例。

創建一個新 AWS SCT 項目。

下列程式碼範例會在c:\sct資料夾中建立hadoop_emr專案。

CreateProject
    -name: 'hadoop_emr'
    -directory: 'c:\sct'
/

將您的源 Hadoop 集群添加到項目中。

使用該AddSourceCluster命令連接到源 Hadoop 集群。請確定您提供下列必要參數的值：namehost、port、和user。其他參數是可選的。

下列程式碼範例會新增來源 Hadoop 叢集。此範例會設定HADOOP_SOURCE為來源叢集的名稱。使用此物件名稱可將 Hive 和HDFS服務新增至專案，並建立對應規則。

AddSourceCluster
    -name: 'HADOOP_SOURCE'
    -vendor: 'HADOOP'
    -host: 'hadoop_address'
    -port: '22'
    -user: 'hadoop_user'
    -password: 'hadoop_password'
    -useSSL: 'true'
    -privateKeyPath: 'c:\path\name.pem'
    -passPhrase: 'hadoop_passphrase'
/

在前面的例子中，替換 hadoop_address 使用您的 Hadoop 叢集的 IP 位址。如果需要，請設定連接埠選項的值。接下來，更換 hadoop_user 以及 hadoop_password 使用您的 Hadoop 用戶的名稱和此用戶的密碼。用於 path\name」中，輸入來源 Hadoop 叢集之PEM檔案的名稱和路徑。

儲存您的CLI指令碼。接下來，為您的 Hive 和HDFS服務添加連接信息。

打開您的CLI腳本，其中包括源 Hadoop 集群的連接信息。請確定您使用您在上一個步驟中定義的 Hadoop 叢集的名稱。

將您的源 Hive 服務添加到項目中。

使用命AddSourceClusterHive令來連接源 Hive 服務。請確定您提供下列必要參數的值：userpassword、cluster、name、和port。其他參數是可選的。

下列程式碼範例會建立與 Hive 服務搭配使用的通道。 AWS SCT 此源 Hive 服務運行在同一台 PC 上 AWS SCT。此範例使用上一個範例中的HADOOP_SOURCE來源叢集。

AddSourceClusterHive
    -cluster: 'HADOOP_SOURCE'
    -name: 'HIVE_SOURCE'
    -host: 'localhost'
    -port: '10005'
    -user: 'hive_user'
    -password: 'hive_password'
    -createTunnel: 'true'
    -localPort: '10005'
    -remoteHost: 'hive_remote_address'
    -remotePort: 'hive_port'
/

下列程式碼範例會連線至您的 Hive 服務，而不需要通道。

AddSourceClusterHive
    -cluster: 'HADOOP_SOURCE'
    -name: 'HIVE_SOURCE'
    -host: 'hive_address'
    -port: 'hive_port'
    -user: 'hive_user'
    -password: 'hive_password'
/

在上述範例中，取代 hive_user 以及 hive_password 使用您的 Hive 用戶的名稱和此用戶的密碼。

接下來，更換 hive_address 以及 hive_port 使用來源 Hadoop 叢集的 NameNode IP 位址和連接埠。

用於 hive_remote_address，您可以使用來源 Hive 服務的預設值127.0.0.1或 NameNode IP 位址。

將您的源HDFS服務添加到項目中。

使用AddSourceClusterHDFS指令連線來源HDFS服務。請確定您提供下列必要參數的值：userpassword、cluster、name、和port。其他參數是可選的。

請確定您的使用者具有從來源HDFS服務移轉資料的必要權限。如需詳細資訊，請參閱使用 Hive 作為源的權限。

下列程式碼範例會建立與 Apache HDFS 服務搭配使用的通道。 AWS SCT 此範例使用您之前建立的HADOOP_SOURCE來源叢集。

AddSourceClusterHDFS
    -cluster: 'HADOOP_SOURCE'
    -name: 'HDFS_SOURCE'
    -host: 'localhost'
    -port: '9005'
    -user: 'hdfs_user'
    -password: 'hdfs_password'
    -createTunnel: 'true'
    -localPort: '9005'
    -remoteHost: 'hdfs_remote_address'
    -remotePort: 'hdfs_port'
/

下面的代碼連接到你的 Apache HDFS 服務沒有隧道。

AddSourceClusterHDFS
    -cluster: 'HADOOP_SOURCE'
    -name: 'HDFS_SOURCE'
    -host: 'hdfs_address'
    -port: 'hdfs_port'
    -user: 'hdfs_user'
    -password: 'hdfs_password'
/

在上述範例中，取代 hdfs_user 以及 hdfs_password HDFS使用您的使用者名稱和此使用者的密碼。

接下來，更換 hdfs_address 以及 hdfs_port 使用來源 Hadoop 叢集的 NameNode IP 位址和連接埠。

用於 hdfs_remote_address，您可以使用來源 Hive 服務的預設值127.0.0.1或 NameNode IP 位址。

儲存您的CLI指令碼。接下來，新增目標 Amazon EMR 叢集的連線資訊和遷移命令。

打開您的CLI腳本，其中包括源 Hadoop 集群的連接信息。將目標 Amazon EMR 憑據添加到此文件中。

將您的目標 Amazon EMR 叢集新增至專案。

下列程式碼範例會新增目標 Amazon EMR 叢集。此範例會設定HADOOP_TARGET為目標叢集的名稱。使用此物件名稱將 Hive 和HDFS服務以及 Amazon S3 儲存貯體資料夾新增至專案，並建立映射規則。

AddTargetCluster
	-name: 'HADOOP_TARGET'
	-vendor: 'AMAZON_EMR'
	-host: 'ec2-44-44-55-66.eu-west-1.EXAMPLE.amazonaws.com'
	-port: '22'
	-user: 'emr_user'
	-password: 'emr_password'
	-useSSL: 'true'
	-privateKeyPath: 'c:\path\name.pem'
	-passPhrase: '1234567890abcdef0!'
	-s3Name: 'S3_TARGET'
	-accessKey: 'AKIAIOSFODNN7EXAMPLE'
	-secretKey: 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY'
	-region: 'eu-west-1'
	-s3Path: 'doc-example-bucket/example-folder'
/

在前面的範例中，輸入您的 AWS 資源名稱和 Amazon EMR 連線資訊。這包括 Amazon EMR 叢集的 IP 位址、 AWS 存取金鑰、 AWS 秘密存取金鑰和 Amazon S3 儲存貯體。如果需要，請配置端口變量的值。接下來，更換 emr_user 以及 emr_password 使用您的 Amazon EMR 使用者名稱和此使用者的密碼。用於 path\name」中，輸入目標 Amazon EMR 叢集的PEM檔案名稱和路徑。如需詳細資訊，請參閱下載PEM檔案以進行EMR叢集存取。

將您的目標 Amazon S3 儲存貯體新增至專案。

下列程式碼範例會新增目標 Amazon S3 儲存貯體。此範例使用您之前建立的HADOOP_TARGET叢集。

AddTargetClusterS3
	-cluster: 'HADOOP_TARGET'
	-Name: 'S3_TARGET'
	-accessKey: 'AKIAIOSFODNN7EXAMPLE'
	-secretKey: 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY'
	-region: 'eu-west-1'
	-s3Path: 'doc-example-bucket/example-folder'
/

在上述範例中，輸入您的 AWS 存取金鑰、 AWS 秘密存取金鑰和 Amazon S3 儲存貯體。

將您的目標 Hive 服務添加到項目中。

下列程式碼範例會建立與目標 Hive 服務搭配使用的通道。 AWS SCT 此範例使用您之前建立的HADOOP_TARGET目標叢集。

AddTargetClusterHive
    -cluster: 'HADOOP_TARGET'
    -name: 'HIVE_TARGET'
    -host: 'localhost'
    -port: '10006'
    -user: 'hive_user'
    -password: 'hive_password'
    -createTunnel: 'true'
    -localPort: '10006'
    -remoteHost: 'hive_address'
    -remotePort: 'hive_port'
/

在前面的例子中，替換 hive_user 以及 hive_password 使用您的 Hive 用戶的名稱和此用戶的密碼。

接下來，更換 hive_address 使用默認值127.0.0.1或目標 Hive 服務的 NameNode IP 地址。接下來，更換 hive_port 與目標 Hive 服務的端口。

將您的目標HDFS服務新增至專案。

下列程式碼範例會建立與 Apache HDFS 服務搭配使用的通道。 AWS SCT 此範例使用您之前建立的HADOOP_TARGET目標叢集。

AddTargetClusterHDFS
    -cluster: 'HADOOP_TARGET'
    -name: 'HDFS_TARGET'
    -host: 'localhost'
    -port: '8025'
    -user: 'hdfs_user'
    -password: 'hdfs_password'
    -createTunnel: 'true'
    -localPort: '8025'
    -remoteHost: 'hdfs_address'
    -remotePort: 'hdfs_port'
/

在前面的例子中，替換 hdfs_user 以及 hdfs_password HDFS使用您的使用者名稱和此使用者的密碼。

接下來，更換 hdfs_address 以及 hdfs_port 使用目標HDFS服務的私有 IP 位址和連接埠。 NameNode

儲存您的CLI指令碼。接下來，新增對應規則和移轉指令。如需詳細資訊，請參閱移轉 Hadoop 工作負載。