を使用した Apache Hadoop データベースへの接続 AWS Schema Conversion Tool

新しい AWS SCT CLIスクリプトを作成するか、既存のシナリオテンプレートを編集します。例えば、HadoopMigrationTemplate.scts テンプレートをダウンロードして編集できます。詳細については、「CLI シナリオの取得」を参照してください。

ドライバーの場所やログフォルダなどの AWS SCT アプリケーション設定を行います。

必要なJDBCドライバーをダウンロードし、ファイルを保存する場所を指定します。詳細については、「のJDBCドライバーのインストール AWS Schema Conversion Tool」を参照してください。

次のコード例では、Apache Hive ドライバーにパスを追加する方法を示します。このコード例を実行すると、 はログファイルを c:\sctフォルダに AWS SCT 保存します。

SetGlobalSettings
    -save: 'true'
    -settings: '{
        "hive_driver_file": "c:\\sct\\HiveJDBC42.jar",
        "log_folder": "c:\\sct",
        "console_log_folder": "c:\\sct"
    }'
/

Windows では、この例と以下の例を使用できます。

新しい AWS SCT プロジェクトを作成します。

次のコード例では、c:\sct フォルダに hadoop_emr プロジェクトを作成します。

CreateProject
    -name: 'hadoop_emr'
    -directory: 'c:\sct'
/

ソース Hadoop クラスターをプロジェクトに追加します。

AddSourceCluster コマンドを使用して、ソース Hadoop クラスターに接続します。name、host、port、user の必須パラメータには必ず値を指定してください。その他のパラメータは省略可能です。

次のコード例では、ソース Hadoop クラスターを追加します。この例では、HADOOP_SOURCE をソースクラスターの名前として設定しています。このオブジェクト名を使用して Hive と HDFS サービスをプロジェクトに追加し、マッピングルールを作成します。

AddSourceCluster
    -name: 'HADOOP_SOURCE'
    -vendor: 'HADOOP'
    -host: 'hadoop_address'
    -port: '22'
    -user: 'hadoop_user'
    -password: 'hadoop_password'
    -useSSL: 'true'
    -privateKeyPath: 'c:\path\name.pem'
    -passPhrase: 'hadoop_passphrase'
/

前の例では、hadoop_address Hadoop クラスターの IP アドレスを指定します。必要に応じて port オプションの値を設定します。次に、hadoop_user また、hadoop_password Hadoop ユーザーの名前とこのユーザーのパスワードを入力します。[ path\nameで、ソース Hadoop クラスターの PEM ファイルの名前とパスを入力します。

CLI スクリプトを保存します。次に、Hive および HDFSサービスの接続情報を追加します。

ソース Hadoop クラスターの接続情報を含むCLIスクリプトを開きます。前のステップで定義した Hadoop クラスターの名前を使用してください。

ソース Hive サービスをプロジェクトに追加します。

AddSourceClusterHive コマンドを使用してソース Hive サービスを接続します。user、password、cluster、name、port の必須パラメータには必ず値を指定してください。その他のパラメータは省略可能です。

次のコード例では、 が Hive サービスと連携 AWS SCT するためのトンネルを作成します。このソース Hive サービスは AWS SCTと同じ PC 上で動作します。この例では、前の例の HADOOP_SOURCE ソースクラスターを使用しています。

AddSourceClusterHive
    -cluster: 'HADOOP_SOURCE'
    -name: 'HIVE_SOURCE'
    -host: 'localhost'
    -port: '10005'
    -user: 'hive_user'
    -password: 'hive_password'
    -createTunnel: 'true'
    -localPort: '10005'
    -remoteHost: 'hive_remote_address'
    -remotePort: 'hive_port'
/

次のコード例は、トンネルなしで Hive サービスに接続します。

AddSourceClusterHive
    -cluster: 'HADOOP_SOURCE'
    -name: 'HIVE_SOURCE'
    -host: 'hive_address'
    -port: 'hive_port'
    -user: 'hive_user'
    -password: 'hive_password'
/

上記の例では、hive_user また、hive_password Hive ユーザーの名前とこのユーザーのパスワードを入力します。

次に、hive_address また、hive_port ソース Hadoop クラスターの NameNode IP アドレスとポートを指定します。

[ hive_remote_addressでは、ソース Hive サービスのデフォルト値127.0.0.1または NameNode IP アドレスを使用できます。

ソースHDFSサービスをプロジェクトに追加します。

AddSourceClusterHDFS コマンドを使用してソースHDFSサービスを接続します。user、password、cluster、name、port の必須パラメータには必ず値を指定してください。その他のパラメータは省略可能です。

ソースHDFSサービスからデータを移行するために必要なアクセス許可がユーザーに付与されていることを確認します。詳細については、「ソースとして Hive を使用する権限」を参照してください。

次のコード例では、 が Apache HDFSサービスと連携 AWS SCT するためのトンネルを作成します。この例では、前に作成した HADOOP_SOURCE ソースクラスターを使用しています。

AddSourceClusterHDFS
    -cluster: 'HADOOP_SOURCE'
    -name: 'HDFS_SOURCE'
    -host: 'localhost'
    -port: '9005'
    -user: 'hdfs_user'
    -password: 'hdfs_password'
    -createTunnel: 'true'
    -localPort: '9005'
    -remoteHost: 'hdfs_remote_address'
    -remotePort: 'hdfs_port'
/

次のコードは、トンネルなしで Apache HDFSサービスに接続します。

AddSourceClusterHDFS
    -cluster: 'HADOOP_SOURCE'
    -name: 'HDFS_SOURCE'
    -host: 'hdfs_address'
    -port: 'hdfs_port'
    -user: 'hdfs_user'
    -password: 'hdfs_password'
/

上記の例では、hdfs_user また、hdfs_password ユーザーの名前HDFSとこのユーザーのパスワードを入力します。

次に、hdfs_address また、hdfs_port ソース Hadoop クラスターの NameNode IP アドレスとポートを指定します。

[ hdfs_remote_addressでは、ソース Hive サービスのデフォルト値127.0.0.1または NameNode IP アドレスを使用できます。

CLI スクリプトを保存します。次に、ターゲット Amazon EMRクラスターの接続情報と移行コマンドを追加します。

ソース Hadoop クラスターの接続情報を含むCLIスクリプトを開きます。ターゲットの Amazon EMR認証情報をこのファイルに追加します。

ターゲット Amazon EMRクラスターをプロジェクトに追加します。

次のコード例では、ターゲット Amazon EMRクラスターを追加します。この例では、HADOOP_TARGET をターゲットクラスターの名前として設定します。このオブジェクト名を使用して、Hive と HDFSのサービス、および Amazon S3、バケットフォルダをプロジェクトに追加し、マッピングルールを作成します。

AddTargetCluster
	-name: 'HADOOP_TARGET'
	-vendor: 'AMAZON_EMR'
	-host: 'ec2-44-44-55-66.eu-west-1.EXAMPLE.amazonaws.com'
	-port: '22'
	-user: 'emr_user'
	-password: 'emr_password'
	-useSSL: 'true'
	-privateKeyPath: 'c:\path\name.pem'
	-passPhrase: '1234567890abcdef0!'
	-s3Name: 'S3_TARGET'
	-accessKey: 'AKIAIOSFODNN7EXAMPLE'
	-secretKey: 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY'
	-region: 'eu-west-1'
	-s3Path: 'doc-example-bucket/example-folder'
/

前の例では、 AWS リソース名と Amazon EMR接続情報を入力します。これには、Amazon EMRクラスターの IP アドレス、 AWS アクセスキー、 AWS シークレットアクセスキー、Amazon S3 バケットが含まれます。必要に応じて、ポート変数の値を設定します。次に、emr_user また、emr_password Amazon EMR ユーザーの名前とこのユーザーのパスワードを入力します。[ path\name、ターゲット Amazon EMRクラスターの PEM ファイルの名前とパスを入力します。詳細については、「クラスターアクセス用のPEMファイルのダウンロードEMR」を参照してください。

ターゲット Amazon S3 バケットをプロジェクトに追加します。

次のコード例では、ターゲットの Amazon S3 バケットを追加します。この例では、前に作成した HADOOP_TARGET クラスターを使用しています。

AddTargetClusterS3
	-cluster: 'HADOOP_TARGET'
	-Name: 'S3_TARGET'
	-accessKey: 'AKIAIOSFODNN7EXAMPLE'
	-secretKey: 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY'
	-region: 'eu-west-1'
	-s3Path: 'doc-example-bucket/example-folder'
/

前の例では、 AWS アクセスキー、 AWS シークレットアクセスキー、および Amazon S3 バケットを入力します。

ターゲットの Hive サービスをプロジェクトに追加します。

次のコード例では、 がターゲット Hive サービスと連携 AWS SCT するためのトンネルを作成します。この例では、前に作成した HADOOP_TARGET ターゲットクラスターを使用しています。

AddTargetClusterHive
    -cluster: 'HADOOP_TARGET'
    -name: 'HIVE_TARGET'
    -host: 'localhost'
    -port: '10006'
    -user: 'hive_user'
    -password: 'hive_password'
    -createTunnel: 'true'
    -localPort: '10006'
    -remoteHost: 'hive_address'
    -remotePort: 'hive_port'
/

前の例では、hive_user また、hive_password Hive ユーザーの名前とこのユーザーのパスワードを入力します。

次に、hive_address をデフォルト値に、127.0.0.1またはターゲット Hive サービスの NameNode IP アドレスに。次に、hive_port をターゲット Hive サービスのポートで使用します。

ターゲットHDFSサービスをプロジェクトに追加します。

次のコード例では、 が Apache HDFSサービスと連携 AWS SCT するためのトンネルを作成します。この例では、前に作成した HADOOP_TARGET ターゲットクラスターを使用しています。

AddTargetClusterHDFS
    -cluster: 'HADOOP_TARGET'
    -name: 'HDFS_TARGET'
    -host: 'localhost'
    -port: '8025'
    -user: 'hdfs_user'
    -password: 'hdfs_password'
    -createTunnel: 'true'
    -localPort: '8025'
    -remoteHost: 'hdfs_address'
    -remotePort: 'hdfs_port'
/

前の例では、hdfs_user また、hdfs_password ユーザーの名前HDFSとこのユーザーのパスワードを入力します。

次に、hdfs_address また、hdfs_port ターゲットHDFSサービスの のプライベート IP アドレスとポート NameNode 。

CLI スクリプトを保存します。次に、マッピングルールと移行コマンドを追加します。詳細については、「Hadoop ワークロードの移行」を参照してください。