翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon Redshift integration for Apache Spark による認証

使用アイテム AWS Secrets Manager 認証情報を取得して Amazon Redshift に接続するには

Secrets Manager に認証情報を保存して Amazon Redshift に対して安全に認証し、Spark ジョブで GetSecretValueAPIを呼び出して取得できます。

from pyspark.sql import SQLContextimport boto3

sc = # existing SparkContext
sql_context = SQLContext(sc)

secretsmanager_client = boto3.client('secretsmanager', region_name=os.getenv('AWS_REGION'))
secret_manager_response = secretsmanager_client.get_secret_value(
    SecretId='string',
    VersionId='string',
    VersionStage='string'
)
username = # get username from secret_manager_response
password = # get password from secret_manager_response
url = "jdbc:redshift://redshifthost:5439/database?user=" + username + "&password=" + password

# Access to Redshift cluster using Spark
            

JDBC ドライバーを使用して Amazon Redshift を認証する

内でユーザー名とパスワードを設定する JDBC URL

で Amazon Redshift データベースの名前とパスワードを指定することで、Amazon Redshift クラスターに対して Spark ジョブを認証できますJDBCURL。

セキュリティがアプリケーションにとって問題でない場合は、次の形式を使用して、 JDBC でユーザー名とパスワードを設定できますURL。

jdbc:redshift://redshifthost:5439/database?user=username&password=password

Amazon EMR Serverless ジョブ実行ロールで IAM ベースの認証を使用する

Amazon EMR Serverless リリース 6.9.0 以降、Amazon Redshift JDBCドライバー 2.1 以降は環境にパッケージ化されています。JDBC ドライバー 2.1 以降では、raw ユーザー名とパスワードを含めJDBCURLずに を指定できます。

代わりに、jdbc:redshift:iam:// スキームを指定できます。これにより、EMRサーバーレスジョブ実行ロールを使用して認証情報を自動的に取得するようにJDBCドライバーに指示します。詳細については、「Amazon Redshift 管理ガイド」のIAM「認証情報を使用するように JDBCまたは ODBC接続を設定する」を参照してください。 その例URLを次に示します。

jdbc:redshift:iam://examplecluster.abc123xyz789.us-west-2.redshift.amazonaws.com:5439/dev

指定された条件が満たされた場合、ジョブ実行ロールには次のアクセス許可が必要です。

別の 内の Amazon Redshift への接続 VPC

でプロビジョニングされた Amazon Redshift クラスターまたは Amazon Redshift Serverless ワークグループを設定するときはVPC、Amazon EMR Serverless アプリケーションが リソースにアクセスするようにVPC接続を設定する必要があります。EMR Serverless アプリケーションでVPC接続を設定する方法の詳細については、「」を参照してくださいVPC アクセスの設定。