As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Autenticação com a integração do Amazon Redshift para Apache Spark

Use o AWS Secrets Manager para recuperar credenciais e conectar-se ao Amazon Redshift

Você pode se autenticar com segurança no Amazon Redshift armazenando as credenciais no Secrets Manager e fazer com que o trabalho do Spark chame a API GetSecretValue para buscá-la:

from pyspark.sql import SQLContextimport boto3

sc = # existing SparkContext
sql_context = SQLContext(sc)

secretsmanager_client = boto3.client('secretsmanager', region_name=os.getenv('AWS_REGION'))
secret_manager_response = secretsmanager_client.get_secret_value(
    SecretId='string',
    VersionId='string',
    VersionStage='string'
)
username = # get username from secret_manager_response
password = # get password from secret_manager_response
url = "jdbc:redshift://redshifthost:5439/database?user=" + username + "&password=" + password

# Access to Redshift cluster using Spark
            

Autenticação no Amazon Redshift com um driver JDBC

Definição de um nome de usuário e de uma senha no URL do JDBC

Você pode autenticar um trabalho do Spark em um cluster do Amazon Redshift especificando o nome e a senha do banco de dados do Amazon Redshift no URL do JDBC.

Se a segurança não for uma preocupação para sua aplicação, você poderá usar o seguinte formato para definir o nome de usuário e a senha no URL do JDBC:

jdbc:redshift://redshifthost:5439/database?user=username&password=password

Uso da autenticação baseada no IAM com o perfil de execução de trabalho do Amazon EMR Sem Servidor

A partir da versão 6.9.0 do Amazon EMR Sem Servidor, a versão 2.1 ou superior do driver JDBC do Amazon Redshift é empacotada no ambiente. Com a versão 2.1 e versões superiores do driver JDBC, é possível especificar o URL do JDBC e não incluir o nome de usuário e a senha brutos.

Em vez disso, você pode especificar o esquema jdbc:redshift:iam://. Isso comanda o driver JDBC para usar o perfil de execução de trabalho do EMR Sem Servidor para buscar as credenciais automaticamente. Consulte Configurar uma conexão JDBC ou ODBC para usar credenciais do IAM no Guia de gerenciamento do Amazon Redshift para obter mais informações. Um exemplo desse URL é:

jdbc:redshift:iam://examplecluster.abc123xyz789.us-west-2.redshift.amazonaws.com:5439/dev

As seguintes permissões são obrigatórias para o perfil de execução do trabalho quando ele atende às condições fornecidas:

Como se conectar ao Amazon Redshift em uma VPC diferente

Ao definir um cluster provisionado do Amazon Redshift ou um grupo de trabalho do Amazon Redshift Sem Servidor em uma VPC, você deve configurar a conectividade da VPC para que a aplicação do Amazon EMR Sem Servidor acesse os recursos. Para obter mais informações sobre como configurar a conectividade da VPC em uma aplicação do EMR Sem Servidor, consulte Configurando o VPC acesso para aplicativos EMR sem servidor para se conectar aos dados.