As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Acessando dados do S3 em outra AWS conta do EMR Serverless
Você pode executar trabalhos sem servidor do Amazon EMR em uma AWS conta e configurá-los para acessar dados nos buckets do Amazon S3 que pertencem a outra conta. AWS Esta página descreve como configurar o acesso entre contas do S3 no EMR Sem Servidor.
Os trabalhos executados no EMR Serverless podem usar uma política de bucket do S3 ou uma função assumida para acessar dados no Amazon S3 a partir de uma conta diferente. AWS
Pré-requisitos
Para configurar o acesso entre contas para o Amazon EMR Serverless, você deve concluir as tarefas enquanto estiver conectado a duas contas: AWS
-
AccountA
: essa é a conta da AWS na qual você criou uma aplicação do Amazon EMR Sem Servidor. Antes de configurar o acesso entre contas, você deve ter os seguintes itens prontos na conta:-
Uma aplicação do Amazon EMR Sem Servidor em que você deseja executar trabalhos.
-
Um perfil de execução de trabalho que tem as permissões obrigatórias para executar trabalhos na aplicação. Para obter mais informações, consulte Perfis de runtime do trabalho para o Amazon EMR Sem Servidor.
-
-
AccountB
: essa é a conta da AWS que contém o bucket do S3 que você deseja que os trabalhos do Amazon EMR Sem Servidor acessem.
Uso de uma política de bucket do S3 para acessar dados entre contas do S3
Para acessar o bucket do S3 em account B from account A, anexe a seguinte política ao bucket do S3 em account B.
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "Example permissions 1",
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::AccountA
:root"
},
"Action": [
"s3:ListBucket"
],
"Resource": [
"arn:aws:s3:::bucket_name_in_AccountB
"
]
},
{
"Sid": "Example permissions 2",
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::AccountA
:root"
},
"Action": [
"s3:PutObject",
"s3:GetObject",
"s3:DeleteObject"
],
"Resource": [
"arn:aws:s3:::bucket_name_in_AccountB
/*"
]
}
]
}
Para obter mais informações sobre o acesso entre contas do S3 com políticas de bucket do S3, consulte Exemplo 2: Proprietário do bucket concedendo permissões de bucket entre contas no Guia do usuário do Amazon Simple Storage Service.
Uso de um perfil assumido para acessar dados entre contas do S3
Outra forma de configurar o acesso entre contas para o Amazon EMR Serverless é com AssumeRole
a ação do (). AWS Security Token Service AWS STS AWS STS é um serviço web global que permite solicitar credenciais temporárias com privilégios limitados para usuários. Você pode fazer chamadas de API para o EMR Sem Servidor e o Amazon S3 com as credenciais de segurança temporárias criadas com AssumeRole
.
As seguintes etapas ilustram como usar um perfil assumido para acessar dados entre contas do S3 no EMR Sem Servidor:
-
Crie um bucket do Amazon S3,
cross-account-bucket
, naAccountB
. Para obter mais informações, consulte Criar um bucket no Guia do usuário do Amazon Simple Storage Service. Se desejar ter acesso entre contas para o DynamoDB, você também pode criar uma tabela do DynamoDB naAccountB
. Para obter mais informações, consulte Crie uma tabela no DynamoDB no Guia do desenvolvedor do Amazon DynamoDB. -
Crie um perfil do IAM
Cross-Account-Role-B
naAccountB
que possa acessar ocross-account-bucket
.Faça login no AWS Management Console e abra o console do IAM em https://console.aws.amazon.com/iam/
. -
Escolha Perfis e crie um novo perfil:
Cross-Account-Role-B
. Para obter mais informações sobre como criar perfis do IAM, consulte Criar um perfil do IAM no Guia do usuário do IAM. -
Crie uma política do IAM que especifique as permissões para
Cross-Account-Role-B
acessar o bucketcross-account-bucket
do S3, como demonstra a instrução de política a seguir. Em seguida, anexe a política do IAM aoCross-Account-Role-B
. Para obter mais informações, consulte Criar políticas do IAM no Guia do usuário do IAM.
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "s3:*", "Resource": [ "arn:aws:s3:::
cross-account-bucket
", "arn:aws:s3:::cross-account-bucket
/*" ] } ] }Se o acesso ao DynamoDB for necessário, crie uma política do IAM que especifique as permissões de acesso à tabela do DynamoDB entre contas. Em seguida, anexe a política do IAM ao
Cross-Account-Role-B
. Para obter mais informações, consulte Amazon DynamoDB: permite acesso a uma tabela específica no Guia do usuário do IAM.A seguir, é apresentada uma política para permitir acesso à tabela
CrossAccountTable
do DynamoDB.{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "dynamodb:*", "Resource": "arn:aws:dynamodb:MyRegion:
AccountB
:table/CrossAccountTable
" } ] } -
Edite a relação de confiança para o perfil
Cross-Account-Role-B
.-
Para configurar o relacionamento de confiança para o perfil, escolha a guia Relacionamentos de confiança no console do IAM para o perfil
Cross-Account-Role-B
criado na Etapa 2. -
Selecione Editar relação de confiança.
-
Insira o documento de política a seguir. Isso permite que
Job-Execution-Role-A
naAccountA
assuma o perfilCross-Account-Role-B
.{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::
AccountA
:role/Job-Execution-Role-A" }, "Action": "sts:AssumeRole" } ] }
-
-
Job-Execution-Role-A
ConcedaAccountA
a AWS STSAssumeRole
permissão para assumirCross-Account-Role-B
.-
No console do IAM da AWS conta
AccountA
, selecioneJob-Execution-Role-A
. -
Adicione a instrução de política a seguir ao
Job-Execution-Role-A
para permitir a açãoAssumeRole
no perfilCross-Account-Role-B
.{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "sts:AssumeRole", "Resource": "arn:aws:iam::
AccountB
:role/Cross-Account-Role-B" } ] }
-
Exemplos de perfis assumidos
Você pode usar um único perfil assumido para acessar todos os recursos do S3 em uma conta ou, com o Amazon EMR 6.11 e superior, configurar vários perfis do IAM a serem assumidos ao acessar diferentes buckets do S3 entre contas.
Tópicos
Acesso aos recursos do S3 com um perfil assumido
nota
Quando você configura um trabalho para usar um único perfil assumido, todos os recursos do S3 em todo o trabalho usam esse perfil, incluindo o script entryPoint
.
Se você quiser usar um único perfil assumido para acessar todos os recursos do S3 na conta B, especifique as seguintes configurações:
-
Especifique a configuração
fs.s3.customAWSCredentialsProvider
do EMRFS paraspark.hadoop.fs.s3.customAWSCredentialsProvider=com.amazonaws.emr.AssumeRoleAWSCredentialsProvider
. -
No Spark, use
spark.emr-serverless.driverEnv.ASSUME_ROLE_CREDENTIALS_ROLE_ARN
espark.executorEnv.ASSUME_ROLE_CREDENTIALS_ROLE_ARN
para especificar as variáveis de ambiente no driver e nos executores. -
No Hive, use
hive.emr-serverless.launch.env.ASSUME_ROLE_CREDENTIALS_ROLE_ARN
,tez.am.emr-serverless.launch.env.ASSUME_ROLE_CREDENTIALS_ROLE_ARN
etez.task.emr-serverless.launch.env.ASSUME_ROLE_CREDENTIALS_ROLE_ARN
para especificar as variáveis de ambiente no driver do Hive, no mestre de aplicação do Tez e nos contêineres de tarefas do Tez.
Os exemplos a seguir mostram como usar um perfil assumido para iniciar uma execução de trabalho do EMR Sem Servidor com acesso entre contas.
O exemplo a seguir mostra como usar um perfil assumido para iniciar a execução de um trabalho do Spark no EMR Sem Servidor com acesso entre contas ao S3.
aws emr-serverless start-job-run \
--application-id application-id \
--execution-role-arn job-role-arn \
--job-driver '{
"sparkSubmit": {
"entryPoint": "entrypoint_location
",
"entryPointArguments": [":argument_1
:", ":argument_2
:"],
"sparkSubmitParameters": "--conf spark.executor.cores=4 --conf spark.executor.memory=20g --conf spark.driver.cores=4 --conf spark.driver.memory=8g --conf spark.executor.instances=1"
}
}' \
--configuration-overrides '{
"applicationConfiguration": [{
"classification": "spark-defaults",
"properties": {
"spark.hadoop.fs.s3.customAWSCredentialsProvider": "spark.hadoop.fs.s3.customAWSCredentialsProvider=com.amazonaws.emr.AssumeRoleAWSCredentialsProvider",
"spark.emr-serverless.driverEnv.ASSUME_ROLE_CREDENTIALS_ROLE_ARN": "arn:aws:iam::AccountB
:role/Cross-Account-Role-B",
"spark.executorEnv.ASSUME_ROLE_CREDENTIALS_ROLE_ARN": "arn:aws:iam::AccountB
:role/Cross-Account-Role-B"
}
}]
}'
Acesso a recursos do S3 com vários perfis assumidos
Com o EMR Sem Servidor nas versões 6.11.0 e posteriores, você pode configurar vários perfis do IAM a serem assumidos ao acessar diferentes buckets entre contas. Se você quiser acessar diferentes recursos do S3 com diferentes perfis assumidos na conta B, use as seguintes configurações ao iniciar a execução do trabalho:
-
Especifique a configuração
fs.s3.customAWSCredentialsProvider
do EMRFS paracom.amazonaws.emr.serverless.credentialsprovider.BucketLevelAssumeRoleCredentialsProvider
. -
Especifique a configuração
fs.s3.bucketLevelAssumeRoleMapping
do EMRFS para definir o mapeamento do nome do bucket do S3 para o perfil do IAM na conta B a ser assumido. O valor deve estar no formato debucket1->role1;bucket2->role2
.
Por exemplo, você pode usar arn:aws:iam::
para acessar o bucket AccountB
:role/Cross-Account-Role-B-1bucket1
e arn:aws:iam::
para acessar o bucket AccountB
:role/Cross-Account-Role-B-2bucket2
. Os exemplos a seguir mostram como iniciar uma execução de trabalho do EMR Sem Servidor com acesso entre contas por meio de vários perfis assumidos.
O exemplo a seguir mostra como usar vários perfis assumidos para criar uma execução de trabalho do Spark no EMR Sem Servidor.
aws emr-serverless start-job-run \
--application-id application-id \
--execution-role-arn job-role-arn \
--job-driver '{
"sparkSubmit": {
"entryPoint": "entrypoint_location
",
"entryPointArguments": [":argument_1
:", ":argument_2
:"],
"sparkSubmitParameters": "--conf spark.executor.cores=4 --conf spark.executor.memory=20g --conf spark.driver.cores=4 --conf spark.driver.memory=8g --conf spark.executor.instances=1"
}
}' \
--configuration-overrides '{
"applicationConfiguration": [{
"classification": "spark-defaults",
"properties": {
"spark.hadoop.fs.s3.customAWSCredentialsProvider": "com.amazonaws.emr.serverless.credentialsprovider.BucketLevelAssumeRoleCredentialsProvider",
"spark.hadoop.fs.s3.bucketLevelAssumeRoleMapping": "bucket1->arn:aws:iam::AccountB
:role/Cross-Account-Role-B-1;bucket2->arn:aws:iam::AccountB
:role/Cross-Account-Role-B-2"
}
}]
}'