Como criar uma configuração de segurança com o console do Amazon EMR ou a AWS CLI

Este tópico aborda os procedimentos gerais para criar uma configuração de segurança usando o console do Amazon EMR e a AWS CLI, seguido por uma referência para os parâmetros que compõem a criptografia, a autenticação e os perfis do IAM para EMRFS. Para obter mais informações sobre esses recursos, consulte os tópicos a seguir:

Configurar criptografia de dados

Antes de configurar a criptografia em uma configuração de segurança, crie as chaves e os certificados usados na criptografia. Para ter mais informações, consulte Fornecimento de chaves para criptografia de dados em repouso e Fornecer certificados para criptografia de dados em trânsito com a criptografia do Amazon EMR.

Ao criar uma configuração de segurança, você especifica dois conjuntos de opções de criptografia: a criptografia de dados em repouso e a criptografia de dados em trânsito. As opções de criptografia de dados em repouso incluem o Amazon S3 com EMRFS e a criptografia do disco local. As opções de criptografia em trânsito habilitam os recursos de criptografia de código-fonte aberto para determinados aplicativos que oferecem suporte para Transport Layer Security (TLS). Opções em repouso e opções em trânsito podem ser habilitadas juntas ou separadamente. Para ter mais informações, consulte Criptografia de dados em repouso e em trânsito com o Amazon EMR.

Especificar opções de criptografia usando o console

Escolha as opções em Encryption (Criptografia) de acordo com as diretrizes a seguir.

Especificar opções de criptografia usando a AWS CLI

As seções a seguir usam os exemplos de cenários para ilustrar um JSON --security-configuration bem-formado para configurações e provedores de chaves diferentes, seguido de uma referência dos parâmetros JSON e valores apropriados.

Exemplo de opções de criptografia de dados em trânsito

O exemplo abaixo ilustra o seguinte cenário:

aws emr create-security-configuration --name "MySecConfig" --security-configuration '{
	"EncryptionConfiguration": {
		"EnableInTransitEncryption": true,
		"EnableAtRestEncryption": false,
		"InTransitEncryptionConfiguration": {
			"TLSCertificateConfiguration": {
				"CertificateProviderType": "PEM",
				"S3Object": "s3://MyConfigStore/artifacts/MyCerts.zip"
			}
		}
	}
}'				
				

O exemplo abaixo ilustra o seguinte cenário:

aws emr create-security-configuration --name "MySecConfig" --security-configuration '{
	"EncryptionConfiguration": {
		"EnableInTransitEncryption": true,
		"EnableAtRestEncryption": false,
		"InTransitEncryptionConfiguration": {
			"TLSCertificateConfiguration": {
				"CertificateProviderType": "Custom",
				"S3Object": "s3://MyConfig/artifacts/MyCerts.jar",
				"CertificateProviderClass": "com.mycompany.MyCertProvider"
			}
		}
 	}
}'		

Exemplo de opções de criptografia de dados em repouso

O exemplo abaixo ilustra o seguinte cenário:

aws emr create-security-configuration --name "MySecConfig" --security-configuration '{
	"EncryptionConfiguration": {
		"EnableInTransitEncryption": false,
		"EnableAtRestEncryption": true,
		"AtRestEncryptionConfiguration": {
			"S3EncryptionConfiguration": {
				"EncryptionMode": "SSE-S3"
			},
			"LocalDiskEncryptionConfiguration": {
				"EncryptionKeyProviderType": "AwsKms",
				"AwsKmsKey": "arn:aws:kms:us-east-1:123456789012:key/12345678-1234-1234-1234-123456789012"
			}
		}
 	}
}'				

O exemplo abaixo ilustra o seguinte cenário:

aws emr create-security-configuration --name "MySecConfig" --security-configuration '{
	"EncryptionConfiguration": {
		"EnableInTransitEncryption": true,
		"EnableAtRestEncryption": true,
		"InTransitEncryptionConfiguration": {
			"TLSCertificateConfiguration": {
				"CertificateProviderType": "PEM",
				"S3Object": "arn:aws:s3:::MyConfigStore/artifacts/MyCerts.zip"
			}
		},
		"AtRestEncryptionConfiguration": {
			"S3EncryptionConfiguration": {
				"EncryptionMode": "SSE-KMS",
				"AwsKmsKey": "arn:aws:kms:us-east-1:123456789012:key/12345678-1234-1234-1234-123456789012"
			},
			"LocalDiskEncryptionConfiguration": {
				"EncryptionKeyProviderType": "AwsKms",
				"AwsKmsKey": "arn:aws:kms:us-east-1:123456789012:key/12345678-1234-1234-1234-123456789012"
			}
		}
	}
}'

O exemplo abaixo ilustra o seguinte cenário:

aws emr create-security-configuration --name "MySecConfig" --security-configuration '{
	"EncryptionConfiguration": {
		"EnableInTransitEncryption": true,
		"EnableAtRestEncryption": true,
		"InTransitEncryptionConfiguration": {
			"TLSCertificateConfiguration": {
				"CertificateProviderType": "PEM",
				"S3Object": "s3://MyConfigStore/artifacts/MyCerts.zip"
			}
		},
		"AtRestEncryptionConfiguration": {
			"S3EncryptionConfiguration": {
				"EncryptionMode": "CSE-KMS",
				"AwsKmsKey": "arn:aws:kms:us-east-1:123456789012:key/12345678-1234-1234-1234-123456789012"
			},
			"LocalDiskEncryptionConfiguration": {
				"EncryptionKeyProviderType": "Custom",
				"S3Object": "arn:aws:s3:::artifacts/MyKeyProvider.jar",
				"EncryptionKeyProviderClass": "com.mycompany.MyKeyProvider"
			}
		}
	}
}'

O exemplo abaixo ilustra o seguinte cenário:

aws emr create-security-configuration --name "MySecConfig" --security-configuration '{
	"EncryptionConfiguration": {
		"EnableInTransitEncryption": "true",
		"EnableAtRestEncryption": "true",
		"InTransitEncryptionConfiguration": {
			"TLSCertificateConfiguration": {
				"CertificateProviderType": "Custom",
				"S3Object": "s3://MyConfig/artifacts/MyCerts.jar", 
				"CertificateProviderClass": "com.mycompany.MyCertProvider"
			}
		},
		"AtRestEncryptionConfiguration": {
			"S3EncryptionConfiguration": {
				"EncryptionMode": "CSE-Custom",
				"S3Object": "s3://MyConfig/artifacts/MyCerts.jar", 
				"EncryptionKeyProviderClass": "com.mycompany.MyKeyProvider"
				},
			"LocalDiskEncryptionConfiguration": {
				"EncryptionKeyProviderType": "Custom",
				"S3Object": "s3://MyConfig/artifacts/MyCerts.jar",
				"EncryptionKeyProviderClass": "com.mycompany.MyKeyProvider"
			}
		}
	}
}'

O exemplo abaixo ilustra o seguinte cenário:

aws emr create-security-configuration --name "MySecConfig" --security-configuration '{
  	"EncryptionConfiguration": {
   		"AtRestEncryptionConfiguration": {
      	     	"S3EncryptionConfiguration": {
        			"EncryptionMode": "SSE-KMS",
        			"AwsKmsKey": "arn:aws:kms:us-east-1:123456789012:key/12345678-1234-1234-1234-123456789012",
        			"Overrides": [
         				 {
           				 "BucketName": "amzn-s3-demo-bucket1",
            				"EncryptionMode": "SSE-S3"
          				},
          				{
            				"BucketName": "amzn-s3-demo-bucket2",
           				 "EncryptionMode": "CSE-KMS",
            				"AwsKmsKey": "arn:aws:kms:us-east-1:123456789012:key/12345678-1234-1234-1234-123456789012"
         				 },
         				 {
           				 "BucketName": "amzn-s3-demo-bucket3",
          				  "EncryptionMode": "SSE-KMS",
           				 "AwsKmsKey": "arn:aws:kms:us-east-1:123456789012:key/12345678-1234-1234-1234-123456789012"
          				}
        					]
      							}
   						 	},
   		"EnableInTransitEncryption": false,
    		"EnableAtRestEncryption": true
  }
}'

O exemplo abaixo ilustra o seguinte cenário:

aws emr create-security-configuration --name "MyS3EncryptionConfig" --security-configuration '{
    "EncryptionConfiguration": {
        "EnableInTransitEncryption": false,
        "EnableAtRestEncryption": true,
        "AtRestEncryptionConfiguration": {
            "S3EncryptionConfiguration": {
                "EncryptionMode": "SSE-S3"
            }
        }
     }
}'   

O exemplo abaixo ilustra o seguinte cenário:

aws emr create-security-configuration --name "MyLocalDiskEncryptionConfig" --security-configuration '{
    "EncryptionConfiguration": {
        "EnableInTransitEncryption": false,
        "EnableAtRestEncryption": true,
        "AtRestEncryptionConfiguration": {
            "LocalDiskEncryptionConfiguration": {
                "EncryptionKeyProviderType": "AwsKms",
                "AwsKmsKey": "arn:aws:kms:us-east-1:123456789012:key/12345678-1234-1234-1234-123456789012"
            }
        }
     }
}'  

O exemplo abaixo ilustra o seguinte cenário:

aws emr create-security-configuration --name "MyLocalDiskEncryptionConfig" --security-configuration '{
    "EncryptionConfiguration": {
        "EnableInTransitEncryption": false,
        "EnableAtRestEncryption": true,
        "AtRestEncryptionConfiguration": {
            "LocalDiskEncryptionConfiguration": {
                "EnableEbsEncryption": true,
                "EncryptionKeyProviderType": "AwsKms",
                "AwsKmsKey": "arn:aws:kms:us-east-1:123456789012:key/12345678-1234-1234-1234-123456789012"
            }
        }
     }
}' 

O exemplo abaixo ilustra o seguinte cenário:

O SSE-EMR-WAL é usado na criptografia do EMR WAL

aws emr create-security-configuration --name "MySecConfig" \
    --security-configuration '{
        "EncryptionConfiguration": {
            "EMRWALEncryptionConfiguration":{ },
            "EnableInTransitEncryption":false, "EnableAtRestEncryption":false
        }
    }'

EnableInTransitEncryption e EnableAtRestEncryption ainda podem ser verdadeiros, se quiser habilitar a criptografia relacionada.

O exemplo abaixo ilustra o seguinte cenário:

aws emr create-security-configuration --name "MySecConfig" \
    --security-configuration '{
        "EncryptionConfiguration": {
            "EMRWALEncryptionConfiguration":{
                "AwsKmsKey":"arn:aws:kms:us-east-1:123456789012:key/12345678-1234-1234-1234-123456789012"
                },
            "EnableInTransitEncryption":false, "EnableAtRestEncryption":false
        }
    }'

EnableInTransitEncryption e EnableAtRestEncryption ainda podem ser verdadeiros, se quiser habilitar a criptografia relacionada.

Referência JSON para configurações de criptografia

A tabela a seguir lista os parâmetros JSON para configurações de criptografia e fornece uma descrição dos valores aceitáveis para cada parâmetro.

Configurar a autenticação Kerberos

Uma configuração de segurança com definições Kerberos só pode ser usada por um cluster criado com atributos Kerberos, ou ocorrerá um erro. Para ter mais informações, consulte Usar o Kerberos para autenticação com o Amazon EMR. O Kerberos somente está disponível no Amazon EMR 5.10.0 e versões posteriores.

Especificar configurações do Kerberos usando o console

Escolha opções em Kerberos authentication (Autenticação Kerberos) de acordo com as diretrizes a seguir.

Especificar configurações do Kerberos usando a AWS CLI

A tabela de referência a seguir mostra os parâmetros JSON para configurações do Kerberos em uma configuração de segurança. Para exemplos de configuração, consulte Exemplos de configuração.

Configurar perfis do IAM para solicitações do EMRFS para o Amazon S3

Os perfis do IAM para EMRFS permitem que você forneça diferentes permissões para os dados do EMRFS no Amazon S3. Você cria mapeamentos que especificam um perfil do IAM que é usado para permissões quando uma solicitação de acesso contém um identificador especificado. O identificador pode ser um usuário ou um perfil do Hadoop ou um prefixo do Amazon S3.

Para ter mais informações, consulte Configurar perfis do IAM para solicitações do EMRFS para o Amazon S3.

Especificar perfis do IAM para EMRFS usando a AWS CLI

Veja a seguir um exemplo de trecho JSON para especificar perfis do IAM personalizados para o EMRFS em uma configuração de segurança. Ele demonstra mapeamentos de perfil para os três tipos diferentes de identificadores, seguidos por uma referência de parâmetro.

{
  "AuthorizationConfiguration": {
    "EmrFsConfiguration": {
      "RoleMappings": [{
        "Role": "arn:aws:iam::123456789101:role/allow_EMRFS_access_for_user1",
        "IdentifierType": "User",
        "Identifiers": [ "user1" ]
      },{
        "Role": "arn:aws:iam::123456789101:role/allow_EMRFS_access_to_demo_s3_buckets",
        "IdentifierType": "Prefix",
        "Identifiers": [ "s3://amzn-s3-demo-bucket1/","s3://amzn-s3-demo-bucket2/" ]
      },{
        "Role": "arn:aws:iam::123456789101:role/allow_EMRFS_access_for_AdminGroup",
        "IdentifierType": "Group",
        "Identifiers": [ "AdminGroup" ]
      }]
    }
  }
}

Configurar solicitações de serviço de metadados para instâncias do Amazon EC2

Os metadados da instância são dados sobre sua instância que é possível usar para configurar ou gerenciar a instância em execução. É possível acessar metadados de instância em uma instância em execução usando um dos seguintes métodos:

Enquanto o Amazon EC2 oferece suporte ao IMDSv1 e ao IMDSv2, o Amazon EMR oferece suporte ao IMDSv2 no Amazon EMR 5.23.1, 5.27.1, 5.32 ou versões posteriores e 6.2 ou versões posteriores. Nessas versões, os componentes do Amazon EMR usam o IMDSv2 em todas as chamadas do IMDS. Para chamadas do IMDS no código da aplicação, você pode usar IMDSv1 e IMDSv2 ou configurar o IMDS para usar somente IMDSv2 para segurança adicional. Quando você especifica que o IMDSv2 deve ser usado, o IMDSv1 não funciona mais.

Para obter mais informações, consulte Configurar serviço de metadados de instância no Guia do usuário do Amazon EC2.

Especificar a configuração do serviço de metadados da instância usando a AWS CLI

Veja a seguir um exemplo de trecho do JSON para especificar o serviço de metadados de instância (IMDS) do Amazon EC2 em uma configuração de segurança. O uso de uma configuração de segurança personalizada é opcional.

{
  "InstanceMetadataServiceConfiguration" : {
      "MinimumInstanceMetadataServiceVersion": integer,
      "HttpPutResponseHopLimit": integer
   }
}

Especificar a configuração do serviço de metadados da instância usando o console

É possível configurar o uso do IMDS para um cluster ao iniciá-lo no console do Amazon EMR.

Para obter mais informações, consulte Configurar serviço de metadados de instância no Guia do usuário do Amazon EC2.

Consulte Configure instance details e Configure the instance metadata service no Guia do usuário do Amazon EC2.