Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Connectez-vous à un EMR cluster Amazon depuis votre bloc-notes

Si vous vous connectez à un EMR cluster Amazon depuis votre bloc-notes Jupyter dans Studio, vous devrez peut-être effectuer une configuration supplémentaire. La discussion suivante aborde en particulier deux questions :

Passez des paramètres à votre commande EMR de connexion

Si vous utilisez des images avec les noyaux SparkMagic PySpark et Spark et que vous souhaitez paramétrer votre commande de EMR connexion, indiquez vos paramètres dans le champ Variables d'environnement plutôt que dans le champ Paramètres du formulaire Create Job (dans le menu déroulant Options supplémentaires). Assurez-vous que votre commande de EMR connexion dans le bloc-notes Jupyter transmet ces paramètres en tant que variables d'environnement. Supposons, par exemple, que vous transmettiez cluster-id en tant que variable d'environnement lorsque vous créez votre tâche. Votre commande de EMR connexion doit ressembler à ce qui suit :

%%local
import os

%sm_analytics emr connect —cluster-id {os.getenv('cluster_id')} --auth-type None

Vous avez besoin de cette solution pour répondre aux exigences de Papermill SparkMagic et de Papermill. Pour le contexte d'arrière-plan, le SparkMagic noyau s'attend à ce que la commande %%local magique accompagne toutes les variables locales que vous définissez. Cependant, Papermill ne transmet pas la commande magique %%local avec vos remplacements. Pour contourner cette limitation de Papermill, vous devez fournir vos paramètres sous forme de variables d'environnement dans le champ Environment variables (Variables d'environnement).

Transmettez les informations d'identification utilisateur à votre cluster Amazon authentifié par Kerberos ou HTTP Basic Auth LDAP EMR

Pour établir une connexion sécurisée à un EMR cluster Amazon qui utilise l'authentification Kerberos ou HTTP Basic AuthLDAP, vous utilisez la commande AWS Secrets Manager pour transmettre les informations d'identification utilisateur à votre commande de connexion. Pour plus d'informations sur la création d'un secret Secrets Manager, veuillez consulter Création d'un secret AWS Secrets Manager. Votre secret doit contenir votre nom d'utilisateur et votre mot de passe. Vous transmettez le secret avec l'argument --secrets, comme le montre l'exemple suivant :

%sm_analytics emr connect --cluster-id j_abcde12345 
    --auth Kerberos 
    --secret aws_secret_id_123

Votre administrateur peut définir une politique d'accès flexible à l'aide d'une méthode attribute-based-access-control (ABAC), qui attribue l'accès en fonction de balises spéciales. Vous pouvez configurer un accès flexible afin de créer un secret unique pour tous les utilisateurs du compte ou un secret pour chaque utilisateur. Les exemples de code suivants illustrent ces scénarios :

Créer un secret unique pour tous les utilisateurs du compte

{
    "Version" : "2012-10-17",
    "Statement" : [ 
        {
            "Effect": "Allow",
            "Principal" : {"AWS" : "arn:aws:iam::AWS_ACCOUNT_ID:role/service-role/AmazonSageMaker-ExecutionRole-20190101T012345"},

            "Action" : "secretsmanager:GetSecretValue",
            "Resource" : [  "arn:aws:secretsmanager:us-west-2:AWS_ACCOUNT_ID:secret:aes123-1a2b3c", 
                            "arn:aws:secretsmanager:us-west-2:AWS_ACCOUNT_ID:secret:aes456-4d5e6f", 
                            "arn:aws:secretsmanager:us-west-2:AWS_ACCOUNT_ID:secret:aes789-7g8h9i" ]
        }
    ]
}

Créer un secret différent pour chaque utilisateur

Vous pouvez créer un secret différent pour chaque utilisateur à l'aide de la balise PrincipleTag, comme illustré dans l'exemple suivant :

{
    "Version" : "2012-10-17",
    "Statement" : [ 
        {
            "Effect": "Allow",
            "Principal" : {"AWS" : "arn:aws:iam::AWS_ACCOUNT_ID:role/service-role/AmazonSageMaker-ExecutionRole-20190101T012345"},
            "Condition" : {
                "StringEquals" : {
                    "aws:ResourceTag/user-identity": "${aws:PrincipalTag/user-identity}"
                }
            },
            "Action" : "secretsmanager:GetSecretValue",
            "Resource" : [  "arn:aws:secretsmanager:us-west-2:AWS_ACCOUNT_ID:secret:aes123-1a2b3c", 
                            "arn:aws:secretsmanager:us-west-2:AWS_ACCOUNT_ID:secret:aes456-4d5e6f", 
                            "arn:aws:secretsmanager:us-west-2:AWS_ACCOUNT_ID:secret:aes789-7g8h9i" ]
        }
    ]
}