Configuration AWS Glue sessions interactives pour Jupyter et AWS Glue Studio blocs-notes

Présentation de Jupyter magics

Les Jupyter magics sont des commandes qui peuvent être exécutées au début d'une cellule ou en tant que corps cellulaire entier. Les magics commencent par % pour les magics linéaires et %% pour les magics cellulaires. Les magics linéaires telles que %region et %connections peuvent être exécutées avec plusieurs magics dans une cellule, ou avec du code inclus à l’intérieur de la cellule, comme dans l'exemple suivant.

%region us-east-2
%connections my_rds_connection
dy_f = glue_context.create_dynamic_frame.from_catalog(database='rds_tables', table_name='sales_table')         
        

Les magics cellulaires doivent utiliser la cellule entière et leur commande peut s'étendre sur plusieurs lignes. Ci-dessous un exemple de %%sql.

%%sql
select * from rds_tables.sales_table
        

Magies soutenues par AWS Glue séances interactives pour Jupyter

Voici des magies que vous pouvez utiliser avec AWS Glue sessions interactives pour les blocs-notes Jupyter.

Sessions Magics (Séances Magics)

Magics pour la sélection des types de tâches

AWS Glue pour Spark config magics

Le magic %%configure est un dictionnaire au format JSON comprenant tous les paramètres de configuration d'une session. Chaque paramètre peut être spécifié ici ou par magies individuelles.

%%tags
{"billing":"Data-Platform", "team":"analytics"}
                      

%status

Session ID: <sessionId>
 Status: READY
 Role: <example-role>
 CreatedOn: 2023-05-26 11:12:17.056000-07:00
 GlueVersion: 3.0
 Job Type: glueetl
 Tags: {'owner':'example-owner', 'team':'analytics', 'billing':'Data-Platform'}
 Worker Type: G.4X
 Number of Workers: 5
 Region: us-west-2
 Applying the following default arguments:
 --glue_kernel_version 0.38.0
 --enable-glue-datacatalog true
 Arguments Passed: ['--glue_kernel_version: 0.38.0', '--enable-glue-datacatalog: true']                
                

%%assume_role
{
  'arn:aws:iam::XXXXXXXXXXXX:role/AWSGlueServiceRole'
}
                

 %%assume_role
{{
    "aws_access_key_id" = "XXXXXXXXXXXX",
    "aws_secret_access_key" = "XXXXXXXXXXXX",
    "aws_session_token" = "XXXXXXXXXXXX"
}}

Arguments du magic cellulaire %%configure

Le magic %%configure est un dictionnaire au format JSON comprenant tous les paramètres de configuration d'une session. Chaque paramètre peut être spécifié ici ou par magies individuelles. Vous trouverez ci-dessous des exemples d'arguments soutenus par le magic cellulaire %%configure. Utilisez le -- préfixe pour les arguments d'exécution spécifiés pour la tâche. Exemple :

%%configure
{
   "--user-jars-first": "true",
   "--enable-glue-datacatalog": "false"
}     
        

Pour de plus amples informations sur les paramètres de la tâche, consultezParamètres des tâches.

Configuration de session

%%configure
{
  "max_retries": "0"
}                      
                          

%%configure
{
  "max_concurrent_runs": "3"
}

Paramètres de session

%%configure
{
  "--enable-spark-ui": "true"
}

%%configure
{
  "--spark-event-logs-path": "s3://path/to/event/logs/"
}                           
                          

%%configure 
{
  "script_location": "s3://new-folder-here"
}                            
                          

%%configure
{
    "--security_configuration": {
"encryption_type": "kms",
"kms_key_id": "YOUR_KMS_KEY_ARN"
}
}
                  

%%configure 
{
  "--job-language": "scala"
}                            
                  

%%configure 
{
  "--class": "className"
}                            
                  

%%configure 
{
  "--user-jars-first": "true"
}                            
                  

%%configure 
{
  "--use-postgres-driver": "true"
}                            
                  

%%configure 
{
  "--extra-files": "s3://path/to/additional/files/"
}                            
                  

%%configure
{
  "--job-bookmark-option": "job-bookmark-enable"
}                            
                  

%%configure 
{
  "--TempDir": "s3://path/to/temp/dir"
}                            
                  

%%configure 
{
  "--enable-s3-parquet-optimized-committer": "false"
}                            
                  

%%configure 
{
  "--enable-rename-algorithm-v2": "true"
}                            
                  

%%configure 
{
  "--enable-glue-datacatalog": "true"
}                            
                  

%%configure 
{
  "--enable-metrics": "true"
}                            
                  

%%configure 
{
  "--enable-continuous-cloudwatch-log": "true"
}                            
                  

%%configure 
{
  "--enable-continuous-log-filter": "true"
}                            
                  

%%configure 
{
  "--continuous-log-stream-prefix": "prefix"
}                            
                  

%%configure 
{
  "--continuous-log-conversionPattern": "pattern"
}                      
                  

%%configure
{
    "--conf": "spark.hadoop.hive.metastore.glue.catalogid=123456789012 --conf hive.metastore.client.factory.class=com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory --conf hive.metastore.schema.verification=false"
}       
        

%%configure 
{
  "timeout": "30"
}

%%configure 
{
  "––enable-auto-scaling": "true"
}

Magies de Spark Jobs (ETLet du streaming)

%connections my_rds_connection
                    dy_f = glue_context.create_dynamic_frame.from_catalog(database='rds_tables', table_name='sales_table')

Magics pour les tâches Ray

Action Magics (Action Magics)

import matplotlib.pyplot as plt

# Set X-axis and Y-axis values
x = [5, 2, 8, 4, 9]
y = [10, 4, 8, 5, 2]
  
# Create a bar chart 
plt.bar(x, y)
  
# Show the plot
%matplot plt      
                

import plotly.express as px
                  
#Create a graphical figure
fig = px.line(x=["a","b","c"], y=[1,3,2], title="sample figure")

#Show the figure
%plotly fig

Désignation des séances

AWS Glue Les séances interactives sont AWS des ressources et nécessitent un nom. Les noms doivent être uniques pour chaque séance et peuvent être restreints par vos IAM administrateurs. Pour de plus amples informations, veuillez consulter Sessions interactives avec IAM. Le noyau Jupyter génère automatiquement des noms de session uniques pour vous. Toutefois, les séances peuvent être nommées manuellement de deux manières :

Un nom de séance est généré comme suit :

Le préfixe des noms de séance vous autorise à reconnaître votre session lorsque vous la répertoriez dans la console AWS CLI ou dans la console.

Spécification d'un IAM rôle pour les séances interactives

Vous devez spécifier un rôle AWS Identity and Access Management (IAM) à utiliser avec AWS Glue ETLcode que vous exécutez avec des sessions interactives.

Le rôle requiert les mêmes IAM autorisations que celles requises pour s'exécuter AWS Glue emplois. Voir Créer un IAM rôle pour AWS Gluepour plus d'informations sur la création d'un rôle pour AWS Glue emplois et séances interactives.

IAMLes rôles peuvent être spécifiés de deux manières :

Configuration des séances avec des profils nommés

AWS Glue Les séances interactives utilisent les mêmes informations d'identification que AWS Command Line Interface ou boto3. Les sessions interactives honorent et fonctionnent avec des profils nommés tels que le AWS CLI trouvé dans ~/.aws/config (Linux ou MacOS) ou %USERPROFILE%\.aws\config (Windows). Pour de plus amples informations, consultez Using named profiles.

Les sessions interactives tirent parti des profils nommés en permettant AWS Glue Le préfixe de fonction du service et d'ID de séance à spécifier dans un profil. Pour configurer un rôle de profil, ajoutez une ligne pour la clé iam_role et/ou session_id_prefix à votre profil nommé comme indiqué ci-dessous. Le session_id_prefix ne nécessite pas de guillemets. Par exemple, si vous souhaitez ajouter un session_id_prefix, saisissez la valeur du session_id_prefix=myprefix.

[default]
region=us-east-1
aws_access_key_id=AKIAIOSFODNN7EXAMPLE 
aws_secret_access_key=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
glue_iam_role=arn:aws:iam::<AccountID>:role/<GlueServiceRole> 
session_id_prefix=<prefix_for_session_names>

[user1] 
region=eu-west-1
aws_access_key_id=AKIAI44QH8DHBEXAMPLE 
aws_secret_access_key=je7MtGbClwBF/2Zp9Utk/h3yCo8nvbEXAMPLEKEY
glue_iam_role=arn:aws:iam::<AccountID>:role/<GlueServiceRoleUser1> 
session_id_prefix=<prefix_for_session_names_for_user1>          
        

Si vous disposez d'une méthode personnalisée pour générer des informations d'identification, vous pouvez également configurer votre profil pour utiliser le paramètre credential_process dans votre fichier ~/.aws/config. Par exemple :

[profile developer]
region=us-east-1
credential_process = "/Users/Dave/generate_my_credentials.sh" --username helen         
        

Vous trouverez plus de détails sur la source d'approvisionnement des informations d'identification via le paramètre credential_process ici : Source d'approvisionnement des informations d'identification avec un processus externe.

Si une région ou iam_role ne sont pas définis dans le profil que vous utilisez, vous devez les spécifier à l'aide des magics %region et %iam_role dans la première cellule que vous exécutez.