Démarrage rapide : interroger des données dans Amazon S3

Configuration de l'emplacement des résultats d'une requête

1. Accédez à la console Athena :. https://console.aws.amazon.com/athena/

2. Dans le menu de gauche, sélectionnez Groupes de travail.

3. Suivez le lien du primary groupe de travail et choisissez Modifier.

4. Dans la section Configuration des résultats de la requête, entrez le chemin Amazon S3 pour votre répertoire de sortie, puis choisissez Enregistrer les modifications.

Créez une source de données Athena pour vos données Amazon S3

1. Dans le menu de gauche de la console Athena, choisissez Sources de données, puis Créer une source de données.

2. Choisissez S3 - Catalogue AWS Glue de données, puis Next.

3. Laissez le catalogue de AWS Glue données par défaut dans ce compte, choisissez Create a crawler in AWS Glue puis Create in AWS Glue. Cela ouvre la AWS Glue console.

AWS Glue À utiliser pour explorer votre source de données

1. Entrez un nom et une description pour votre nouveau robot d'exploration, puis choisissez Next.

2. Sous Sources de données, choisissez Ajouter une source de données.

   1. Si le compartiment Amazon Amazon S3 contenant vos données se trouve dans un AWS compte différent de celui de votre SageMaker environnement, choisissez Dans un autre compte pour l'emplacement des données S3.

   2. Entrez le chemin d'accès à votre ensemble de données dans Amazon S3. Par exemple :

      s3://dsoaws/nyc-taxi-orig-cleaned-split-parquet-per-year-multiple-files/ride-info/year=2019/

   3. Conservez toutes les autres valeurs par défaut, puis choisissez Ajouter une source de données Amazon S3. Vous devriez voir une nouvelle source de données Amazon S3 dans le tableau des sources de données.

   4. Choisissez Suivant.

3. Configurez le IAM rôle du robot d'exploration pour accéder à vos données.

   Note

   Chaque rôle est limité à la source de données que vous spécifiez. Lorsque vous réutilisez un rôle, modifiez la JSON politique pour ajouter toute nouvelle ressource à laquelle vous souhaitez accorder l'accès ou créez un nouveau rôle pour cette source de données.

   1. Choisissez Créer un nouveau IAM rôle.

   2. Entrez le nom du rôle, puis choisissez Next.

Créez ou sélectionnez une base de données pour vos tables

1. Si vous n'avez pas de base de données existante dans Athena, choisissez Ajouter une base de données, puis Créer une nouvelle base de données.

2. Pour revenir à l'onglet de création de votre robot d'exploration précédent, dans Configuration de sortie, cliquez sur le bouton Actualiser. Vous devriez maintenant voir la base de données que vous venez de créer dans la liste.

3. Sélectionnez votre base de données, ajoutez un préfixe facultatif dans le préfixe du nom de table, puis choisissez Next.

   Note

   Dans l'exemple précédent où se trouvent vos donnéess3://dsoaws/nyc-taxi-orig-cleaned-split-parquet-per-year-multiple-files/ride-info/year=2019/, l'ajout du préfixe taxi-ride- créera une table nomméetaxi-ride-year_2019. L'ajout d'un préfixe permet d'éviter les collisions de noms de table lorsque plusieurs emplacements de données ont des dossiers portant le même nom.

Choisissez Create crawler.

Lancez votre robot d'exploration pour indexer vos données. Attendez que le robot d'exploration atteigne un Completed statut, ce qui peut prendre quelques minutes.

Récupérez le ARN rôle d'exécution associé à votre profil utilisateur

1. Accédez à la SageMaker console https://console.aws.amazon.com/sagemaker/et choisissez Domaines dans le menu de gauche.

2. Suivez le nom de votre nom de domaine.

3. Dans la liste des profils utilisateur, suivez le nom de votre profil utilisateur.

4. Sur la page Détails de l'utilisateur, copiez le ARN rôle d'exécution.

Mettez à jour la politique de votre rôle d'exécution

1. Trouvez votre AWS région et votre numéro de compte en haut à droite de la SageMaker console. Utilisez ces valeurs et le nom de votre base de données pour mettre à jour les espaces réservés dans la JSON politique suivante dans un éditeur de texte.

   {
   	"Version": "2012-10-17",
   	"Statement": [
   		{
   			"Sid": "GetS3AndDataSourcesMetadata",
   			"Effect": "Allow",
   			"Action": [
   				"glue:GetDatabases",
   				"glue:GetSchema",
   				"glue:GetTables",
   				"s3:ListBucket",
   				"s3:GetObject",
   				"s3:GetBucketLocation",
   				"glue:GetDatabase",
   				"glue:GetTable",
   				"glue:ListSchemas",
   				"glue:GetPartitions"
   			],
   			"Resource": [
   				"arn:aws:s3:::*",
   				"arn:aws:glue:region:account-id:catalog",
   				"arn:aws:glue:region:account-id:database/db-name"
   			]
   		},
   		{
   			"Sid": "ExecuteAthenaQueries",
   			"Effect": "Allow",
   			"Action": [
   				"athena:ListDataCatalogs",
   				"athena:ListDatabases",
   				"athena:ListTableMetadata",
   				"athena:StartQueryExecution",
   				"athena:GetQueryExecution",
   				"athena:RunQuery",
   				"athena:StartSession",
   				"athena:GetQueryResults",
   				"athena:ListWorkGroups",
   				"s3:ListMultipartUploadParts",
   				"s3:ListBucket",
   				"s3:GetBucketLocation",
   				"athena:GetDataCatalog",
   				"s3:AbortMultipartUpload",
   				"s3:GetObject",
   				"s3:PutObject",
   				"athena:GetWorkGroup"
   			],
   			"Resource": [
   				"arn:aws:s3:::*"
   			]
   		},
   		{
   			"Sid": "GetGlueConnectionsAndSecrets",
   			"Effect": "Allow",
   			"Action": [
   				"glue:GetConnections",
   				"glue:GetConnection"
   			],
   			"Resource": [
   				"*"
   			]
   		}
   	]
   }

2. Accédez à la IAM console : https://console.aws.amazon.com/iam/et choisissez Rôles dans le menu de gauche.

3. Recherchez votre rôle par nom de rôle.

   Note

   Vous pouvez récupérer le nom d'un rôle d'exécution à partir de son Amazon Resource Name (ARN) en divisant l'élément ARN on '/' et en prenant le dernier élément. Par exemple, dans l'exemple de an suivant ARNarn:aws:iam::112233445566:role/SageMakerStudio-SQLExtension-ExecutionRole, le nom du rôle d'exécution estSageMakerStudio-SQLExtension-ExecutionRole.

4. Suivez le lien correspondant à votre rôle.

5. Dans l'onglet Autorisations, choisissez Ajouter des autorisations puis Créer une politique intégrée.

6. Choisissez le JSON format dans la section Éditeur de politiques.

7. Copiez la politique ci-dessus, puis choisissez Next. Assurez-vous d'avoir remplacé tous les account-idregion-name, et db-name par leurs valeurs.

8. Entrez un nom pour votre politique, puis choisissez Créer une politique.

Accédez à la SageMaker console https://console.aws.amazon.com/sagemaker/et choisissez Studio dans le menu de gauche. À l'aide de votre domaine et de votre profil utilisateur, lancez Studio.

Choisissez l' JupyterLab application.

Si vous n'avez pas créé d'espace pour votre JupyterLab application, choisissez Créer un JupyterLab espace. Entrez un nom pour l'espace, conservez-le comme privé, puis choisissez Créer un espace. Gérez votre espace en utilisant la dernière version de l'image de SageMaker distribution.

Sinon, choisissez Exécuter l'espace sur votre espace pour lancer une JupyterLab application.

Activez la connexion par défaut d'Athena :

1. Dans votre JupyterLab application, accédez au menu Paramètres dans la barre de navigation supérieure et ouvrez le menu de l'éditeur de paramètres.

2. Choisissez Data Discovery.

3. Cochez la case Activer la connexion Athena par défaut.

4. Dans votre JupyterLab application, cliquez sur l'icône de l'SQLextension ( ) dans le volet de navigation de gauche pour ouvrir l'SQLextension.

5. Cliquez sur le bouton Actualiser en bas du panneau de découverte des données. Vous devriez voir un default-athena-connection dans la liste des connexions.

Ouvrez la connexion, default-athena-connection puis AWS DataCatalog.

Accédez à votre base de données et choisissez l'icône à trois points ( ) sur sa droite. Sélectionnez Requête dans le bloc-notes.

Cela remplit automatiquement une cellule du bloc-notes JupyterLab avec la commande %%sm_sql magique appropriée pour se connecter à la source de données. Il ajoute également un exemple de SQL déclaration pour vous aider à commencer à interroger immédiatement.

Vous pouvez affiner davantage la SQL requête à l'aide des fonctionnalités de saisie automatique et de surlignage de l'extension. Consultez SQLfonctionnalités de l'éditeur de l' JupyterLab SQLextension pour plus d'informations sur l'utilisation de l'SQLéditeur d'SQLextension.