Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Configuration du réseau pour le développement de AWS Glue
Pour exécuter vos scripts ETL (extraction, transformation et chargement) avec AWS Glue, vous pouvez parfois développer et tester vos scripts à l'aide d'un point de terminaison de développement. Les points de terminaison de développement ne sont pas pris en charge pour une utilisation avec les tâches AWS Glue version 2.0. Pour les versions 2.0 et ultérieures, la méthode de développement préférée consiste à utiliser Jupyter Notebook avec l'un des noyaux AWS Glue. Pour de plus amples informations, veuillez consulter Démarrage avec AWS Glue séances interactives.
Configuration de votre réseau pour un point de terminaison de développement
Lorsque vous configurez un point de terminaison de développement, vous spécifiez un cloud privé virtuel (VPC), un sous-réseau et des groupes de sécurité.
Note
Veillez à configurer votre environnement DNS pour AWS Glue. Pour de plus amples informations, veuillez consulter Configuration du DNS de votre VPC.
Pour permettre à AWS Glue d'accéder aux ressources nécessaires, ajoutez une ligne dans votre table de routage de sous-réseau pour associer une liste de préfixes pour Amazon S3 au point de terminaison d'un VPC. Un ID de liste de préfixe est requis pour créer une règle de groupe de sécurité sortant qui autorise le trafic en provenance d'un VPC à accéder à un service AWS par le biais d'un point de terminaison d'un VPC. Pour faciliter la connexion à un serveur de bloc-notes associé à ce point de terminaison de développement, à partir de votre ordinateur local, ajoutez une ligne dans la table de routage pour ajouter un ID de passerelle Internet. Pour plus d'informations, consultez la page Points de terminaison d'un VPC. Mettez à jour la table de routage du sous-réseau de sorte qu'elle soit similaire à la table suivante :
| Destination | Cible |
|---|---|
10.0.0.0/16 |
locale |
pl-id pour Amazon S3 |
vpce-id |
0.0.0.0/0 |
igw-xxxx |
Pour permettre à AWS Glue de communiquer entre ses composants, spécifiez un groupe de sécurité avec une règle entrante avec référence circulaire pour tous les ports TCP. En créant une règle avec référence circulaire, vous pouvez restreindre la source au même groupe de sécurité dans le VPC et ainsi, ne pas l'ouvrir à tous les réseaux. Le groupe de sécurité par défaut pour votre VPC peut déjà avoir une règle entrante avec référence circulaire pour ALL Traffic.
Pour configurer un groupe de sécurité
Connectez-vous à la AWS Management Console et ouvrez la console Amazon EC2 à l'adresse https://console.aws.amazon.com/ec2/
. -
Dans le volet de navigation de gauche, sélectionnez Security Groups.
-
Sélectionnez un groupe de sécurité existant dans la liste, ou choisissez Create Security Group (Créer un groupe de sécurité) pour définir le groupe de sécurité à utiliser avec le point de terminaison de développement.
-
Dans le volet du groupe de sécurité, accédez à l'onglet Inbound (Entrant).
-
Ajoutez une règle avec référence circulaire afin de permettre aux composants AWS Glue de communiquer. Plus spécifiquement, ajoutez ou confirmez qu'il existe une règle Type
All TCP, que Protocol (Protocole) estTCP, que Port Range (Plage de ports) comprend tous les ports et que la valeur de Source est le même nom de groupe de sécurité que la valeur de Group ID (ID du groupe).La règle entrante ressemble à ce qui suit :
Type Protocole Plage de ports Source Tous les TCP
TCP
0-65535
security-groupL'exemple suivant présente une règle entrante avec référence circulaire :
-
Ajoutez également une règle pour le trafic sortant. Ouvrez le trafic sortant pour tous les ports ou créez une règle avec référence circulaire de Type
All TCP, de Protocol (Protocole)TCP, dont la valeur Port Range (Plage de ports) comprend tous les ports et que la valeur de Source est le même nom de groupe de sécurité que la valeur de Group ID (ID du groupe).La règle sortante ressemble à l'une de ces règles :
Type Protocole Plage de ports Destination Tous les TCP
TCP
0-65535
security-groupTout le trafic
ALL
ALL
0.0.0.0/0
Configuration d'Amazon EC2 pour un serveur de bloc-notes
Un point de terminaison de développement permet de créer un serveur de bloc-notes pour tester vos scripts ETL avec les blocs-notes Jupyter. Pour activer la communication avec votre bloc-notes, spécifiez un groupe de sécurité avec des règles entrantes pour HTTPS (port 443) et SSH (port 22). Assurez-vous que la source de la règle est 0.0.0.0/0 ou l'adresse IP de la machine qui se connecte au bloc-notes.
Pour configurer un groupe de sécurité
Connectez-vous à la AWS Management Console et ouvrez la console Amazon EC2 à l'adresse https://console.aws.amazon.com/ec2/
. -
Dans le volet de navigation de gauche, sélectionnez Security Groups.
-
Sélectionnez un groupe de sécurité existant dans la liste, ou choisissez Create Security Group (Créer un groupe de sécurité) pour définir le groupe de sécurité à utiliser avec votre serveur de bloc-notes. Le groupe de sécurité associé à votre point de terminaison de développement est également utilisé pour créer votre serveur de bloc-notes.
-
Dans le volet du groupe de sécurité, accédez à l'onglet Inbound (Entrant).
-
Ajoutez des règles entrantes semblables à ce qui suit :
Type Protocole Plage de ports Source SSH
TCP
22
0.0.0.0/0
HTTPS
TCP
443
0.0.0.0/0
L'image suivante présente un exemple de règles entrantes pour le groupe de sécurité :
