Creazione di reti per lo sviluppo per AWS Glue - AWS Glue

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Creazione di reti per lo sviluppo per AWS Glue

Per eseguire gli script di estrazione, trasformazione e caricamento (ETL) con AWS Glue, puoi sviluppare e testare gli script usando un endpoint di sviluppo. Gli endpoint di sviluppo non sono supportati per l'utilizzo con i processi AWS Glue versione 2.0. Per le versioni 2.0 e successive, il metodo di sviluppo preferito è l'utilizzo di Jupyter Notebook con uno dei kernel AWS Glue. Per ulteriori informazioni, consulta Nozioni di base su AWS Glue sessioni interattive.

Impostazione della rete per un endpoint di sviluppo

Quando imposti un endpoint di sviluppo, specifichi un Virtual Private Cloud (VPC), una sottorete e i gruppi di sicurezza.

Nota

Assicurati di configurare l'ambiente DNS per AWS Glue. Per ulteriori informazioni, consulta Configurazione di DNS nel VPC.

Per permettere a AWS Glue di accedere alle risorse necessarie, aggiungi una riga nella tabella di routing della sottorete per associare un elenco di prefissi per Amazon S3 all'endpoint VPC. È necessario un ID elenco prefisso per la creazione di una regola del gruppo di sicurezza in uscita che consenta al traffico da un VPC di accedere a un servizio AWS tramite un endpoint VPC. Per semplificare la connessione a un server notebook associato a questo endpoint di sviluppo, dal computer locale, aggiungi una riga alla tabella di routing per aggiungere un ID Internet Gateway. Per ulteriori informazioni, consulta Endpoint VPC. Aggiorna la tabella di routing della sottorete in modo simile alla tabella seguente:

Destinazione Target

10.0.0.0/16

locale

pl-id per Amazon S3

vpce-id

0.0.0.0/0

igw-xxxx

Per permettere la comunicazione dei componenti di AWS Glue, specifica un gruppo di sicurezza con una regola per il traffico in entrata autoreferenziale per tutte le porte TCP. Creando una regola autoreferenziale, puoi limitare l'origine allo stesso gruppo di sicurezza del VPC senza essere aperta a tutte le reti. Il gruppo di sicurezza predefinito per il tuo VPC potrebbe già avere una regola autoreferenziata in entrata per ALL Traffic.

Per configurare un gruppo di sicurezza
  1. Accedi a AWS Management Console e apri la console Amazon EC2 all'indirizzo https://console.aws.amazon.com/ec2/.

  2. Nel riquadro di navigazione a sinistra, scegli Security Groups (Gruppi di sicurezza).

  3. Scegli un gruppo di sicurezza esistente dall'elenco o Create Security Group (Crea gruppo di sicurezza) da usare con l'endpoint di sviluppo.

  4. Nel riquadro del gruppo di sicurezza, passa alla scheda Inbound (In entrata).

  5. Aggiungi una regola autoreferenziale per permettere ai componenti di AWS Glue di comunicare tra loro. In particolare, aggiungi o verifica che sia presente una regola con Type (Tipo) All TCP, Protocol (Protocollo) TCP, Port Range (Intervallo porte) che include tutte le porte e Source (Origine) corrispondente al nome del gruppo di sicurezza indicato da Group ID (ID gruppo).

    La regola in entrata è simile alla seguente:

    Type (Tipo) Protocollo Intervallo porte Origine

    Tutte le regole TCP

    TCP

    0–65535

    security-group

    Il seguente è un esempio di regola in entrata autoreferenziale:

    Immagine che mostra un esempio di regola per il traffico in entrata autoreferenziale.
  6. Aggiungi una regola anche per il traffico in uscita. Apri il traffico in uscita a tutte le porte o crea una regola autoreferenziale di Type (Tipo) All TCP, con Protocol (Protocollo) TCP e Port Range (Intervallo porte) che includa tutte le porte, la cui Source (Origine) abbia lo stesso nome del gruppo di sicurezza di Group ID (ID gruppo).

    La regola in uscita è simile a una delle seguenti regole:

    Type (Tipo) Protocollo Intervallo porte Destinazione

    Tutte le regole TCP

    TCP

    0–65535

    security-group

    All Traffic

    ALL

    ALL

    0.0.0.0/0

Impostazione di Amazon EC2 per un server notebook

Con un endpoint di sviluppo, puoi creare un server notebook per testare gli script ETL con i notebook Jupyter. Per abilitare la comunicazione con il notebook, specifica un gruppo di sicurezza con regole in entrata per HTTPS (porta 443) e SSH (porta 22). Verifica che l'origine della regola sia 0.0.0.0/0 o l'indirizzo IP del computer che si collega al notebook.

Per configurare un gruppo di sicurezza
  1. Accedi a AWS Management Console e apri la console Amazon EC2 all'indirizzo https://console.aws.amazon.com/ec2/.

  2. Nel riquadro di navigazione a sinistra, scegli Security Groups (Gruppi di sicurezza).

  3. Scegli un gruppo di sicurezza esistente dall'elenco o Create Security Group (Crea gruppo di sicurezza) da usare con il server notebook. Il gruppo di sicurezza associato al tuo endpoint di sviluppo viene utilizzato anche per creare il server notebook.

  4. Nel riquadro del gruppo di sicurezza, passa alla scheda Inbound (In entrata).

  5. Aggiungi le regole in entrata simili alla seguente:

    Type (Tipo) Protocollo Intervallo porte Origine

    SSH

    TCP

    22

    0.0.0.0/0

    HTTPS

    TCP

    443

    0.0.0.0/0

    Di seguito è riportato un esempio di regole in entrata per il gruppo di sicurezza:

    Immagine che mostra un esempio di regole per il traffico in entrata per il gruppo di sicurezza.