Crea un ambiente Amazon MWAA

Per specificare i dettagli relativi all'ambiente

1. Apri la console Amazon MWAA.

2. Seleziona il tuo. Regione AWS

3. Seleziona Create environment (Crea ambiente).

4. Nella pagina Specifica i dettagli, in Dettagli sull'ambiente:

   1. Inserisci un nome univoco per il tuo ambiente in Nome.

   2. Scegli la versione Apache Airflow in Versione Airflow.

      Nota

      Se non viene specificato alcun valore, il valore predefinito è la versione più recente di Apache Airflow. L'ultima versione disponibile è Apache Airflow v3.2.1.

   3. Inserite il periodo di manutenzione per il vostro ambiente nella finestra Manutenzione settimanale.

      Nota

      Amazon MWAA esegue due tipi di manutenzione sul tuo ambiente:

      Manutenzione ordinaria del database

      Amazon MWAA passa una finestra di manutenzione al database di metadati Aurora PostgreSQL sottostante. Questa manutenzione non interrompe l'esecuzione di DAG, attività o altre operazioni di Apache Airflow.

      Applicazione di patch critiche

      In rari casi, Amazon MWAA applica patch di sicurezza o stabilità al tuo ambiente. Riceverai una notifica tramite AWS Health Dashboard prima dell'applicazione di una patch. L'ambiente si riavvia durante l'applicazione delle patch ed è temporaneamente non disponibile.

      Non è possibile disattivare la manutenzione dei servizi gestiti.

5. In codice DAG in Amazon S3, specifica quanto segue:

   1. Bucket S3. Scegli Browse S3 e seleziona il tuo bucket Amazon S3 oppure inserisci l'URI Amazon S3.

   2. cartella DAG. Scegli Browse S3 e seleziona la dags cartella nel tuo bucket Amazon S3 oppure inserisci l'URI Amazon S3.

   3. File dei plugin - opzionale. Scegli Browse S3 e seleziona il plugins.zip file sul tuo bucket Amazon S3 oppure inserisci l'URI Amazon S3.

   4. File dei requisiti: opzionale. Scegli Browse S3 e seleziona il requirements.txt file sul tuo bucket Amazon S3 oppure inserisci l'URI Amazon S3.

   5. File di script di avvio: opzionale , scegli Browse S3 e seleziona il file di script sul tuo bucket Amazon S3 oppure inserisci l'URI Amazon S3.

6. Scegli Next (Successivo).

Configurazione delle impostazioni avanzate

1. Nella pagina Configura impostazioni avanzate, in Rete:

   1. Scegli il tuo Amazon VPC.

      Questo passaggio compila due delle sottoreti private del tuo Amazon VPC.

2. In Accesso al server web, seleziona la modalità di accesso Apache Airflow preferita:

   1. Rete privata. Ciò limita l'accesso all'interfaccia utente di Apache Airflow agli utenti all'interno del tuo Amazon VPC a cui è stato concesso l'accesso alla policy IAM per il tuo ambiente. È necessaria l'autorizzazione per creare endpoint Amazon VPC per questo passaggio.

      Nota

      Scegli l'opzione Rete privata se l'interfaccia utente di Apache Airflow è accessibile solo all'interno di una rete aziendale e non è necessario accedere ai repository pubblici per l'installazione dei requisiti del server web. Se scegli questa opzione di modalità di accesso, devi creare un meccanismo per accedere al tuo server web Apache Airflow nel tuo Amazon VPC. Per ulteriori informazioni, vedi Accesso all'endpoint VPC per il server web Apache Airflow (accesso alla rete privata).

   2. Rete pubblica. Ciò consente l'accesso all'interfaccia utente di Apache Airflow tramite Internet agli utenti autorizzati ad accedere alla policy IAM per il proprio ambiente.

   3. Accesso alla rete sia pubblico che privato. Disponibile per Apache Airflow versione 3.2.1 e successive. Ciò consente di accedere all'interfaccia utente di Apache Airflow tramite Internet, mentre i lavoratori comunicano con il server Web tramite un endpoint VPC privato. Scegli questa opzione se Amazon VPC che ospita il tuo ambiente non dispone di accesso a Internet.

3. In Gruppi di sicurezza, scegli il gruppo di sicurezza utilizzato per proteggere Amazon VPC:

   1. Per impostazione predefinita, Amazon MWAA crea un gruppo di sicurezza nel tuo Amazon VPC con regole specifiche in entrata e in uscita in Crea nuovo gruppo di sicurezza.

   2. Facoltativo. Deseleziona la casella di controllo in Crea nuovo gruppo di sicurezza per selezionare fino a 5 gruppi di sicurezza.

      Nota

      Un gruppo di sicurezza Amazon VPC esistente deve essere configurato con regole specifiche in entrata e in uscita per consentire il traffico di rete. Per ulteriori informazioni, consulta. Sicurezza nel tuo VPC su Amazon MWAA

4. In Classe Ambiente, scegli una classe di ambiente.

   Ti consigliamo di scegliere la dimensione più piccola necessaria per supportare il carico di lavoro. È possibile modificare la classe di ambiente in qualsiasi momento.

5. Per Numero massimo di lavoratori, specificate il numero massimo di lavoratori Apache Airflow da eseguire nell'ambiente.

   Per ulteriori informazioni, vedi Esempio di utilizzo ad alte prestazioni.

6. Specifica il numero massimo di server Web e il numero minimo di server Web per configurare il modo in cui Amazon MWAA ridimensiona i server Web Apache Airflow nel tuo ambiente.

   Per ulteriori informazioni sul ridimensionamento automatico dei server Web, consulta. Configurazione della scalabilità automatica del server web Amazon MWAA

7. In Crittografia, scegli un'opzione di crittografia dei dati:

   1. Per impostazione predefinita, Amazon MWAA utilizza una chiave di AWS proprietà per crittografare i dati.

   2. Facoltativo. Scegli Personalizza le impostazioni di crittografia (avanzate) per scegliere una chiave diversa. AWS KMS Se scegli di specificare una Customer-managed chiave in questo passaggio, devi specificare un ID AWS KMS chiave o un ARN. AWS KMS gli alias e le chiavi multiregionali non sono supportati da Amazon MWAA. Se hai specificato una chiave Amazon S3 per la crittografia lato server sul tuo bucket Amazon S3, devi specificare la stessa chiave per il tuo ambiente Amazon MWAA.

      Nota

      Devi disporre delle autorizzazioni per la chiave per selezionarla sulla console Amazon MWAA. È inoltre necessario concedere le autorizzazioni ad Amazon MWAA per utilizzare la chiave allegando la politica descritta in. Allega una politica chiave

8. Consigliato. In Monitoraggio, scegli una o più categorie di log per la configurazione dei log di Airflow per inviare i log di Apache Airflow ai Logs: CloudWatch

   1. Log delle attività di Airflow. Scegli il tipo di log delle attività di Apache Airflow da inviare a CloudWatch Logs in Log.

   2. Log del server web Airflow. Scegli il tipo di log del server web Apache Airflow da inviare a CloudWatch Logs in Log level.

   3. Log dello scheduler Airflow. Scegli il tipo di log dello scheduler di Apache Airflow da inviare a CloudWatch Logs in Log.

   4. Registri dei lavoratori di Airflow. Scegli il tipo di log dei lavoratori di Apache Airflow da inviare a CloudWatch Logs in Log.

   5. Log di elaborazione DAG di Airflow. Scegli il tipo di log di elaborazione di Apache Airflow DAG da inviare a CloudWatch Logs in Log level.

9. Facoltativo. Per le opzioni di configurazione Airflow, scegli Aggiungi opzione di configurazione personalizzata.

   Puoi scegliere dall'elenco a discesa suggerito delle opzioni di configurazione di Apache Airflow per la tua versione di Apache Airflow o specificare opzioni di configurazione personalizzate. Ad esempio, core.default_task_retries : 3.

10. Facoltativo. In Tag, scegli Aggiungi nuovo tag per associare i tag al tuo ambiente. Ad esempio,Environment:Staging.

11. In Autorizzazioni, scegli un ruolo di esecuzione:

    1. Per impostazione predefinita, Amazon MWAA crea un ruolo di esecuzione in Crea un nuovo ruolo. È necessario disporre dell'autorizzazione per creare ruoli IAM per utilizzare questa opzione.

    2. Facoltativo. Scegli Enter role ARN per inserire l'Amazon Resource Name (ARN) di un ruolo di esecuzione esistente.

12. Scegli Next (Successivo).

Per esaminare un riepilogo dell'ambiente

• Rivedi il riepilogo dell'ambiente, scegli Crea ambiente.

  Nota

  Sono necessari dai venti ai trenta minuti per creare un ambiente.