Create ed eseguite un servizio gestito per l'applicazione Apache Flink

Per creare i flussi di dati (AWS CLI)

1. Per creare il primo stream (ExampleInputStream), utilizza il seguente comando Amazon Kinesis create-stream AWS CLI :

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-east-1 \

2. Per creare il secondo stream utilizzato dall'applicazione per scrivere l'output, esegui lo stesso comando, cambiando il nome dello stream in: ExampleOutputStream

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-east-1 \

1. Clona il repository remoto con il comando seguente:

   git clone https://github.com/aws-samples/amazon-managed-service-for-apache-flink-examples.git

2. Passa alla directory amazon-managed-service-for-apache-flink-examples/tree/main/java/GettingStarted.

Per osservare i record

1. Apri la console Kinesis all'indirizzo. https://console.aws.amazon.com/kinesis

2. Verifica che la regione sia la stessa in cui stai eseguendo questo tutorial, che per impostazione predefinita è us-east-1 US East (Virginia settentrionale). Cambia la regione se non corrisponde.

3. Scegli Data Streams.

4. Seleziona lo stream che desideri osservare, oppure ExampleInputStream ExampleOutputStream.

5. Scegli la scheda Visualizzatore dati.

6. Scegli uno Shard, mantieni Latest come posizione iniziale, quindi scegli Ottieni record. Potresti visualizzare l'errore «Nessun record trovato per questa richiesta». In tal caso, scegli Riprova a recuperare i record. Vengono visualizzati i record più recenti pubblicati nello stream.

7. Scegli il valore nella colonna Dati per controllare il contenuto del record in formato JSON.

Per caricare il file JAR del codice dell'applicazione

1. Apri la console Amazon S3 all'indirizzo https://console.aws.amazon.com/s3/.

2. Scegli il bucket che hai creato in precedenza per il codice dell'applicazione.

3. Scegli Carica.

4. Scegliere Add files (Aggiungi file).

5. Passa al file JAR generato nel passaggio precedente:target/amazon-msf-java-stream-app-1.0.jar.

6. Scegli Carica senza modificare altre impostazioni.

Per creare l'applicazione

1. Accedi e apri Console di gestione AWS la console Amazon MSF all'indirizzo https://console.aws.amazon.com/flink.

2. Verifica che sia selezionata la regione corretta: us-east-1 US East (Virginia settentrionale)

3. Apri il menu a destra e scegli Applicazioni Apache Flink, quindi Crea applicazione di streaming. In alternativa, scegli Crea applicazione di streaming nel contenitore Guida introduttiva della pagina iniziale.

4. Nella pagina Crea applicazione di streaming:

   • Scegli un metodo per configurare l'applicazione di elaborazione dello streaming: scegli Crea da zero.

   • Configurazione Apache Flink, versione Application Flink: scegliete Apache Flink 1.20.

5. Configura la tua applicazione

   • Nome dell'applicazione: immettereMyApplication.

   • Descrizione: inserisciMy java test app.

   • Accesso alle risorse dell'applicazione: scegli Crea/aggiorna il ruolo IAM kinesis-analytics-MyApplication-us-east-1 con le policy richieste.

6. Configura il tuo modello per le impostazioni dell'applicazione

   • Modelli: scegli Sviluppo.

7. Scegli Crea applicazione di streaming nella parte inferiore della pagina.

Per modificare la policy

1. Aprire la console IAM all'indirizzo https://console.aws.amazon.com/iam/.

2. Seleziona Policy. Scegli la policy kinesis-analytics-service-MyApplication-us-east-1 creata dalla console nella sezione precedente.

3. Scegli Modifica, quindi scegli la scheda JSON.

4. Aggiungi alla policy la sezione evidenziata del seguente esempio di policy. Sostituisci gli ID account di esempio (012345678901) con l'ID del tuo account.

   JSON

   {
       "Version":"2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::my-bucket/kinesis-analytics-placeholder-s3-object"
               ]
           },
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "ListCloudwatchLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutCloudwatchLogs",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-east-1:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-east-1:012345678901:stream/ExampleOutputStream"
           }
       ]
   }
   

5. Scegli Avanti nella parte inferiore della pagina, quindi scegli Salva modifiche.

Per modificare la configurazione

1. Nella MyApplication pagina, scegli Configura.

2. Nella sezione Posizione del codice dell'applicazione:

   • Per il bucket Amazon S3, seleziona il bucket che hai creato in precedenza per il codice dell'applicazione. Scegli Browse e seleziona il bucket corretto, quindi seleziona Scegli. Non fare clic sul nome del bucket.

   • Per Percorso dell'oggetto Amazon S3, inserisci amazon-msf-java-stream-app-1.0.jar

3. Per le autorizzazioni di accesso, scegli Crea/aggiorna il ruolo IAM kinesis-analytics-MyApplication-us-east-1 con le politiche richieste.

4. Nella sezione delle proprietà di Runtime, aggiungi le seguenti proprietà.

5. Scegliete Aggiungi nuovo elemento e aggiungete ciascuno dei seguenti parametri:

   ID gruppo	Chiave	Valore
   InputStream0	stream.name	ExampleInputStream
   InputStream0	aws.region	us-east-1
   OutputStream0	stream.name	ExampleOutputStream
   OutputStream0	aws.region	us-east-1

6. Non modificate nessuna delle altre sezioni.

7. Scegli Save changes (Salva modifiche).

Per eseguire l'applicazione

1. Nella console di Amazon Managed Service for Apache Flink, scegli La mia applicazione e scegli Esegui.

2. Nella pagina successiva, la pagina di configurazione del ripristino dell'applicazione, scegli Esegui con l'istantanea più recente, quindi scegli Esegui.

   Lo stato nei dettagli dell'applicazione passa da Ready a Starting e poi a Running quando l'applicazione è stata avviata.

Per aprire il pannello di controllo

1. Scegli Apri la dashboard di Apache Flink. La dashboard si apre in una nuova pagina.

2. Nell'elenco dei lavori in esecuzione, scegli il singolo lavoro che puoi visualizzare.

   Nota

   Se imposti le proprietà di Runtime o modifichi le policy IAM in modo errato, lo stato dell'applicazione potrebbe trasformarsi inRunning, ma la dashboard di Flink mostra che il processo viene riavviato continuamente. Si tratta di uno scenario di errore comune se l'applicazione non è configurata correttamente o non dispone delle autorizzazioni per accedere alle risorse esterne.

   Quando ciò accade, controlla la scheda Eccezioni nella dashboard di Flink per vedere la causa del problema.

Per visualizzare le metriche

1. Accanto al pulsante Aggiorna, seleziona 10 secondi dall'elenco a discesa.

2. Quando l'applicazione è in esecuzione e integra, puoi vedere la metrica di uptime aumentare continuamente.

3. La metrica di riavvio completo deve essere zero. Se aumenta, la configurazione potrebbe presentare problemi. Per esaminare il problema, consulta la scheda Eccezioni nella dashboard di Flink.

4. La metrica Numero di checkpoint non riusciti deve essere zero in un'applicazione integra.

   Nota

   Questa dashboard mostra un set fisso di metriche con una granularità di 5 minuti. Puoi creare una dashboard dell'applicazione personalizzata con qualsiasi metrica nella dashboard. CloudWatch

Per visualizzare l'output

1. Aprire la console Kinesis all'indirizzo. https://console.aws.amazon.com/kinesis

2. Verifica che la regione sia la stessa che stai utilizzando per eseguire questo tutorial. Per impostazione predefinita, è US-East-1US East (Virginia settentrionale). Se necessario, modificare la regione.

3. Scegli Data Streams.

4. Seleziona lo stream che desideri osservare. Ai fini di questo tutorial, utilizza ExampleOutputStream.

5. Scegli la scheda Visualizzatore dati.

6. Seleziona uno Shard, mantieni Latest come posizione iniziale, quindi scegli Ottieni record. Potresti visualizzare l'errore «nessun record trovato per questa richiesta». In tal caso, scegli Riprova a recuperare i record. Vengono visualizzati i record più recenti pubblicati nello stream.

7. Seleziona il valore nella colonna Dati per controllare il contenuto del record in formato JSON.

Per interrompere l'applicazione

1. Dall'elenco a discesa Azione, scegli Stop.

2. Lo stato nei dettagli dell'applicazione passa da Running a e Stopping quindi a Ready quando l'applicazione viene completamente interrotta.

   Nota

   Non dimenticate inoltre di interrompere l'invio di dati al flusso di input dallo script Python o dal Kinesis Data Generator.