Crea ed esegui un servizio gestito per l'applicazione Apache Flink

Per creare i flussi di dati (AWS CLI)

1. Per creare il primo stream (ExampleInputStream), usa il seguente comando Amazon Kinesis create-stream AWS CLI :

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-east-1 \

2. Per creare il secondo stream utilizzato dall'applicazione per scrivere l'output, esegui lo stesso comando, modificando il nome dello stream inExampleOutputStream:

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-east-1 \

1. Clona il repository remoto con il comando seguente:

   git clone https://github.com/aws-samples/amazon-managed-service-for-apache-flink-examples.git

2. Passa alla directory amazon-managed-service-for-apache-flink-examples/tree/main/java/GettingStarted.

Per osservare i record

1. Apri la console Kinesis in /kinesis. https://console.aws.amazon.com

2. Verifica che la regione sia la stessa in cui stai eseguendo questo tutorial, che per impostazione predefinita è us-east-1 US East (Virginia settentrionale). Cambia la regione se non corrisponde.

3. Scegli Data Streams.

4. Seleziona lo stream che desideri osservare, oppure ExampleInputStream ExampleOutputStream.

5. Scegli la scheda Visualizzatore dati.

6. Scegli uno Shard, mantieni Ultimo come posizione iniziale, quindi scegli Ottieni record. Potresti visualizzare l'errore «Nessun record trovato per questa richiesta». In tal caso, scegli Riprova a recuperare i record. Vengono visualizzati i record più recenti pubblicati nello stream.

7. Scegliete il valore nella colonna Dati per esaminare il contenuto del record nel JSON formato.

Per caricare il JAR file di codice dell'applicazione

1. Apri la console Amazon S3 all'indirizzo. https://console.aws.amazon.com/s3/

2. Scegli il bucket che hai creato in precedenza per il codice dell'applicazione.

3. Scegli Carica.

4. Scegliere Add files (Aggiungi file).

5. Vai al JAR file generato nel passaggio precedente:target/amazon-msf-java-stream-app-1.0.jar.

6. Scegli Carica senza modificare altre impostazioni.

Per creare l'applicazione

1. Aprire la console Managed Service for Apache Flink all'indirizzo /flink https://console.aws.amazon.com

2. Verifica che sia selezionata la regione corretta: us-east-1 Stati Uniti orientali (Virginia settentrionale)

3. Apri il menu a destra e scegli Applicazioni Apache Flink, quindi Crea applicazione di streaming. In alternativa, scegli Crea applicazione di streaming nel contenitore Get started della pagina iniziale.

4. Nella pagina Crea applicazione di streaming:

   • Scegliete un metodo per configurare l'applicazione di elaborazione dello stream: scegliete Crea da zero.

   • Configurazione Apache Flink, versione Application Flink: scegli Apache Flink 1.19.

5. Configura la tua applicazione

   • Nome dell'applicazione: invioMyApplication.

   • Descrizione: immettereMy java test app.

   • Accesso alle risorse dell'applicazione: scegli Crea/aggiorna IAM il ruolo kinesis-analytics-MyApplication-us-east-1 con le politiche richieste.

6. Configura il tuo modello per le impostazioni dell'applicazione

   • Modelli: scegli Sviluppo.

7. Scegli Crea applicazione di streaming nella parte inferiore della pagina.

Per modificare la politica

1. Apri la IAM console all'indirizzo https://console.aws.amazon.com/iam/.

2. Seleziona Policy. Scegli la policy kinesis-analytics-service-MyApplication-us-east-1 creata dalla console nella sezione precedente.

3. Scegli Modifica, quindi scegli la JSONscheda.

4. Aggiungi alla policy la sezione evidenziata del seguente esempio di policy. Sostituisci l'account di esempio IDs (012345678901) con l'ID del tuo account.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::my-bucket/kinesis-analytics-placeholder-s3-object"
               ]
           },
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "ListCloudwatchLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutCloudwatchLogs",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-east-1:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-east-1:012345678901:stream/ExampleOutputStream"
           }
       ]
   }

5. Scegli Avanti nella parte inferiore della pagina, quindi scegli Salva modifiche.

Per modificare la configurazione

1. Nella MyApplicationpagina, scegli Configura.

2. Nella sezione Posizione del codice dell'applicazione:

   • Per il bucket Amazon S3, seleziona il bucket creato in precedenza per il codice dell'applicazione. Scegli Sfoglia e seleziona il bucket corretto, quindi seleziona Scegli. Non fare clic sul nome del bucket.

   • Per Percorso dell'oggetto Amazon S3, inserisci amazon-msf-java-stream-app-1.0.jar

3. Per le autorizzazioni di accesso, scegli Crea/aggiorna il IAM ruolo kinesis-analytics-MyApplication-us-east-1 con le politiche richieste.

4. Nella sezione Proprietà di runtime, aggiungi le seguenti proprietà.

5. Scegliete Aggiungi nuovo elemento e aggiungete ciascuno dei seguenti parametri:

   ID gruppo	Chiave	Valore
   InputStream0	stream.name	ExampleInputStream
   InputStream0	aws.region	us-east-1
   OutputStream0	stream.name	ExampleOutputStream
   OutputStream0	aws.region	us-east-1

6. Non modificate nessuna delle altre sezioni.

7. Scegli Save changes (Salva modifiche).

Per eseguire l'applicazione

1. Sulla console per Amazon Managed Service for Apache Flink, scegli La mia applicazione e scegli Esegui.

2. Nella pagina successiva, nella pagina di configurazione del ripristino dell'applicazione, scegli Esegui con l'ultima istantanea, quindi scegli Esegui.

   Lo stato nell'applicazione descrive in dettaglio le transizioni da Ready Starting e poi a Running quando l'applicazione è stata avviata.

Per aprire il pannello di controllo

1. Scegli Apri la dashboard di Apache Flink. La dashboard si apre in una nuova pagina.

2. Nell'elenco dei lavori in esecuzione, scegli il singolo lavoro che puoi vedere.

   Nota

   Se hai impostato le proprietà di Runtime o hai modificato le IAM politiche in modo errato, lo stato dell'applicazione potrebbe cambiareRunning, ma la dashboard di Flink mostra che il lavoro viene riavviato continuamente. Si tratta di uno scenario di errore comune se l'applicazione non è configurata correttamente o non dispone delle autorizzazioni per accedere alle risorse esterne.

   Quando ciò accade, controlla la scheda Eccezioni nella dashboard di Flink per vedere la causa del problema.

Per visualizzare le metriche

1. Accanto al pulsante Aggiorna, seleziona 10 secondi dall'elenco a discesa.

2. Quando l'applicazione è in esecuzione ed è integra, puoi vedere la metrica di uptime aumentare continuamente.

3. La metrica fullrestarts deve essere zero. Se è in aumento, la configurazione potrebbe presentare dei problemi. Per esaminare il problema, consulta la scheda Eccezioni nella dashboard di Flink.

4. La metrica del numero di checkpoint non riusciti deve essere pari a zero in un'applicazione integra.

   Nota

   Questa dashboard mostra un set fisso di metriche con una granularità di 5 minuti. Puoi creare una dashboard applicativa personalizzata con qualsiasi metrica nella dashboard. CloudWatch

Per visualizzare l'output

1. Apri la console Kinesis in /kinesis. https://console.aws.amazon.com

2. Verifica che la regione sia la stessa che stai usando per eseguire questo tutorial. Per impostazione predefinita, è US-East-1US East (Virginia settentrionale). Se necessario, modificare la regione.

3. Scegli Data Streams.

4. Seleziona lo stream che desideri osservare. Ai fini di questo tutorial, utilizza ExampleOutputStream.

5. Scegli la scheda Data viewer.

6. Seleziona uno Shard, mantieni Ultimo come posizione iniziale, quindi scegli Ottieni record. Potresti visualizzare l'errore «nessun record trovato per questa richiesta». In tal caso, scegli Riprova a recuperare i record. Vengono visualizzati i record più recenti pubblicati nello stream.

7. Seleziona il valore nella colonna Dati per esaminare il contenuto del record nel JSON formato.

Per interrompere l'applicazione

1. Dall'elenco a discesa Azione, scegli Stop.

2. Lo stato nell'applicazione descrive in dettaglio le transizioni da Running e quindi a Ready quando l'applicazione viene completamente interrotta. Stopping

   Nota

   Non dimenticare di interrompere anche l'invio di dati al flusso di input dallo script Python o dal Kinesis Data Generator.