Informazioni sulla versione precedente di Managed Service for Apache Flink

1. Assicurati di avere installato Apache Maven e che la variabile di JAVA_HOME ambiente punti a anziché a. JDK JRE Puoi testare la tua installazione di Apache Maven con il comando seguente:

   mvn -version

2. Scarica il codice di origine di Apache Flink 1.8.2:

   wget https://archive.apache.org/dist/flink/flink-1.8.2/flink-1.8.2-src.tgz

3. Decomprimi il codice di origine di Apache Flink:

   tar -xvf flink-1.8.2-src.tgz

4. Passa alla directory del codice di origine di Apache Flink:

   cd flink-1.8.2

5. Compila e installa Apache Flink:

   mvn clean install -Pinclude-kinesis -DskipTests

   Nota

   Se stai compilando Flink su Microsoft Windows, devi aggiungere il parametro -Drat.skip=true.

Per iscriverti a un Account AWS

1. Apri la https://portal.aws.amazon.com/billing/registrazione.

2. Segui le istruzioni online.

   Nel corso della procedura di registrazione riceverai una telefonata, durante la quale sarà necessario inserire un codice di verifica attraverso la tastiera del telefono.

   Quando ti iscrivi a un Account AWS, Utente root dell'account AWSviene creato un. L'utente root dispone dell'accesso a tutte le risorse e tutti i Servizi AWS nell'account. Come best practice di sicurezza, assegna l'accesso amministrativo a un utente e utilizza solo l'utente root per eseguire attività che richiedono l'accesso di un utente root.

Proteggi i tuoi Utente root dell'account AWS

1. Accedi AWS Management Consolecome proprietario dell'account scegliendo Utente root e inserendo il tuo indirizzo Account AWS email. Nella pagina successiva, inserisci la password.

   Per informazioni sull'accesso utilizzando un utente root, consulta la pagina Signing in as the root user della Guida per l'utente di Accedi ad AWS .

2. Attiva l'autenticazione a più fattori (MFA) per il tuo utente root.

   Per istruzioni, consulta Abilitare un MFA dispositivo virtuale per l'utente Account AWS root (console) nella Guida per l'IAMutente.

Crea un utente con accesso amministrativo

1. Abilita IAM Identity Center.

   Per istruzioni, consulta Abilitazione di AWS IAM Identity Center nella Guida per l'utente di AWS IAM Identity Center .

2. In IAM Identity Center, concedi l'accesso amministrativo a un utente.

   Per un tutorial sull'utilizzo di IAM Identity Center directory come fonte di identità, consulta Configurare l'accesso utente con i valori predefiniti IAM Identity Center directory nella Guida per l'AWS IAM Identity Center utente.

Accesso come utente amministratore

• Per accedere con l'utente dell'IAMIdentity Center, utilizza l'accesso URL che è stato inviato al tuo indirizzo e-mail quando hai creato l'utente IAM Identity Center.

  Per informazioni sull'accesso tramite un utente di IAM Identity Center, consulta Accesso al portale di AWS accesso nella Guida per l'Accedi ad AWS utente.

Assegna l'accesso a ulteriori utenti

1. In IAM Identity Center, crea un set di autorizzazioni che segua la migliore pratica di applicazione delle autorizzazioni con privilegi minimi.

   Segui le istruzioni riportate nella pagina Creazione di un set di autorizzazioni nella Guida per l'utente di AWS IAM Identity Center .

2. Assegna al gruppo prima gli utenti e poi l'accesso con autenticazione unica (Single Sign-On).

   Per istruzioni, consulta Aggiungere gruppi nella Guida per l'utente di AWS IAM Identity Center .

Per configurare il AWS CLI

1. Scarica e configura la AWS CLI. Per le istruzioni, consulta i seguenti argomenti nella Guida per l'utente dell'AWS Command Line Interface :

   • Installazione dell' AWS Command Line Interface

   • Configurazione della AWS CLI

2. Aggiungere un profilo denominato per l'utente amministratore nel AWS CLI config file. Puoi usare questo profilo quando esegui i comandi della AWS CLI . Per ulteriori informazioni sui profili denominati, consulta Profili denominati in Guida per l'utente dell'AWS Command Line Interface .

   [profile adminuser]
   aws_access_key_id = adminuser access key ID
   aws_secret_access_key = adminuser secret access key
   region = aws-region

   Per un elenco delle AWS regioni disponibili, consulta Regioni ed endpoint in. Riferimenti generali di Amazon Web Services

   Nota

   Il codice e i comandi di esempio in questo tutorial utilizzano la regione Stati Uniti occidentali (Oregon). Per utilizzare una regione diversa, sostituisci la regione nel codice e nei comandi di questo tutorial con quella che desideri utilizzare.

3. Verifica la configurazione digitando il comando help riportato di seguito al prompt dei comandi:

   aws help

Per creare i flussi di dati (AWS CLI)

1. Per creare il primo stream (ExampleInputStream), usa il seguente comando Amazon Kinesis create-stream AWS CLI .

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

2. Per creare il secondo flusso utilizzato dall'applicazione per scrivere l'output, esegui lo stesso comando, modificando il nome del flusso in ExampleOutputStream.

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

1. Crea un file denominato stock.py con i seguenti contenuti:

   
       import datetime
       import json
       import random
       import boto3
       STREAM_NAME = "ExampleInputStream"
       def get_data():
           return {
               'event_time': datetime.datetime.now().isoformat(),
               'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']),
               'price': round(random.random() * 100, 2)}
       def generate(stream_name, kinesis_client):
           while True:
               data = get_data()
               print(data)
               kinesis_client.put_record(
                   StreamName=stream_name,
                   Data=json.dumps(data),
                   PartitionKey="partitionkey")
       if __name__ == '__main__':
           generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2')) 

2. Successivamente nel tutorial, esegui lo script stock.py per inviare dati all'applicazione.

   $ python stock.py

1. Clona il repository remoto con il comando seguente:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

2. Passa alla directory amazon-kinesis-data-analytics-java-examples/GettingStarted.

Per compilare il codice dell'applicazione

1. Per utilizzare il codice dell'applicazione, lo si compila e lo si impacchetta in un file. JAR È possibile compilare e creare un pacchetto del codice in uno di due modi:

   • Utilizzare lo strumento Maven a riga di comando. Create il JAR file eseguendo il comando seguente nella directory che contiene il pom.xml file:

     mvn package -Dflink.version=1.13.2

   • Utilizza il tuo ambiente di sviluppo. Per informazioni dettagliate, consulta la documentazione relativa all'ambiente di sviluppo.

     Nota

     Il codice di origine fornito si basa sulle librerie di Java 11.

   È possibile caricare il pacchetto come JAR file oppure comprimerlo e caricarlo come ZIP file. Se create l'applicazione utilizzando AWS CLI, specificate il tipo di contenuto del codice (JARoZIP).

2. Se si verificano errori durante la compilazione, verifica che la variabile di ambiente JAVA_HOME sia impostata correttamente.

Per caricare il codice dell'applicazione

1. Apri la console Amazon S3 all'indirizzo. https://console.aws.amazon.com/s3/

2. Seleziona Crea bucket.

3. Inserisci ka-app-code-<username> nel campo Nome bucket. Aggiungi un suffisso al nome del bucket, ad esempio il nome utente, per renderlo globalmente univoco. Scegli Next (Successivo).

4. Nella fase Configura opzioni, non modificare le impostazioni e scegli Successivo.

5. Nella fase Imposta autorizzazioni, non modificare le impostazioni e scegli Successivo.

6. Seleziona Crea bucket.

7. Nella console Amazon S3, scegli il - ka-app-code<username>bucket e scegli Upload.

8. Nella fase Seleziona file, scegli Aggiungi file. Individua il file aws-kinesis-analytics-java-apps-1.0.jar creato nella fase precedente. Scegli Next (Successivo).

9. Non è necessario modificare alcuna delle impostazioni dell'oggetto, quindi scegli Carica.

1. Apri la console Managed Service for Apache Flink all'indirizzo /flink https://console.aws.amazon.com

2. Nella dashboard del servizio gestito per Apache Flink, scegli Crea un'applicazione di analisi.

3. Nella pagina Servizio gestito per Apache Flink: crea applicazione, fornisci i dettagli dell'applicazione nel modo seguente:

   • Per Nome applicazione, immetti MyApplication.

   • Per Descrizione, inserisci My java test app.

   • Per Runtime, scegli Apache Flink.

   • Lascia il menu a discesa di Apache Flink versione 1.13.

4. Per le autorizzazioni di accesso, scegli Crea/aggiorna ruolo. IAM kinesis-analytics-MyApplication-us-west-2

5. Scegli Crea applicazione.

1. Apri la console all'IAMindirizzo. https://console.aws.amazon.com/iam/

2. Seleziona Policy. Scegli la policy kinesis-analytics-service-MyApplication-us-west-2 creata dalla console nella sezione precedente.

3. Nella pagina Riepilogo, scegli Modifica policy. Scegli la JSONscheda.

4. Aggiungi alla policy la sezione evidenziata del seguente esempio di policy. Sostituisci l'account di esempio IDs (012345678901) con l'ID del tuo account.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::ka-app-code-username/aws-kinesis-analytics-java-apps-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           }
       ]
   }

1. Nella MyApplicationpagina, scegli Configura.

2. Nella pagina Configura applicazione, fornisci la Posizione del codice:

   • Per Bucket Amazon S3, inserisci ka-app-code-<username>.

   • Per Percorso dell'oggetto Amazon S3, inserisci aws-kinesis-analytics-java-apps-1.0.jar

3. In Accesso alle risorse dell'applicazione, per Autorizzazioni di accesso, scegli Crea/aggiorna IAM ruolo kinesis-analytics-MyApplication-us-west-2.

4. Immetti i seguenti dati:

   ID gruppo	Chiave	Valore
   ProducerConfigProperties	flink.inputstream.initpos	LATEST
   ProducerConfigProperties	aws.region	us-west-2
   ProducerConfigProperties	AggregationEnabled	false

5. In Monitoraggio, accertati che il Monitoraggio del livello dei parametri sia impostato su Applicazione.

6. Per la CloudWatch registrazione, seleziona la casella di controllo Abilita.

7. Scegli Aggiorna.

Per creare un ruolo IAM

1. Apri la IAM console all'indirizzo https://console.aws.amazon.com/iam/.

2. Nel riquadro di navigazione, seleziona Ruoli, quindi Crea nuovo ruolo.

3. In Seleziona tipo di identità attendibile, scegli Servizio AWS . In Scegli il servizio che utilizzerà questo ruolo, scegli Kinesis. In Seleziona il tuo caso d'uso, scegli Analisi dei dati Kinesis.

   Scegli Successivo: Autorizzazioni.

4. Nella pagina Allega policy di autorizzazione, seleziona Successivo: esamina. Collega le policy di autorizzazione dopo aver creato il ruolo.

5. Nella pagina Crea ruolo, immetti MF-stream-rw-role per Nome ruolo. Scegliere Crea ruolo.

   Ora hai creato un nuovo IAM ruolo chiamatoMF-stream-rw-role. Successivamente, aggiorna le policy di attendibilità e di autorizzazione per il ruolo.

6. Collega la policy di autorizzazione al ruolo.

   Nota

   Per questo esercizio, il servizio gestito per Apache Flink assume questo ruolo per la lettura di dati da un flusso di dati Kinesis (origine) e la scrittura dell'output in un altro flusso di dati Kinesis. Pertanto, devi collegare la policy creata nella fase precedente, Creazione di una policy di autorizzazione.

   1. Nella pagina Riepilogo, scegli la scheda Autorizzazioni.

   2. Scegliere Collega policy.

   3. Nella casella di ricerca, immetti AKReadSourceStreamWriteSinkStream (la policy creata nella sezione precedente).

   4. Scegli la AKReadSourceStreamWriteSinkStreampolitica e scegli Allega politica.

1. Salva il JSON codice seguente in un file denominato. create_request.json Sostituisci il ruolo di esempio ARN con quello ARN per il ruolo che hai creato in precedenza. Sostituite il ARN suffisso del bucket (username) con il suffisso che avete scelto nella sezione precedente. Sostituisci l'ID account di esempio (012345678901) nel ruolo di esecuzione del servizio con il tuo ID account.

   {
       "ApplicationName": "test",
       "ApplicationDescription": "my java test app",
       "RuntimeEnvironment": "FLINK-1_15",
       "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role",
       "ApplicationConfiguration": {
           "ApplicationCodeConfiguration": {
               "CodeContent": {
                   "S3ContentLocation": {
                       "BucketARN": "arn:aws:s3:::ka-app-code-username",
                       "FileKey": "aws-kinesis-analytics-java-apps-1.0.jar"
                   }
               },
               "CodeContentType": "ZIPFILE"
           },
           "EnvironmentProperties":  { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
       }
   }
   
   

2. Esegui l'operazione CreateApplication con la richiesta precedente per creare l'applicazione:

   aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

Per avviare l'applicazione

1. Salvate il JSON codice seguente in un file denominato. start_request.json

   {
       "ApplicationName": "test",
       "RunConfiguration": {
           "ApplicationRestoreConfiguration": { 
            "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT"
            }
       }
   }
   

2. Esegui l'operazione StartApplication con la richiesta precedente per avviare l'applicazione:

   aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

Per interrompere l'applicazione

1. Salva il JSON codice seguente in un file denominato. stop_request.json

   {
      "ApplicationName": "test"
   }
   

2. Esegui l'operazione StopApplication con la seguente richiesta di interrompere l'applicazione:

   aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

Per aggiornare le proprietà di ambiente per l'applicazione

1. Salvate il JSON codice seguente in un file denominatoupdate_properties_request.json.

   {"ApplicationName": "test",
      "CurrentApplicationVersionId": 1,
      "ApplicationConfigurationUpdate": { 
         "EnvironmentPropertyUpdates": { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
      }
   }
   

2. Esegui l'operazione UpdateApplication con la richiesta precedente per aggiornare le proprietà di ambiente:

   aws kinesisanalyticsv2 update-application --cli-input-json file://update_properties_request.json

1. Apri la console Kinesis in /kinesis. https://console.aws.amazon.com

2. Nel pannello Managed Service for Apache Flink, scegli. MyApplication

3. Nella pagina dell'applicazione, scegli Elimina e quindi conferma l'eliminazione.

1. Apri la console Managed Service for Apache Flink all'indirizzo /flink https://console.aws.amazon.com

2. Nel pannello Kinesis Data Streams, scegli. ExampleInputStream

3. Nella ExampleInputStreampagina, scegli Elimina Kinesis Stream e conferma l'eliminazione.

4. Nella pagina Kinesis Streams, scegli, scegli Azioni ExampleOutputStream, scegli Elimina, quindi conferma l'eliminazione.

1. Apri la console Amazon S3 all'indirizzo. https://console.aws.amazon.com/s3/

2. Scegli il ka-app-code -<username> secchio.

3. Per confermare l'eliminazione, scegli Elimina, quindi inserisci il nome del bucket.

1. Apri la IAM console all'indirizzo https://console.aws.amazon.com/iam/.

2. Nella barra di navigazione, scegli Policy.

3. Nel controllo filtro, inserisci kinesis.

4. Scegli la politica kinesis-analytics-service- MyApplication -us-west-2.

5. Seleziona Operazioni di policy e quindi Elimina.

6. Nella barra di navigazione, scegli Ruoli.

7. Scegli il ruolo kinesis-analytics- MyApplication -us-west-2.

8. Quindi scegli Elimina ruolo e conferma l'eliminazione.

1. Apri la CloudWatch console all'indirizzo https://console.aws.amazon.com/cloudwatch/.

2. Nella barra di navigazione, scegli Log.

3. Scegli il gruppo/aws/kinesis-analytics/MyApplicationlog.

4. Scegli Elimina gruppo di log e conferma l'eliminazione.

Per iscriverti a un Account AWS

1. Apri la https://portal.aws.amazon.com/billing/registrazione.

2. Segui le istruzioni online.

   Nel corso della procedura di registrazione riceverai una telefonata, durante la quale sarà necessario inserire un codice di verifica attraverso la tastiera del telefono.

   Quando ti iscrivi a un Account AWS, Utente root dell'account AWSviene creato un. L'utente root dispone dell'accesso a tutte le risorse e tutti i Servizi AWS nell'account. Come best practice di sicurezza, assegna l'accesso amministrativo a un utente e utilizza solo l'utente root per eseguire attività che richiedono l'accesso di un utente root.

Proteggi i tuoi Utente root dell'account AWS

1. Accedi AWS Management Consolecome proprietario dell'account scegliendo Utente root e inserendo il tuo indirizzo Account AWS email. Nella pagina successiva, inserisci la password.

   Per informazioni sull'accesso utilizzando un utente root, consulta la pagina Signing in as the root user della Guida per l'utente di Accedi ad AWS .

2. Attiva l'autenticazione a più fattori (MFA) per il tuo utente root.

   Per istruzioni, consulta Abilitare un MFA dispositivo virtuale per l'utente Account AWS root (console) nella Guida per l'IAMutente.

Crea un utente con accesso amministrativo

1. Abilita IAM Identity Center.

   Per istruzioni, consulta Abilitazione di AWS IAM Identity Center nella Guida per l'utente di AWS IAM Identity Center .

2. In IAM Identity Center, concedi l'accesso amministrativo a un utente.

   Per un tutorial sull'utilizzo di IAM Identity Center directory come fonte di identità, consulta Configurare l'accesso utente con i valori predefiniti IAM Identity Center directory nella Guida per l'AWS IAM Identity Center utente.

Accesso come utente amministratore

• Per accedere con l'utente dell'IAMIdentity Center, utilizza l'accesso URL che è stato inviato al tuo indirizzo e-mail quando hai creato l'utente IAM Identity Center.

  Per informazioni sull'accesso tramite un utente di IAM Identity Center, consulta Accesso al portale di AWS accesso nella Guida per l'Accedi ad AWS utente.

Assegna l'accesso a ulteriori utenti

1. In IAM Identity Center, crea un set di autorizzazioni che segua la migliore pratica di applicazione delle autorizzazioni con privilegi minimi.

   Segui le istruzioni riportate nella pagina Creazione di un set di autorizzazioni nella Guida per l'utente di AWS IAM Identity Center .

2. Assegna al gruppo prima gli utenti e poi l'accesso con autenticazione unica (Single Sign-On).

   Per istruzioni, consulta Aggiungere gruppi nella Guida per l'utente di AWS IAM Identity Center .

Per configurare il AWS CLI

1. Scarica e configura la AWS CLI. Per le istruzioni, consulta i seguenti argomenti nella Guida per l'utente dell'AWS Command Line Interface :

   • Installazione dell' AWS Command Line Interface

   • Configurazione della AWS CLI

2. Aggiungere un profilo denominato per l'utente amministratore nel AWS CLI config file. Puoi usare questo profilo quando esegui i comandi della AWS CLI . Per ulteriori informazioni sui profili denominati, consulta Profili denominati in Guida per l'utente dell'AWS Command Line Interface .

   [profile adminuser]
   aws_access_key_id = adminuser access key ID
   aws_secret_access_key = adminuser secret access key
   region = aws-region

   Per un elenco delle AWS regioni disponibili, consulta Regioni ed endpoint in. Riferimenti generali di Amazon Web Services

   Nota

   Il codice e i comandi di esempio in questo tutorial utilizzano la regione Stati Uniti occidentali (Oregon). Per utilizzare una regione diversa, sostituisci la regione nel codice e nei comandi di questo tutorial con quella che desideri utilizzare.

3. Verifica la configurazione digitando il comando help riportato di seguito al prompt dei comandi:

   aws help

Per creare i flussi di dati (AWS CLI)

1. Per creare il primo stream (ExampleInputStream), usa il seguente comando Amazon Kinesis create-stream AWS CLI .

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

2. Per creare il secondo flusso utilizzato dall'applicazione per scrivere l'output, esegui lo stesso comando, modificando il nome del flusso in ExampleOutputStream.

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

1. Crea un file denominato stock.py con i seguenti contenuti:

    
   import datetime
   import json
   import random
   import boto3
   
   STREAM_NAME = "ExampleInputStream"
   
   
   def get_data():
       return {
           "EVENT_TIME": datetime.datetime.now().isoformat(),
           "TICKER": random.choice(["AAPL", "AMZN", "MSFT", "INTC", "TBV"]),
           "PRICE": round(random.random() * 100, 2),
       }
   
   
   def generate(stream_name, kinesis_client):
       while True:
           data = get_data()
           print(data)
           kinesis_client.put_record(
               StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey"
           )
   
   
   if __name__ == "__main__":
       generate(STREAM_NAME, boto3.client("kinesis"))
   

2. Successivamente nel tutorial, esegui lo script stock.py per inviare dati all'applicazione.

   $ python stock.py

1. Clona il repository remoto con il comando seguente:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

2. Passa alla directory amazon-kinesis-data-analytics-java-examples/GettingStarted.

Per compilare il codice dell'applicazione

1. Per utilizzare il codice dell'applicazione, lo si compila e lo si impacchetta in un file. JAR È possibile compilare e creare un pacchetto del codice in uno di due modi:

   • Utilizzare lo strumento Maven a riga di comando. Create il JAR file eseguendo il comando seguente nella directory che contiene il pom.xml file:

     mvn package -Dflink.version=1.11.3

   • Utilizza il tuo ambiente di sviluppo. Per informazioni dettagliate, consulta la documentazione relativa all'ambiente di sviluppo.

     Nota

     Il codice di origine fornito si basa sulle librerie di Java 11. Assicurati che la versione Java del tuo progetto sia la 11.

   È possibile caricare il pacchetto come JAR file oppure comprimerlo e caricarlo come ZIP file. Se create l'applicazione utilizzando AWS CLI, specificate il tipo di contenuto del codice (JARoZIP).

2. Se si verificano errori durante la compilazione, verifica che la variabile di ambiente JAVA_HOME sia impostata correttamente.

Per caricare il codice dell'applicazione

1. Apri la console Amazon S3 all'indirizzo. https://console.aws.amazon.com/s3/

2. Seleziona Crea bucket.

3. Inserisci ka-app-code-<username> nel campo Nome bucket. Aggiungi un suffisso al nome del bucket, ad esempio il nome utente, per renderlo globalmente univoco. Scegli Next (Successivo).

4. Nella fase Configura opzioni, non modificare le impostazioni e scegli Successivo.

5. Nella fase Imposta autorizzazioni, non modificare le impostazioni e scegli Successivo.

6. Seleziona Crea bucket.

7. Nella console Amazon S3, scegli il - ka-app-code<username>bucket e scegli Upload.

8. Nella fase Seleziona file, scegli Aggiungi file. Individua il file aws-kinesis-analytics-java-apps-1.0.jar creato nella fase precedente. Scegli Next (Successivo).

9. Non è necessario modificare alcuna delle impostazioni dell'oggetto, quindi scegli Carica.

1. Apri la console Managed Service for Apache Flink all'indirizzo /flink https://console.aws.amazon.com

2. Nella dashboard del servizio gestito per Apache Flink, scegli Crea un'applicazione di analisi.

3. Nella pagina Servizio gestito per Apache Flink: crea applicazione, fornisci i dettagli dell'applicazione nel modo seguente:

   • Per Nome applicazione, immetti MyApplication.

   • Per Descrizione, inserisci My java test app.

   • Per Runtime, scegli Apache Flink.

   • Lascia il menu a discesa di Apache Flink 1.11 (versione consigliata).

4. Per le autorizzazioni di accesso, scegli Crea/aggiorna ruolo. IAM kinesis-analytics-MyApplication-us-west-2

5. Scegli Crea applicazione.

1. Apri la console all'IAMindirizzo. https://console.aws.amazon.com/iam/

2. Seleziona Policy. Scegli la policy kinesis-analytics-service-MyApplication-us-west-2 creata dalla console nella sezione precedente.

3. Nella pagina Riepilogo, scegli Modifica policy. Scegli la JSONscheda.

4. Aggiungi alla policy la sezione evidenziata del seguente esempio di policy. Sostituisci l'account di esempio IDs (012345678901) con l'ID del tuo account.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::ka-app-code-username/aws-kinesis-analytics-java-apps-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           }
       ]
   }

1. Nella MyApplicationpagina, scegli Configura.

2. Nella pagina Configura applicazione, fornisci la Posizione del codice:

   • Per Bucket Amazon S3, inserisci ka-app-code-<username>.

   • Per Percorso dell'oggetto Amazon S3, inserisci aws-kinesis-analytics-java-apps-1.0.jar

3. In Accesso alle risorse dell'applicazione, per Autorizzazioni di accesso, scegli Crea/aggiorna IAM ruolo kinesis-analytics-MyApplication-us-west-2.

4. In Proprietà, per ID gruppo, inserisci ProducerConfigProperties.

5. Immetti i valori e le proprietà dell'applicazione seguenti:

   ID gruppo	Chiave	Valore
   ProducerConfigProperties	flink.inputstream.initpos	LATEST
   ProducerConfigProperties	aws.region	us-west-2
   ProducerConfigProperties	AggregationEnabled	false

6. In Monitoraggio, accertati che il Monitoraggio del livello dei parametri sia impostato su Applicazione.

7. Per la CloudWatch registrazione, seleziona la casella di controllo Abilita.

8. Scegli Aggiorna.

Per creare un ruolo IAM

1. Apri la IAM console all'indirizzo https://console.aws.amazon.com/iam/.

2. Nel riquadro di navigazione, seleziona Ruoli, quindi Crea nuovo ruolo.

3. In Seleziona tipo di identità attendibile, scegli Servizio AWS . In Scegli il servizio che utilizzerà questo ruolo, scegli Kinesis. In Seleziona il tuo caso d'uso, scegli Analisi dei dati Kinesis.

   Scegli Successivo: Autorizzazioni.

4. Nella pagina Allega policy di autorizzazione, seleziona Successivo: esamina. Collega le policy di autorizzazione dopo aver creato il ruolo.

5. Nella pagina Crea ruolo, immetti MF-stream-rw-role per Nome ruolo. Scegliere Crea ruolo.

   Ora hai creato un nuovo IAM ruolo chiamatoMF-stream-rw-role. Successivamente, aggiorna le policy di attendibilità e di autorizzazione per il ruolo.

6. Collega la policy di autorizzazione al ruolo.

   Nota

   Per questo esercizio, il servizio gestito per Apache Flink assume questo ruolo per la lettura di dati da un flusso di dati Kinesis (origine) e la scrittura dell'output in un altro flusso di dati Kinesis. Pertanto, devi collegare la policy creata nella fase precedente, Creazione di una policy di autorizzazione.

   1. Nella pagina Riepilogo, scegli la scheda Autorizzazioni.

   2. Scegliere Collega policy.

   3. Nella casella di ricerca, immetti AKReadSourceStreamWriteSinkStream (la policy creata nella sezione precedente).

   4. Scegli la AKReadSourceStreamWriteSinkStreampolitica e scegli Allega politica.

1. Salva il JSON codice seguente in un file denominato. create_request.json Sostituisci il ruolo di esempio ARN con quello ARN per il ruolo che hai creato in precedenza. Sostituite il ARN suffisso del bucket (username) con il suffisso che avete scelto nella sezione precedente. Sostituisci l'ID account di esempio (012345678901) nel ruolo di esecuzione del servizio con il tuo ID account.

   {
       "ApplicationName": "test",
       "ApplicationDescription": "my java test app",
       "RuntimeEnvironment": "FLINK-1_11",
       "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role",
       "ApplicationConfiguration": {
           "ApplicationCodeConfiguration": {
               "CodeContent": {
                   "S3ContentLocation": {
                       "BucketARN": "arn:aws:s3:::ka-app-code-username",
                       "FileKey": "aws-kinesis-analytics-java-apps-1.0.jar"
                   }
               },
               "CodeContentType": "ZIPFILE"
           },
           "EnvironmentProperties":  { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
       }
   }
   
   

2. Esegui l'operazione CreateApplication con la richiesta precedente per creare l'applicazione:

   aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

Per avviare l'applicazione

1. Salvate il JSON codice seguente in un file denominatostart_request.json.

   {
       "ApplicationName": "test",
       "RunConfiguration": {
           "ApplicationRestoreConfiguration": { 
            "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT"
            }
       }
   }
   

2. Esegui l'operazione StartApplication con la richiesta precedente per avviare l'applicazione:

   aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

Per interrompere l'applicazione

1. Salvate il JSON codice seguente in un file denominatostop_request.json.

   
   {
       "ApplicationName": "test"
   }
   

2. Esegui l'operazione StopApplication con la seguente richiesta di interrompere l'applicazione:

   aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

Per aggiornare le proprietà di ambiente per l'applicazione

1. Salvate il JSON codice seguente in un file denominatoupdate_properties_request.json.

   {"ApplicationName": "test",
      "CurrentApplicationVersionId": 1,
      "ApplicationConfigurationUpdate": { 
         "EnvironmentPropertyUpdates": { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
      }
   }
   

2. Esegui l'operazione UpdateApplication con la richiesta precedente per aggiornare le proprietà di ambiente:

   aws kinesisanalyticsv2 update-application --cli-input-json file://update_properties_request.json

1. Apri la console Kinesis in /kinesis. https://console.aws.amazon.com

2. Nel pannello Managed Service for Apache Flink, scegli. MyApplication

3. Nella pagina dell'applicazione, scegli Elimina e quindi conferma l'eliminazione.

1. Apri la console Managed Service for Apache Flink all'indirizzo /flink https://console.aws.amazon.com

2. Nel pannello Kinesis Data Streams, scegli. ExampleInputStream

3. Nella ExampleInputStreampagina, scegli Elimina Kinesis Stream e conferma l'eliminazione.

4. Nella pagina Kinesis Streams, scegli, scegli Azioni ExampleOutputStream, scegli Elimina, quindi conferma l'eliminazione.

1. Apri la console Amazon S3 all'indirizzo. https://console.aws.amazon.com/s3/

2. Scegli il ka-app-code -<username> secchio.

3. Per confermare l'eliminazione, scegli Elimina, quindi inserisci il nome del bucket.

1. Apri la IAM console all'indirizzo https://console.aws.amazon.com/iam/.

2. Nella barra di navigazione, scegli Policy.

3. Nel controllo filtro, inserisci kinesis.

4. Scegli la politica kinesis-analytics-service- MyApplication -us-west-2.

5. Seleziona Operazioni di policy e quindi Elimina.

6. Nella barra di navigazione, scegli Ruoli.

7. Scegli il ruolo kinesis-analytics- MyApplication -us-west-2.

8. Quindi scegli Elimina ruolo e conferma l'eliminazione.

1. Apri la CloudWatch console all'indirizzo https://console.aws.amazon.com/cloudwatch/.

2. Nella barra di navigazione, scegli Log.

3. Scegli il gruppo/aws/kinesis-analytics/MyApplicationlog.

4. Scegli Elimina gruppo di log e conferma l'eliminazione.

Per iscriverti a un Account AWS

1. Apri la https://portal.aws.amazon.com/billing/registrazione.

2. Segui le istruzioni online.

   Nel corso della procedura di registrazione riceverai una telefonata, durante la quale sarà necessario inserire un codice di verifica attraverso la tastiera del telefono.

   Quando ti iscrivi a un Account AWS, Utente root dell'account AWSviene creato un. L'utente root dispone dell'accesso a tutte le risorse e tutti i Servizi AWS nell'account. Come best practice di sicurezza, assegna l'accesso amministrativo a un utente e utilizza solo l'utente root per eseguire attività che richiedono l'accesso di un utente root.

Proteggi i tuoi Utente root dell'account AWS

1. Accedi AWS Management Consolecome proprietario dell'account scegliendo Utente root e inserendo il tuo indirizzo Account AWS email. Nella pagina successiva, inserisci la password.

   Per informazioni sull'accesso utilizzando un utente root, consulta la pagina Signing in as the root user della Guida per l'utente di Accedi ad AWS .

2. Attiva l'autenticazione a più fattori (MFA) per il tuo utente root.

   Per istruzioni, consulta Abilitare un MFA dispositivo virtuale per l'utente Account AWS root (console) nella Guida per l'IAMutente.

Crea un utente con accesso amministrativo

1. Abilita IAM Identity Center.

   Per istruzioni, consulta Abilitazione di AWS IAM Identity Center nella Guida per l'utente di AWS IAM Identity Center .

2. In IAM Identity Center, concedi l'accesso amministrativo a un utente.

   Per un tutorial sull'utilizzo di IAM Identity Center directory come fonte di identità, consulta Configurare l'accesso utente con i valori predefiniti IAM Identity Center directory nella Guida per l'AWS IAM Identity Center utente.

Accesso come utente amministratore

• Per accedere con l'utente dell'IAMIdentity Center, utilizza l'accesso URL che è stato inviato al tuo indirizzo e-mail quando hai creato l'utente IAM Identity Center.

  Per informazioni sull'accesso tramite un utente di IAM Identity Center, consulta Accesso al portale di AWS accesso nella Guida per l'Accedi ad AWS utente.

Assegna l'accesso a ulteriori utenti

1. In IAM Identity Center, crea un set di autorizzazioni che segua la migliore pratica di applicazione delle autorizzazioni con privilegi minimi.

   Segui le istruzioni riportate nella pagina Creazione di un set di autorizzazioni nella Guida per l'utente di AWS IAM Identity Center .

2. Assegna al gruppo prima gli utenti e poi l'accesso con autenticazione unica (Single Sign-On).

   Per istruzioni, consulta Aggiungere gruppi nella Guida per l'utente di AWS IAM Identity Center .

Per configurare il AWS CLI

1. Scarica e configura la AWS CLI. Per le istruzioni, consulta i seguenti argomenti nella Guida per l'utente dell'AWS Command Line Interface :

   • Installazione dell' AWS Command Line Interface

   • Configurazione della AWS CLI

2. Aggiungere un profilo denominato per l'utente amministratore nel AWS CLI config file. Puoi usare questo profilo quando esegui i comandi della AWS CLI . Per ulteriori informazioni sui profili denominati, consulta Profili denominati in Guida per l'utente dell'AWS Command Line Interface .

   [profile adminuser]
   aws_access_key_id = adminuser access key ID
   aws_secret_access_key = adminuser secret access key
   region = aws-region

   Per un elenco di regioni disponibili, consulta Regioni ed endpoint nella Riferimenti generali di Amazon Web Services.

   Nota

   Il codice e i comandi di esempio in questo tutorial utilizzano la regione Stati Uniti occidentali (Oregon). Per usare una AWS regione diversa, cambia la regione nel codice e nei comandi di questo tutorial con la regione che desideri utilizzare.

3. Verifica la configurazione digitando il comando help riportato di seguito al prompt dei comandi:

   aws help

Per creare i flussi di dati (AWS CLI)

1. Per creare il primo stream (ExampleInputStream), usa il seguente comando Amazon Kinesis create-stream AWS CLI .

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

2. Per creare il secondo flusso utilizzato dall'applicazione per scrivere l'output, esegui lo stesso comando, modificando il nome del flusso in ExampleOutputStream.

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

1. Crea un file denominato stock.py con i seguenti contenuti:

    
   import datetime
   import json
   import random
   import boto3
   
   STREAM_NAME = "ExampleInputStream"
   
   
   def get_data():
       return {
           "EVENT_TIME": datetime.datetime.now().isoformat(),
           "TICKER": random.choice(["AAPL", "AMZN", "MSFT", "INTC", "TBV"]),
           "PRICE": round(random.random() * 100, 2),
       }
   
   
   def generate(stream_name, kinesis_client):
       while True:
           data = get_data()
           print(data)
           kinesis_client.put_record(
               StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey"
           )
   
   
   if __name__ == "__main__":
       generate(STREAM_NAME, boto3.client("kinesis"))
   

2. Successivamente nel tutorial, esegui lo script stock.py per inviare dati all'applicazione.

   $ python stock.py

1. Clona il repository remoto con il comando seguente:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

2. Passa alla directory amazon-kinesis-data-analytics-java-examples/GettingStarted_1_8.

Per compilare il codice dell'applicazione

1. Per utilizzare il codice dell'applicazione, lo si compila e lo si impacchetta in un file. JAR È possibile compilare e creare un pacchetto del codice in uno di due modi:

   • Utilizzare lo strumento Maven a riga di comando. Create il JAR file eseguendo il comando seguente nella directory che contiene il pom.xml file:

     mvn package -Dflink.version=1.8.2

   • Utilizza il tuo ambiente di sviluppo. Per informazioni dettagliate, consulta la documentazione relativa all'ambiente di sviluppo.

     Nota

     Il codice di origine fornito si basa sulle librerie di Java 1.8. Assicurati che la versione Java del tuo progetto sia la 1.8.

   È possibile caricare il pacchetto come JAR file oppure comprimerlo e caricarlo come ZIP file. Se create l'applicazione utilizzando AWS CLI, specificate il tipo di contenuto del codice (JARoZIP).

2. Se si verificano errori durante la compilazione, verifica che la variabile di ambiente JAVA_HOME sia impostata correttamente.

Per caricare il codice dell'applicazione

1. Apri la console Amazon S3 all'indirizzo. https://console.aws.amazon.com/s3/

2. Seleziona Crea bucket.

3. Inserisci ka-app-code-<username> nel campo Nome bucket. Aggiungi un suffisso al nome del bucket, ad esempio il nome utente, per renderlo globalmente univoco. Scegli Next (Successivo).

4. Nella fase Configura opzioni, non modificare le impostazioni e scegli Successivo.

5. Nella fase Imposta autorizzazioni, non modificare le impostazioni e scegli Successivo.

6. Seleziona Crea bucket.

7. Nella console Amazon S3, scegli il - ka-app-code<username>bucket e scegli Upload.

8. Nella fase Seleziona file, scegli Aggiungi file. Individua il file aws-kinesis-analytics-java-apps-1.0.jar creato nella fase precedente. Scegli Next (Successivo).

9. Non è necessario modificare alcuna delle impostazioni dell'oggetto, quindi scegli Carica.

1. Apri la console Managed Service for Apache Flink all'indirizzo /flink https://console.aws.amazon.com

2. Nella dashboard del servizio gestito per Apache Flink, scegli Crea un'applicazione di analisi.

3. Nella pagina Servizio gestito per Apache Flink: crea applicazione, fornisci i dettagli dell'applicazione nel modo seguente:

   • Per Nome applicazione, immetti MyApplication.

   • Per Descrizione, inserisci My java test app.

   • Per Runtime, scegli Apache Flink.

   • Lascia il menu a discesa di Apache Flink 1.8 (versione consigliata).

4. Per le autorizzazioni di accesso, scegli Crea/aggiorna ruolo. IAM kinesis-analytics-MyApplication-us-west-2

5. Scegli Crea applicazione.

1. Apri la console all'IAMindirizzo. https://console.aws.amazon.com/iam/

2. Seleziona Policy. Scegli la policy kinesis-analytics-service-MyApplication-us-west-2 creata dalla console nella sezione precedente.

3. Nella pagina Riepilogo, scegli Modifica policy. Scegli la JSONscheda.

4. Aggiungi alla policy la sezione evidenziata del seguente esempio di policy. Sostituisci l'account di esempio IDs (012345678901) con l'ID del tuo account.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::ka-app-code-username/aws-kinesis-analytics-java-apps-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           }
       ]
   }

1. Nella MyApplicationpagina, scegli Configura.

2. Nella pagina Configura applicazione, fornisci la Posizione del codice:

   • Per Bucket Amazon S3, inserisci ka-app-code-<username>.

   • Per Percorso dell'oggetto Amazon S3, inserisci aws-kinesis-analytics-java-apps-1.0.jar

3. In Accesso alle risorse dell'applicazione, per Autorizzazioni di accesso, scegli Crea/aggiorna IAM ruolo kinesis-analytics-MyApplication-us-west-2.

4. Immetti i valori e le proprietà dell'applicazione seguenti:

   ID gruppo	Chiave	Valore
   ProducerConfigProperties	flink.inputstream.initpos	LATEST
   ProducerConfigProperties	aws.region	us-west-2
   ProducerConfigProperties	AggregationEnabled	false

5. In Monitoraggio, accertati che il Monitoraggio del livello dei parametri sia impostato su Applicazione.

6. Per la CloudWatch registrazione, seleziona la casella di controllo Abilita.

7. Scegli Aggiorna.

1. Nella MyApplicationpagina, scegli Esegui. Conferma l'operazione.

2. Quando l'applicazione è in esecuzione, aggiorna la pagina. La console mostra il Grafico dell'applicazione.

Per creare un ruolo IAM

1. Apri la IAM console all'indirizzo https://console.aws.amazon.com/iam/.

2. Nel riquadro di navigazione, seleziona Ruoli, quindi Crea nuovo ruolo.

3. In Seleziona tipo di identità attendibile, scegli Servizio AWS . In Scegli il servizio che utilizzerà questo ruolo, scegli Kinesis. In Seleziona il tuo caso d'uso, scegli Analisi dei dati Kinesis.

   Scegli Successivo: Autorizzazioni.

4. Nella pagina Allega policy di autorizzazione, seleziona Successivo: esamina. Collega le policy di autorizzazione dopo aver creato il ruolo.

5. Nella pagina Crea ruolo, immetti MF-stream-rw-role per Nome ruolo. Scegliere Crea ruolo.

   Ora hai creato un nuovo IAM ruolo chiamatoMF-stream-rw-role. Successivamente, aggiorna le policy di attendibilità e di autorizzazione per il ruolo.

6. Collega la policy di autorizzazione al ruolo.

   Nota

   Per questo esercizio, il servizio gestito per Apache Flink assume questo ruolo per la lettura di dati da un flusso di dati Kinesis (origine) e la scrittura dell'output in un altro flusso di dati Kinesis. Pertanto, devi collegare la policy creata nella fase precedente, Creazione di una policy di autorizzazione.

   1. Nella pagina Riepilogo, scegli la scheda Autorizzazioni.

   2. Scegliere Collega policy.

   3. Nella casella di ricerca, immetti AKReadSourceStreamWriteSinkStream (la policy creata nella sezione precedente).

   4. Scegli la AKReadSourceStreamWriteSinkStreampolitica e scegli Allega politica.

1. Salva il JSON codice seguente in un file denominato. create_request.json Sostituisci il ruolo di esempio ARN con quello ARN per il ruolo creato in precedenza. Sostituite il ARN suffisso del bucket (username) con il suffisso che avete scelto nella sezione precedente. Sostituisci l'ID account di esempio (012345678901) nel ruolo di esecuzione del servizio con il tuo ID account.

   {
       "ApplicationName": "test",
       "ApplicationDescription": "my java test app",
       "RuntimeEnvironment": "FLINK-1_8",
       "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role",
       "ApplicationConfiguration": {
           "ApplicationCodeConfiguration": {
               "CodeContent": {
                   "S3ContentLocation": {
                       "BucketARN": "arn:aws:s3:::ka-app-code-username",
                       "FileKey": "aws-kinesis-analytics-java-apps-1.0.jar"
                   }
               },
               "CodeContentType": "ZIPFILE"
           },
           "EnvironmentProperties":  { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
       }
   }
   
   

2. Esegui l'operazione CreateApplication con la richiesta precedente per creare l'applicazione:

   aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

Per avviare l'applicazione

1. Salvate il JSON codice seguente in un file denominatostart_request.json.

   {
       "ApplicationName": "test",
       "RunConfiguration": {
           "ApplicationRestoreConfiguration": { 
            "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT"
            }
       }
   }
   

2. Esegui l'operazione StartApplication con la richiesta precedente per avviare l'applicazione:

   aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

Per interrompere l'applicazione

1. Salvate il JSON codice seguente in un file denominatostop_request.json.

   
   {
      "ApplicationName": "test"
   }
   

2. Esegui l'operazione StopApplication con la seguente richiesta di interrompere l'applicazione:

   aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

Per aggiornare le proprietà di ambiente per l'applicazione

1. Salvate il JSON codice seguente in un file denominatoupdate_properties_request.json.

   {"ApplicationName": "test",
      "CurrentApplicationVersionId": 1,
      "ApplicationConfigurationUpdate": { 
         "EnvironmentPropertyUpdates": { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
      }
   }
   

2. Esegui l'operazione UpdateApplication con la richiesta precedente per aggiornare le proprietà di ambiente:

   aws kinesisanalyticsv2 update-application --cli-input-json file://update_properties_request.json

1. Apri la console Kinesis in /kinesis. https://console.aws.amazon.com

2. Nel pannello Managed Service for Apache Flink, scegli. MyApplication

3. Scegli Configura.

4. Nella sezione Snapshot, scegli Disabilita, quindi scegli Aggiorna.

5. Nella pagina dell'applicazione, scegli Elimina e conferma l'eliminazione.

1. Apri la console Managed Service for Apache Flink all'indirizzo /flink https://console.aws.amazon.com

2. Nel pannello Kinesis Data Streams, scegli. ExampleInputStream

3. Nella ExampleInputStreampagina, scegli Elimina Kinesis Stream e conferma l'eliminazione.

4. Nella pagina Kinesis Streams, scegli, scegli Azioni ExampleOutputStream, scegli Elimina, quindi conferma l'eliminazione.

1. Apri la console Amazon S3 all'indirizzo. https://console.aws.amazon.com/s3/

2. Scegli il ka-app-code -<username> secchio.

3. Per confermare l'eliminazione, scegli Elimina, quindi inserisci il nome del bucket.

1. Apri la IAM console all'indirizzo https://console.aws.amazon.com/iam/.

2. Nella barra di navigazione, scegli Policy.

3. Nel controllo filtro, inserisci kinesis.

4. Scegli la politica kinesis-analytics-service- MyApplication -us-west-2.

5. Seleziona Operazioni di policy e quindi Elimina.

6. Nella barra di navigazione, scegli Ruoli.

7. Scegli il ruolo kinesis-analytics- MyApplication -us-west-2.

8. Quindi scegli Elimina ruolo e conferma l'eliminazione.

1. Apri la CloudWatch console all'indirizzo https://console.aws.amazon.com/cloudwatch/.

2. Nella barra di navigazione, scegli Log.

3. Scegli il gruppo/aws/kinesis-analytics/MyApplicationlog.

4. Quindi scegli Elimina gruppo di log e conferma l'eliminazione.

Per iscriverti a un Account AWS

1. Apri la https://portal.aws.amazon.com/billing/registrazione.

2. Segui le istruzioni online.

   Nel corso della procedura di registrazione riceverai una telefonata, durante la quale sarà necessario inserire un codice di verifica attraverso la tastiera del telefono.

   Quando ti iscrivi a un Account AWS, Utente root dell'account AWSviene creato un. L'utente root dispone dell'accesso a tutte le risorse e tutti i Servizi AWS nell'account. Come best practice di sicurezza, assegna l'accesso amministrativo a un utente e utilizza solo l'utente root per eseguire attività che richiedono l'accesso di un utente root.

Proteggi i tuoi Utente root dell'account AWS

1. Accedi AWS Management Consolecome proprietario dell'account scegliendo Utente root e inserendo il tuo indirizzo Account AWS email. Nella pagina successiva, inserisci la password.

   Per informazioni sull'accesso utilizzando un utente root, consulta la pagina Signing in as the root user della Guida per l'utente di Accedi ad AWS .

2. Attiva l'autenticazione a più fattori (MFA) per il tuo utente root.

   Per istruzioni, consulta Abilitare un MFA dispositivo virtuale per l'utente Account AWS root (console) nella Guida per l'IAMutente.

Crea un utente con accesso amministrativo

1. Abilita IAM Identity Center.

   Per istruzioni, consulta Abilitazione di AWS IAM Identity Center nella Guida per l'utente di AWS IAM Identity Center .

2. In IAM Identity Center, concedi l'accesso amministrativo a un utente.

   Per un tutorial sull'utilizzo di IAM Identity Center directory come fonte di identità, consulta Configurare l'accesso utente con i valori predefiniti IAM Identity Center directory nella Guida per l'AWS IAM Identity Center utente.

Accesso come utente amministratore

• Per accedere con l'utente dell'IAMIdentity Center, utilizza l'accesso URL che è stato inviato al tuo indirizzo e-mail quando hai creato l'utente IAM Identity Center.

  Per informazioni sull'accesso tramite un utente di IAM Identity Center, consulta Accesso al portale di AWS accesso nella Guida per l'Accedi ad AWS utente.

Assegna l'accesso a ulteriori utenti

1. In IAM Identity Center, crea un set di autorizzazioni che segua la migliore pratica di applicazione delle autorizzazioni con privilegi minimi.

   Segui le istruzioni riportate nella pagina Creazione di un set di autorizzazioni nella Guida per l'utente di AWS IAM Identity Center .

2. Assegna al gruppo prima gli utenti e poi l'accesso con autenticazione unica (Single Sign-On).

   Per istruzioni, consulta Aggiungere gruppi nella Guida per l'utente di AWS IAM Identity Center .

Per configurare il AWS CLI

1. Scarica e configura la AWS CLI. Per le istruzioni, consulta i seguenti argomenti nella Guida per l'utente dell'AWS Command Line Interface :

   • Installazione dell' AWS Command Line Interface

   • Configurazione della AWS CLI

2. Aggiungere un profilo denominato per l'utente amministratore nel AWS CLI config file. Puoi usare questo profilo quando esegui i comandi della AWS CLI . Per ulteriori informazioni sui profili denominati, consulta Profili denominati in Guida per l'utente dell'AWS Command Line Interface .

   [profile adminuser]
   aws_access_key_id = adminuser access key ID
   aws_secret_access_key = adminuser secret access key
   region = aws-region

   Per un elenco delle AWS regioni disponibili, consulta Regioni ed endpoint in. Riferimenti generali di Amazon Web Services

   Nota

   Il codice e i comandi di esempio in questo tutorial utilizzano la regione Stati Uniti occidentali (Oregon). Per utilizzare una regione diversa, sostituisci la regione nel codice e nei comandi di questo tutorial con quella che desideri utilizzare.

3. Verifica la configurazione digitando il comando help riportato di seguito al prompt dei comandi:

   aws help

Per creare i flussi di dati (AWS CLI)

1. Per creare il primo stream (ExampleInputStream), usa il seguente comando Amazon Kinesis create-stream AWS CLI .

   $ aws kinesis create-stream \
   --stream-name ExampleInputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

2. Per creare il secondo flusso utilizzato dall'applicazione per scrivere l'output, esegui lo stesso comando, modificando il nome del flusso in ExampleOutputStream.

   $ aws kinesis create-stream \
   --stream-name ExampleOutputStream \
   --shard-count 1 \
   --region us-west-2 \
   --profile adminuser

1. Crea un file denominato stock.py con i seguenti contenuti:

    
   import datetime
   import json
   import random
   import boto3
   
   STREAM_NAME = "ExampleInputStream"
   
   
   def get_data():
       return {
           "EVENT_TIME": datetime.datetime.now().isoformat(),
           "TICKER": random.choice(["AAPL", "AMZN", "MSFT", "INTC", "TBV"]),
           "PRICE": round(random.random() * 100, 2),
       }
   
   
   def generate(stream_name, kinesis_client):
       while True:
           data = get_data()
           print(data)
           kinesis_client.put_record(
               StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey"
           )
   
   
   if __name__ == "__main__":
       generate(STREAM_NAME, boto3.client("kinesis"))
   

2. Successivamente nel tutorial, esegui lo script stock.py per inviare dati all'applicazione.

   $ python stock.py

1. Clona il repository remoto con il comando seguente:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

2. Passa alla directory amazon-kinesis-data-analytics-java-examples/GettingStarted_1_6.

Per compilare il codice dell'applicazione

1. Per utilizzare il codice dell'applicazione, lo si compila e lo si impacchetta in un file. JAR È possibile compilare e creare un pacchetto del codice in uno di due modi:

   • Utilizzare lo strumento Maven a riga di comando. Create il JAR file eseguendo il comando seguente nella directory che contiene il pom.xml file:

     mvn package

     Nota

     Il parametro -DFLink.version non è richiesto per il servizio gestito per il runtime di Apache Flink versione 1.0.1; è richiesto solo per la versione 1.1.0 e successive. Per ulteriori informazioni, consulta Specificate la versione Apache Flink dell'applicazione.

   • Utilizza il tuo ambiente di sviluppo. Per informazioni dettagliate, consulta la documentazione relativa all'ambiente di sviluppo.

   È possibile caricare il pacchetto come JAR file oppure comprimerlo e caricarlo come ZIP file. Se create l'applicazione utilizzando AWS CLI, specificate il tipo di contenuto del codice (JARoZIP).

2. Se si verificano errori durante la compilazione, verifica che la variabile di ambiente JAVA_HOME sia impostata correttamente.

Per caricare il codice dell'applicazione

1. Apri la console Amazon S3 all'indirizzo. https://console.aws.amazon.com/s3/

2. Seleziona Crea bucket.

3. Inserisci ka-app-code-<username> nel campo Nome bucket. Aggiungi un suffisso al nome del bucket, ad esempio il nome utente, per renderlo globalmente univoco. Scegli Next (Successivo).

4. Nella fase Configura opzioni, non modificare le impostazioni e scegli Successivo.

5. Nella fase Imposta autorizzazioni, non modificare le impostazioni e scegli Successivo.

6. Seleziona Crea bucket.

7. Nella console Amazon S3, scegli il - ka-app-code<username>bucket e scegli Upload.

8. Nella fase Seleziona file, scegli Aggiungi file. Individua il file aws-kinesis-analytics-java-apps-1.0.jar creato nella fase precedente. Scegli Next (Successivo).

9. Nella fase Imposta autorizzazioni, non modificare le impostazioni. Scegli Next (Successivo).

10. Nella fase Imposta proprietà, non modificare le impostazioni. Scegli Carica.

1. Apri la console Managed Service for Apache Flink all'indirizzo /flink https://console.aws.amazon.com

2. Nella dashboard del servizio gestito per Apache Flink, scegli Crea un'applicazione di analisi.

3. Nella pagina Servizio gestito per Apache Flink: crea applicazione, fornisci i dettagli dell'applicazione nel modo seguente:

   • Per Nome applicazione, immetti MyApplication.

   • Per Descrizione, inserisci My java test app.

   • Per Runtime, scegli Apache Flink.

     Nota

     Il servizio gestito per Apache Flink utilizza Apache Flink versione 1.8.2 o 1.6.2.

   • Cambia il menu a discesa della versione in quello di Apache Flink 1.6.

4. Per le autorizzazioni di accesso, scegli Crea/aggiorna ruolo. IAM kinesis-analytics-MyApplication-us-west-2

5. Scegli Crea applicazione.

1. Apri la console all'IAMindirizzo. https://console.aws.amazon.com/iam/

2. Seleziona Policy. Scegli la policy kinesis-analytics-service-MyApplication-us-west-2 creata dalla console nella sezione precedente.

3. Nella pagina Riepilogo, scegli Modifica policy. Scegli la JSONscheda.

4. Aggiungi alla policy la sezione evidenziata del seguente esempio di policy. Sostituisci l'account di esempio IDs (012345678901) con l'ID del tuo account.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::ka-app-code-username/java-getting-started-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           }
       ]
   }

1. Nella MyApplicationpagina, scegli Configura.

2. Nella pagina Configura applicazione, fornisci la Posizione del codice:

   • Per Bucket Amazon S3, inserisci ka-app-code-<username>.

   • Per Percorso dell'oggetto Amazon S3, inserisci java-getting-started-1.0.jar

3. In Accesso alle risorse dell'applicazione, per Autorizzazioni di accesso, scegli Crea/aggiorna IAM ruolo kinesis-analytics-MyApplication-us-west-2.

4. Immetti i valori e le proprietà dell'applicazione seguenti:

   ID gruppo	Chiave	Valore
   ProducerConfigProperties	flink.inputstream.initpos	LATEST
   ProducerConfigProperties	aws.region	us-west-2
   ProducerConfigProperties	AggregationEnabled	false

5. In Monitoraggio, accertati che il Monitoraggio del livello dei parametri sia impostato su Applicazione.

6. Per la CloudWatch registrazione, seleziona la casella di controllo Abilita.

7. Scegli Aggiorna.

1. Nella MyApplicationpagina, scegli Esegui. Conferma l'operazione.

2. Quando l'applicazione è in esecuzione, aggiorna la pagina. La console mostra il Grafico dell'applicazione.

Per creare un ruolo IAM

1. Apri la IAM console all'indirizzo https://console.aws.amazon.com/iam/.

2. Nel riquadro di navigazione, seleziona Ruoli, quindi Crea nuovo ruolo.

3. In Seleziona tipo di identità attendibile, scegli Servizio AWS . In Scegli il servizio che utilizzerà questo ruolo, scegli Kinesis. In Seleziona il tuo caso d'uso, scegli Analisi dei dati Kinesis.

   Scegli Successivo: Autorizzazioni.

4. Nella pagina Allega policy di autorizzazione, seleziona Successivo: esamina. Collega le policy di autorizzazione dopo aver creato il ruolo.

5. Nella pagina Crea ruolo, immetti MF-stream-rw-role per Nome ruolo. Scegliere Crea ruolo.

   Ora hai creato un nuovo IAM ruolo chiamatoMF-stream-rw-role. Successivamente, aggiorna le policy di attendibilità e di autorizzazione per il ruolo.

6. Collega la policy di autorizzazione al ruolo.

   Nota

   Per questo esercizio, il servizio gestito per Apache Flink assume questo ruolo per la lettura di dati da un flusso di dati Kinesis (origine) e la scrittura dell'output in un altro flusso di dati Kinesis. Pertanto, devi collegare la policy creata nella fase precedente, Creazione di una policy di autorizzazione.

   1. Nella pagina Riepilogo, scegli la scheda Autorizzazioni.

   2. Scegliere Collega policy.

   3. Nella casella di ricerca, immetti AKReadSourceStreamWriteSinkStream (la policy creata nella sezione precedente).

   4. Scegli la AKReadSourceStreamWriteSinkStreampolitica e scegli Allega politica.

1. Salva il JSON codice seguente in un file denominato. create_request.json Sostituisci il ruolo di esempio ARN con quello ARN per il ruolo creato in precedenza. Sostituite il ARN suffisso del bucket (username) con il suffisso che avete scelto nella sezione precedente. Sostituisci l'ID account di esempio (012345678901) nel ruolo di esecuzione del servizio con il tuo ID account.

   {
       "ApplicationName": "test",
       "ApplicationDescription": "my java test app",
       "RuntimeEnvironment": "FLINK-1_6",
       "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role",
       "ApplicationConfiguration": {
           "ApplicationCodeConfiguration": {
               "CodeContent": {
                   "S3ContentLocation": {
                       "BucketARN": "arn:aws:s3:::ka-app-code-username",
                       "FileKey": "java-getting-started-1.0.jar"
                   }
               },
               "CodeContentType": "ZIPFILE"
           },
           "EnvironmentProperties":  { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
       }
   }
   
   

2. Esegui l'operazione CreateApplication con la richiesta precedente per creare l'applicazione:

   aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

Per avviare l'applicazione

1. Salvate il JSON codice seguente in un file denominatostart_request.json.

   {
       "ApplicationName": "test",
       "RunConfiguration": {
           "ApplicationRestoreConfiguration": { 
            "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT"
            }
       }
   }
   

2. Esegui l'operazione StartApplication con la richiesta precedente per avviare l'applicazione:

   aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

Per interrompere l'applicazione

1. Salvate il JSON codice seguente in un file denominatostop_request.json.

   {
      "ApplicationName": "test"
   }
   

2. Esegui l'operazione StopApplication con la seguente richiesta di interrompere l'applicazione:

   aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

Per aggiornare le proprietà di ambiente per l'applicazione

1. Salvate il JSON codice seguente in un file denominatoupdate_properties_request.json.

   {"ApplicationName": "test",
      "CurrentApplicationVersionId": 1,
      "ApplicationConfigurationUpdate": { 
         "EnvironmentPropertyUpdates": { 
            "PropertyGroups": [ 
               { 
                  "PropertyGroupId": "ProducerConfigProperties",
                  "PropertyMap" : {
                       "flink.stream.initpos" : "LATEST",
                       "aws.region" : "us-west-2",
                       "AggregationEnabled" : "false"
                  }
               },
               { 
                  "PropertyGroupId": "ConsumerConfigProperties",
                  "PropertyMap" : {
                       "aws.region" : "us-west-2"
                  }
               }
            ]
         }
      }
   }
   

2. Esegui l'operazione UpdateApplication con la richiesta precedente per aggiornare le proprietà di ambiente:

   aws kinesisanalyticsv2 update-application --cli-input-json file://update_properties_request.json

1. Apri la console Kinesis in /kinesis. https://console.aws.amazon.com

2. Nel pannello Managed Service for Apache Flink, scegli. MyApplication

3. Scegli Configura.

4. Nella sezione Snapshot, scegli Disabilita, quindi scegli Aggiorna.

5. Nella pagina dell'applicazione, scegli Elimina e conferma l'eliminazione.

1. Apri la console Managed Service for Apache Flink all'indirizzo /flink https://console.aws.amazon.com

2. Nel pannello Kinesis Data Streams, scegli. ExampleInputStream

3. Nella ExampleInputStreampagina, scegli Elimina Kinesis Stream e conferma l'eliminazione.

4. Nella pagina Kinesis Streams, scegli, scegli Azioni ExampleOutputStream, scegli Elimina, quindi conferma l'eliminazione.

1. Apri la console Amazon S3 all'indirizzo. https://console.aws.amazon.com/s3/

2. Scegli il ka-app-code -<username> secchio.

3. Per confermare l'eliminazione, scegli Elimina, quindi inserisci il nome del bucket.

1. Apri la IAM console all'indirizzo https://console.aws.amazon.com/iam/.

2. Nella barra di navigazione, scegli Policy.

3. Nel controllo filtro, inserisci kinesis.

4. Scegli la politica kinesis-analytics-service- MyApplication -us-west-2.

5. Seleziona Operazioni di policy e quindi Elimina.

6. Nella barra di navigazione, scegli Ruoli.

7. Scegli il ruolo kinesis-analytics- MyApplication -us-west-2.

8. Quindi scegli Elimina ruolo e conferma l'eliminazione.

1. Apri la CloudWatch console all'indirizzo https://console.aws.amazon.com/cloudwatch/.

2. Nella barra di navigazione, scegli Log.

3. Scegli il gruppo/aws/kinesis-analytics/MyApplicationlog.

4. Quindi scegli Elimina gruppo di log e conferma l'eliminazione.

1. Crea un file denominato stock.py con i seguenti contenuti:

   
       import datetime
       import json
       import random
       import boto3
   
       STREAM_NAME = "ExampleInputStream"
   
   
       def get_data():
           return {
               'event_time': datetime.datetime.now().isoformat(),
               'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']),
               'price': round(random.random() * 100, 2)}
   
   
       def generate(stream_name, kinesis_client):
           while True:
               data = get_data()
               print(data)
               kinesis_client.put_record(
                   StreamName=stream_name,
                   Data=json.dumps(data),
                   PartitionKey="partitionkey")
   
   
       if __name__ == '__main__':
           generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2'))

2. Esegui lo script stock.py:

   $ python stock.py

   Mantieni lo script in esecuzione mentre completi il resto del tutorial.

1. Installa il client Git se non lo hai già fatto. Per ulteriori informazioni, consulta Installazione di Git.

2. Clona il repository remoto con il comando seguente:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

3. Passa alla directory amazon-kinesis-data-analytics-java-examples/TumblingWindow.

1. Installa Java e Maven se non lo hai già fatto. Per ulteriori informazioni, consulta Completa i prerequisiti richiesti nel tutorial Tutorial: inizia a usare Managed Service for Apache Flink DataStream API.

2. Compila l'applicazione con il seguente comando:

   mvn package -Dflink.version=1.15.3

   Nota

   Il codice di origine fornito si basa sulle librerie di Java 11.

1. Nella console Amazon S3, scegli il - ka-app-code<username>bucket e scegli Upload.

2. Nella fase Seleziona file, scegli Aggiungi file. Individua il file aws-kinesis-analytics-java-apps-1.0.jar creato nella fase precedente.

3. Non è necessario modificare alcuna delle impostazioni dell'oggetto, quindi scegli Carica.

1. Apri la console Managed Service for Apache Flink all'indirizzo /flink https://console.aws.amazon.com

2. Nella dashboard del servizio gestito per Apache Flink, scegli Crea un'applicazione di analisi.

3. Nella pagina Servizio gestito per Apache Flink: crea applicazione, fornisci i dettagli dell'applicazione nel modo seguente:

   • Per Nome applicazione, inserisci MyApplication.

   • Per Runtime, scegli Apache Flink.

     Nota

     Il servizio gestito per Apache Flink utilizza Apache Flink versione 1.15.2.

   • Lascia il menu a discesa di Apache Flink 1.15.2 (versione consigliata).

4. Per le autorizzazioni di accesso, scegli Crea/aggiorna ruolo. IAM kinesis-analytics-MyApplication-us-west-2

5. Scegli Crea applicazione.

1. Apri la console all'IAMindirizzo. https://console.aws.amazon.com/iam/

2. Seleziona Policy. Scegli la policy kinesis-analytics-service-MyApplication-us-west-2 creata dalla console nella sezione precedente.

3. Nella pagina Riepilogo, scegli Modifica policy. Scegli la JSONscheda.

4. Aggiungi alla policy la sezione evidenziata del seguente esempio di policy. Sostituisci l'account di esempio IDs (012345678901) con l'ID del tuo account.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "logs:DescribeLogGroups",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*",
                   "arn:aws:s3:::ka-app-code-<username>/aws-kinesis-analytics-java-apps-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": "logs:DescribeLogStreams",
               "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": "logs:PutLogEvents",
               "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
           },
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           }
       ]
   }

1. Nella MyApplicationpagina, scegli Configura.

2. Nella pagina Configura applicazione, fornisci la Posizione del codice:

   • Per Bucket Amazon S3, inserisci ka-app-code-<username>.

   • Per Percorso dell'oggetto Amazon S3, inserisci aws-kinesis-analytics-java-apps-1.0.jar

3. In Accesso alle risorse dell'applicazione, per Autorizzazioni di accesso, scegli Crea/aggiorna IAM ruolo kinesis-analytics-MyApplication-us-west-2.

4. In Monitoraggio, accertati che il Monitoraggio del livello dei parametri sia impostato su Applicazione.

5. Per la CloudWatch registrazione, seleziona la casella di controllo Abilita.

6. Scegli Aggiorna.

1. Nella MyApplicationpagina, scegli Esegui. Lascia selezionata l'opzione Esegui senza snapshot e conferma l'operazione.

2. Quando l'applicazione è in esecuzione, aggiorna la pagina. La console mostra il Grafico dell'applicazione.

1. Apri la console Managed Service for Apache Flink all'indirizzo /flink https://console.aws.amazon.com

2. nel pannello Managed Service for Apache Flink, scegliete. MyApplication

3. Nella pagina dell'applicazione, scegli Elimina e quindi conferma l'eliminazione.

1. Apri la console Kinesis in /kinesis. https://console.aws.amazon.com

2. Nel pannello Kinesis Data Streams, scegli. ExampleInputStream

3. Nella ExampleInputStreampagina, scegli Elimina Kinesis Stream e conferma l'eliminazione.

4. Nella pagina Kinesis Streams, scegli, scegli Azioni ExampleOutputStream, scegli Elimina, quindi conferma l'eliminazione.

1. Apri la console Amazon S3 all'indirizzo. https://console.aws.amazon.com/s3/

2. Scegli il ka-app-code -<username> secchio.

3. Per confermare l'eliminazione, scegli Elimina, quindi inserisci il nome del bucket.

1. Apri la IAM console all'indirizzo https://console.aws.amazon.com/iam/.

2. Nella barra di navigazione, scegli Policy.

3. Nel controllo filtro, inserisci kinesis.

4. Scegli la politica kinesis-analytics-service- MyApplication -us-west-2.

5. Seleziona Operazioni di policy e quindi Elimina.

6. Nella barra di navigazione, scegli Ruoli.

7. Scegli il ruolo kinesis-analytics- MyApplication -us-west-2.

8. Quindi scegli Elimina ruolo e conferma l'eliminazione.

1. Apri la CloudWatch console all'indirizzo https://console.aws.amazon.com/cloudwatch/.

2. Nella barra di navigazione, scegli Log.

3. Scegli il gruppo/aws/kinesis-analytics/MyApplicationlog.

4. Scegli Elimina gruppo di log e conferma l'eliminazione.

1. Crea un file denominato stock.py con i seguenti contenuti:

    
   import datetime
   import json
   import random
   import boto3
   
   STREAM_NAME = "ExampleInputStream"
   
   
   def get_data():
       return {
           "EVENT_TIME": datetime.datetime.now().isoformat(),
           "TICKER": random.choice(["AAPL", "AMZN", "MSFT", "INTC", "TBV"]),
           "PRICE": round(random.random() * 100, 2),
       }
   
   
   def generate(stream_name, kinesis_client):
       while True:
           data = get_data()
           print(data)
           kinesis_client.put_record(
               StreamName=stream_name, Data=json.dumps(data), PartitionKey="partitionkey"
           )
   
   
   if __name__ == "__main__":
       generate(STREAM_NAME, boto3.client("kinesis"))
   

2. Esegui lo script stock.py:

   $ python stock.py

   Mantieni lo script in esecuzione mentre completi il resto del tutorial.

1. Installa il client Git se non lo hai già fatto. Per ulteriori informazioni, consulta Installazione di Git.

2. Clona il repository remoto con il comando seguente:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

3. Passa alla directory amazon-kinesis-data-analytics-java-examples/SlidingWindow.

1. Installa Java e Maven se non lo hai già fatto. Per ulteriori informazioni, consulta Completa i prerequisiti richiesti nel tutorial Tutorial: inizia a usare Managed Service for Apache Flink DataStream API.

2. Compila l'applicazione con il seguente comando:

   mvn package -Dflink.version=1.15.3

   Nota

   Il codice di origine fornito si basa sulle librerie di Java 11.

1. Nella console Amazon S3, scegli il - ka-app-code<username>bucket, quindi scegli Upload.

2. Nella fase Seleziona file, scegli Aggiungi file. Individua il file aws-kinesis-analytics-java-apps-1.0.jar creato nella fase precedente.

3. Non è necessario modificare alcuna delle impostazioni dell'oggetto, quindi scegli Carica.

1. Apri la console Managed Service for Apache Flink all'indirizzo /flink https://console.aws.amazon.com

2. Nella dashboard del servizio gestito per Apache Flink, scegli Crea un'applicazione di analisi.

3. Nella pagina Servizio gestito per Apache Flink: crea applicazione, fornisci i dettagli dell'applicazione nel modo seguente:

   • Per Nome applicazione, inserisci MyApplication.

   • Per Runtime, scegli Apache Flink.

   • Lascia il menu a discesa di Apache Flink 1.15.2 (versione consigliata).

4. Per le autorizzazioni di accesso, scegli Crea/aggiorna ruolo. IAM kinesis-analytics-MyApplication-us-west-2

5. Scegli Crea applicazione.

1. Apri la console all'IAMindirizzo. https://console.aws.amazon.com/iam/

2. Seleziona Policy. Scegli la policy kinesis-analytics-service-MyApplication-us-west-2 creata dalla console nella sezione precedente.

3. Nella pagina Riepilogo, scegli Modifica policy. Scegli la JSONscheda.

4. Aggiungi alla policy la sezione evidenziata del seguente esempio di policy. Sostituisci l'account di esempio IDs (012345678901) con l'ID del tuo account.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "logs:DescribeLogGroups",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*",
                   "arn:aws:s3:::ka-app-code-<username>/aws-kinesis-analytics-java-apps-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": "logs:DescribeLogStreams",
               "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": "logs:PutLogEvents",
               "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
           },
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           }
       ]
   }

1. Nella MyApplicationpagina, scegli Configura.

2. Nella pagina Configura applicazione, fornisci la Posizione del codice:

   • Per Bucket Amazon S3, inserisci ka-app-code-<username>.

   • Per Percorso dell'oggetto Amazon S3, inserisci aws-kinesis-analytics-java-apps-1.0.jar

3. In Accesso alle risorse dell'applicazione, per Autorizzazioni di accesso, scegli Crea/aggiorna IAM ruolo kinesis-analytics-MyApplication-us-west-2.

4. In Monitoraggio, accertati che il Monitoraggio del livello dei parametri sia impostato su Applicazione.

5. Per la CloudWatch registrazione, seleziona la casella di controllo Abilita.

6. Scegli Aggiorna.

1. Apri la console Managed Service for Apache Flink all'indirizzo /flink https://console.aws.amazon.com

2. Nel pannello Managed Service for Apache Flink, scegliete. MyApplication

3. Nella pagina dell'applicazione, scegli Elimina e quindi conferma l'eliminazione.

1. Apri la console Kinesis in /kinesis. https://console.aws.amazon.com

2. Nel pannello Kinesis Data Streams, scegli. ExampleInputStream

3. Nella ExampleInputStreampagina, scegli Elimina Kinesis Stream e conferma l'eliminazione.

4. Nella pagina Kinesis Streams, scegli, scegli Azioni ExampleOutputStream, scegli Elimina, quindi conferma l'eliminazione.

1. Apri la console Amazon S3 all'indirizzo. https://console.aws.amazon.com/s3/

2. Scegli il ka-app-code -<username> secchio.

3. Per confermare l'eliminazione, scegli Elimina, quindi inserisci il nome del bucket.

1. Apri la IAM console all'indirizzo https://console.aws.amazon.com/iam/.

2. Nella barra di navigazione, scegli Policy.

3. Nel controllo filtro, inserisci kinesis.

4. Scegli la politica kinesis-analytics-service- MyApplication -us-west-2.

5. Seleziona Operazioni di policy e quindi Elimina.

6. Nella barra di navigazione, scegli Ruoli.

7. Scegli il ruolo kinesis-analytics- MyApplication -us-west-2.

8. Quindi scegli Elimina ruolo e conferma l'eliminazione.

1. Apri la CloudWatch console all'indirizzo https://console.aws.amazon.com/cloudwatch/.

2. Nella barra di navigazione, scegli Log.

3. Scegli il gruppo/aws/kinesis-analytics/MyApplicationlog.

4. Scegli Elimina gruppo di log e conferma l'eliminazione.

1. Crea un file denominato stock.py con i seguenti contenuti:

   
       import datetime
       import json
       import random
       import boto3
   
       STREAM_NAME = "ExampleInputStream"
   
   
       def get_data():
           return {
               'event_time': datetime.datetime.now().isoformat(),
               'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']),
               'price': round(random.random() * 100, 2)}
   
   
       def generate(stream_name, kinesis_client):
           while True:
               data = get_data()
               print(data)
               kinesis_client.put_record(
                   StreamName=stream_name,
                   Data=json.dumps(data),
                   PartitionKey="partitionkey")
   
   
       if __name__ == '__main__':
           generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2'))

2. Esegui lo script stock.py:

   $ python stock.py

   Mantieni lo script in esecuzione mentre completi il resto del tutorial.

1. Installa il client Git se non lo hai già fatto. Per ulteriori informazioni, consulta Installazione di Git.

2. Clona il repository remoto con il comando seguente:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

3. Passa alla directory amazon-kinesis-data-analytics-java-examples/S3Sink.

1. Installa Java e Maven se non lo hai già fatto. Per ulteriori informazioni, consulta Completa i prerequisiti richiesti nel tutorial Tutorial: inizia a usare Managed Service for Apache Flink DataStream API.

2. Compila l'applicazione con il seguente comando:

   mvn package -Dflink.version=1.15.3

1. Nella console Amazon S3, scegli il - ka-app-code<username>bucket, vai alla cartella del codice e scegli Carica.

2. Nella fase Seleziona file, scegli Aggiungi file. Individua il file aws-kinesis-analytics-java-apps-1.0.jar creato nella fase precedente.

3. Non è necessario modificare alcuna delle impostazioni dell'oggetto, quindi scegli Carica.

1. Apri la console Managed Service for Apache Flink all'indirizzo /flink https://console.aws.amazon.com

2. Nella dashboard del servizio gestito per Apache Flink, scegli Crea un'applicazione di analisi.

3. Nella pagina Servizio gestito per Apache Flink: crea applicazione, fornisci i dettagli dell'applicazione nel modo seguente:

   • Per Nome applicazione, inserisci MyApplication.

   • Per Runtime, scegli Apache Flink.

   • Lascia il menu a discesa di Apache Flink 1.15.2 (versione consigliata).

4. Per le autorizzazioni di accesso, scegli Crea/aggiorna ruolo. IAM kinesis-analytics-MyApplication-us-west-2

5. Scegli Crea applicazione.

   Nota

   Quando crei un servizio gestito per l'applicazione Apache Flink utilizzando la console, hai la possibilità di creare un IAM ruolo e una policy per la tua applicazione. L'applicazione utilizza questo ruolo e questa policy per accedere alle sue risorse dipendenti. Queste IAM risorse vengono denominate utilizzando il nome e la regione dell'applicazione come segue:

   • Per Nome applicazione, inserisci MyApplication.

   • Per Runtime, scegli Apache Flink.

   • Lascia la versione Apache Flink 1.15.2 (versione consigliata).

6. Per le autorizzazioni di accesso, scegli Crea/aggiorna IAM ruolo kinesis-analytics-MyApplication-us-west-2.

7. Scegli Crea applicazione.

1. Apri la IAM console all'indirizzo. https://console.aws.amazon.com/iam/

2. Seleziona Policy. Scegli la policy kinesis-analytics-service-MyApplication-us-west-2 creata dalla console nella sezione precedente.

3. Nella pagina Riepilogo, scegli Modifica policy. Scegli la JSONscheda.

4. Aggiungi alla policy la sezione evidenziata del seguente esempio di policy. Sostituisci l'account di esempio IDs (012345678901) con l'ID del tuo account. Sostituisci <username> con il tuo nome utente.

   {
               "Sid": "S3",
               "Effect": "Allow",
               "Action": [
                   "s3:Abort*",
                   "s3:DeleteObject*",
                   "s3:GetObject*",
                   "s3:GetBucket*",
                   "s3:List*",
                   "s3:ListBucket",
                   "s3:PutObject"
               ],
               "Resource": [
                   "arn:aws:s3:::ka-app-code-<username>",
                   "arn:aws:s3:::ka-app-code-<username>/*"
               ]
             }, 
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:region:account-id:log-group:*"
               ]
           },
           {
               "Sid": "ListCloudwatchLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
               ],
               "Resource": [
                   "arn:aws:logs:region:account-id:log-group:%LOG_GROUP_PLACEHOLDER%:log-stream:*"
               ]
           },
           {
               "Sid": "PutCloudwatchLogs",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:region:account-id:log-group:%LOG_GROUP_PLACEHOLDER%:log-stream:%LOG_STREAM_PLACEHOLDER%"
               ]
           }
           ,
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           
       ]
   }

1. Nella MyApplicationpagina, scegli Configura.

2. Nella pagina Configura applicazione, fornisci la Posizione del codice:

   • Per Bucket Amazon S3, inserisci ka-app-code-<username>.

   • Per Percorso dell'oggetto Amazon S3, inserisci code/aws-kinesis-analytics-java-apps-1.0.jar

3. In Accesso alle risorse dell'applicazione, per Autorizzazioni di accesso, scegli Crea/aggiorna IAM ruolo kinesis-analytics-MyApplication-us-west-2.

4. In Monitoraggio, accertati che il Monitoraggio del livello dei parametri sia impostato su Applicazione.

5. Per la CloudWatch registrazione, seleziona la casella di controllo Abilita.

6. Scegli Aggiorna.

1. Nella MyApplicationpagina, scegli Esegui. Lascia selezionata l'opzione Esegui senza snapshot e conferma l'operazione.

2. Quando l'applicazione è in esecuzione, aggiorna la pagina. La console mostra il Grafico dell'applicazione.

1. Aggiungi le seguenti istruzioni d'importazione all'inizio del file S3StreamingSinkJob.java:

   import org.apache.flink.streaming.api.functions.sink.filesystem.rollingpolicies.DefaultRollingPolicy;
   import org.apache.flink.streaming.api.functions.sink.filesystem.bucketassigners.DateTimeBucketAssigner;

2. Aggiorna il metodo createS3SinkFromStaticConfig() nel codice in modo che sia simile a quanto segue:

   private static StreamingFileSink<String> createS3SinkFromStaticConfig() {
   
       final StreamingFileSink<String> sink = StreamingFileSink
           .forRowFormat(new Path(s3SinkPath), new SimpleStringEncoder<String>("UTF-8"))
           .withBucketAssigner(new DateTimeBucketAssigner("yyyy-MM-dd--HH"))
           .withRollingPolicy(DefaultRollingPolicy.create().build())
           .build();
       return sink;
   }
               

1. Aumenta l'impostazione CheckpointInterval dell'applicazione. Il seguente input per l' UpdateApplicationazione imposta l'intervallo del checkpoint su 10 minuti:

   {
      "ApplicationConfigurationUpdate": {  
         "FlinkApplicationConfigurationUpdate": { 
            "CheckpointConfigurationUpdate": {
               "ConfigurationTypeUpdate" : "CUSTOM", 
               "CheckpointIntervalUpdate": 600000
            }
         }
      },
      "ApplicationName": "MyApplication",
      "CurrentApplicationVersionId": 5
   }

   Per utilizzare il codice precedente, specifica la versione dell'applicazione corrente. È possibile recuperare la versione dell'applicazione utilizzando l'azione. ListApplications

2. Aggiungi la seguente istruzione d'importazione all'inizio del file S3StreamingSinkJob.java:

   import java.util.concurrent.TimeUnit; 

3. Aggiorna il metodo createS3SinkFromStaticConfig nel file S3StreamingSinkJob.java in modo che abbia il seguente aspetto:

   private static StreamingFileSink<String> createS3SinkFromStaticConfig() {
   
           final StreamingFileSink<String> sink = StreamingFileSink
                   .forRowFormat(new Path(s3SinkPath), new SimpleStringEncoder<String>("UTF-8"))
                   .withBucketAssigner(new DateTimeBucketAssigner("yyyy-MM-dd--HH"))
                   .withRollingPolicy(
                           DefaultRollingPolicy.create()
                               .withRolloverInterval(TimeUnit.MINUTES.toMillis(8))
                               .withInactivityInterval(TimeUnit.MINUTES.toMillis(5))
                               .withMaxPartSize(1024 * 1024 * 1024)
                               .build())
                   .build();
           return sink;
       }

   L'esempio di codice precedente imposta la frequenza di scrittura nel bucket Amazon S3 su 8 minuti.

1. Apri la console Managed Service for Apache Flink all'indirizzo /flink https://console.aws.amazon.com

2. Nel pannello Managed Service for Apache Flink, scegliete. MyApplication

3. Nella pagina dell'applicazione, scegli Elimina e conferma l'eliminazione.

1. Apri la console Kinesis in /kinesis. https://console.aws.amazon.com

2. Nel pannello Kinesis Data Streams, scegli. ExampleInputStream

3. Nella ExampleInputStreampagina, scegli Elimina Kinesis Stream e conferma l'eliminazione.

1. Apri la console Amazon S3 all'indirizzo. https://console.aws.amazon.com/s3/

2. Scegli il ka-app-code -<username> secchio.

3. Per confermare l'eliminazione, scegli Elimina, quindi inserisci il nome del bucket.

1. Apri la IAM console all'indirizzo https://console.aws.amazon.com/iam/.

2. Nella barra di navigazione, scegli Policy.

3. Nel controllo filtro, inserisci kinesis.

4. Scegli la politica kinesis-analytics-service- MyApplication -us-west-2.

5. Seleziona Operazioni di policy e quindi Elimina.

6. Nella barra di navigazione, scegli Ruoli.

7. Scegli il ruolo kinesis-analytics- MyApplication -us-west-2.

8. Quindi scegli Elimina ruolo e conferma l'eliminazione.

1. Apri la CloudWatch console all'indirizzo https://console.aws.amazon.com/cloudwatch/.

2. Nella barra di navigazione, scegli Log.

3. Scegli il gruppo/aws/kinesis-analytics/MyApplicationlog.

4. Quindi scegli Elimina gruppo di log e conferma l'eliminazione.

1. Installa il client Git se non lo hai già fatto. Per ulteriori informazioni, consulta Installazione di Git.

2. Clona il repository remoto con il comando seguente:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

3. Il codice dell'applicazione si trova nel file amazon-kinesis-data-analytics-java-examples/KafkaConnectors/KafkaGettingStartedJob.java. È possibile esaminare il codice per acquisire familiarità con la struttura del codice dell'applicazione del servizio gestito per Apache Flink.

4. Usa lo strumento Maven da riga di comando o il tuo ambiente di sviluppo preferito per creare il file. JAR Per compilare il JAR file utilizzando lo strumento Maven da riga di comando, inserisci quanto segue:

   mvn package -Dflink.version=1.15.3

   Se la compilazione ha esito positivo, viene creato il file seguente:

   target/KafkaGettingStartedJob-1.0.jar

   Nota

   Il codice di origine fornito si basa sulle librerie di Java 11. Se utilizzi un ambiente di sviluppo,

1. Nella console Amazon S3, scegli il - ka-app-code<username>bucket e scegli Upload.

2. Nella fase Seleziona file, scegli Aggiungi file. Individua il file KafkaGettingStartedJob-1.0.jar creato nella fase precedente.

3. Non è necessario modificare alcuna delle impostazioni dell'oggetto, quindi scegli Carica.

1. Apri la console Managed Service for Apache Flink all'indirizzo /flink. https://console.aws.amazon.com

2. Nella dashboard del servizio gestito per Apache Flink, scegli Crea un'applicazione di analisi.

3. Nella pagina Servizio gestito per Apache Flink: crea applicazione, fornisci i dettagli dell'applicazione nel modo seguente:

   • Per Nome applicazione, immetti MyApplication.

   • Per Runtime, scegli Apache Flink versione 1.15.2.

4. Per le autorizzazioni di accesso, scegli Crea/aggiorna ruolo. IAM kinesis-analytics-MyApplication-us-west-2

5. Scegli Crea applicazione.

1. Nella MyApplicationpagina, scegli Configura.

2. Nella pagina Configura applicazione, fornisci la Posizione del codice:

   • Per Bucket Amazon S3, inserisci ka-app-code-<username>.

   • Per Percorso dell'oggetto Amazon S3, inserisci KafkaGettingStartedJob-1.0.jar

3. In Accesso alle risorse dell'applicazione, per Autorizzazioni di accesso, scegli Crea/aggiorna IAM ruolo kinesis-analytics-MyApplication-us-west-2.

   Nota

   Quando specifichi le risorse dell'applicazione utilizzando la console (come CloudWatch Logs o AmazonVPC), la console modifica il ruolo di esecuzione dell'applicazione per concedere l'autorizzazione all'accesso a tali risorse.

4. In Proprietà, scegli Aggiungi gruppo. Inserisci le proprietà seguenti:

   ID gruppo	Chiave	Valore
   KafkaSource	topic	AWS KafkaTutorialTopic
   KafkaSource	bootstrap.servers	The bootstrap server list you saved previously
   KafkaSource	security.protocol	SSL
   KafkaSource	ssl.truststore.location	/usr/lib/jvm/java-11-amazon-corretto/lib/security/cacerts
   KafkaSource	ssl.truststore.password	changeit

   Nota

   Il file ssl.truststore.password per il certificato predefinito è "changeit"; non è necessario modificare questo valore se si utilizza il certificato predefinito.

   Scegli nuovamente Aggiungi gruppo. Inserisci le proprietà seguenti:

   ID gruppo	Chiave	Valore
   KafkaSink	topic	AWS KafkaTutorialTopicDestination
   KafkaSink	bootstrap.servers	The bootstrap server list you saved previously
   KafkaSink	security.protocol	SSL
   KafkaSink	ssl.truststore.location	/usr/lib/jvm/java-11-amazon-corretto/lib/security/cacerts
   KafkaSink	ssl.truststore.password	changeit
   KafkaSink	transaction.timeout.ms	1000

   Il codice dell'applicazione legge le proprietà dell'applicazione sopra riportate per configurare l'origine e il sink utilizzati per interagire con il tuo MSK cluster VPC e Amazon. Per ulteriori informazioni sull'utilizzo delle proprietà, consulta Usa le proprietà di runtime.

5. In Snapshot, scegli Disabilita. In questo modo sarà più semplice aggiornare l'applicazione senza caricare dati non validi sullo stato dell'applicazione.

6. In Monitoraggio, accertati che il Monitoraggio del livello dei parametri sia impostato su Applicazione.

7. Per la CloudWatch registrazione, seleziona la casella di controllo Abilita.

8. Nella sezione Virtual Private Cloud (VPC), scegliete VPC da associare alla vostra applicazione. Scegliete le sottoreti e il gruppo di sicurezza associati al vostro VPC che desiderate che l'applicazione utilizzi per accedere VPC alle risorse.

9. Scegli Aggiorna.

1. Crea un file denominato stock.py con i seguenti contenuti:

    
       import datetime
       import json
       import random
       import boto3
   
       STREAM_NAME = "ExampleInputStream"
   
   
       def get_data():
           return {
               'event_time': datetime.datetime.now().isoformat(),
               'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']),
               'price': round(random.random() * 100, 2)}
   
   
       def generate(stream_name, kinesis_client):
           while True:
               data = get_data()
               print(data)
               kinesis_client.put_record(
                   StreamName=stream_name,
                   Data=json.dumps(data),
                   PartitionKey="partitionkey")
   
   
       if __name__ == '__main__':
           generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2'))

2. Esegui lo script stock.py:

   $ python stock.py

   Mantieni lo script in esecuzione mentre completi il resto del tutorial.

1. Installa il client Git se non lo hai già fatto. Per ulteriori informazioni, consulta Installazione di Git.

2. Clona il repository remoto con il comando seguente:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

3. Passa alla directory amazon-kinesis-data-analytics-java-examples/EfoConsumer.

1. Installa Java e Maven se non lo hai già fatto. Per ulteriori informazioni, consulta Completa i prerequisiti richiesti nel tutorial Tutorial: inizia a usare Managed Service for Apache Flink DataStream API.

2. Compila l'applicazione con il seguente comando:

   mvn package -Dflink.version=1.15.3

   Nota

   Il codice di origine fornito si basa sulle librerie di Java 11.

1. Nella console Amazon S3, scegli il - ka-app-code<username>bucket e scegli Upload.

2. Nella fase Seleziona file, scegli Aggiungi file. Individua il file aws-kinesis-analytics-java-apps-1.0.jar creato nella fase precedente.

3. Non è necessario modificare alcuna delle impostazioni dell'oggetto, quindi scegli Carica.

1. Apri la console Managed Service for Apache Flink all'indirizzo /flink https://console.aws.amazon.com

2. Nella dashboard del servizio gestito per Apache Flink, scegli Crea un'applicazione di analisi.

3. Nella pagina Servizio gestito per Apache Flink: crea applicazione, fornisci i dettagli dell'applicazione nel modo seguente:

   • Per Nome applicazione, inserisci MyApplication.

   • Per Runtime, scegli Apache Flink.

     Nota

     Il servizio gestito per Apache Flink utilizza Apache Flink versione 1.15.2.

   • Lascia il menu a discesa di Apache Flink 1.15.2 (versione consigliata).

4. Per le autorizzazioni di accesso, scegli Crea/aggiorna ruolo. IAM kinesis-analytics-MyApplication-us-west-2

5. Scegli Crea applicazione.

1. Apri la console all'IAMindirizzo. https://console.aws.amazon.com/iam/

2. Seleziona Policy. Scegli la policy kinesis-analytics-service-MyApplication-us-west-2 creata dalla console nella sezione precedente.

3. Nella pagina Riepilogo, scegli Modifica policy. Scegli la JSONscheda.

4. Aggiungi alla policy la sezione evidenziata del seguente esempio di policy. Sostituisci l'account di esempio IDs (012345678901) con l'ID del tuo account.

   Nota

   Queste autorizzazioni garantiscono all'applicazione la possibilità di accedere al EFO consumatore.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "logs:DescribeLogGroups",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*",
                   "arn:aws:s3:::ka-app-code-<username>/aws-kinesis-analytics-java-apps-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": "logs:DescribeLogStreams",
               "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": "logs:PutLogEvents",
               "Resource": "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
           },
           {
               "Sid": "ListCloudwatchLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "AllStreams",
               "Effect": "Allow",
               "Action": [
                   "kinesis:ListShards",
                   "kinesis:ListStreamConsumers",
                   "kinesis:DescribeStreamSummary"
               ],
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/*"
           },
           {
               "Sid": "Stream",
               "Effect": "Allow",
               "Action": [
                   "kinesis:DescribeStream",
                   "kinesis:RegisterStreamConsumer",
                   "kinesis:DeregisterStreamConsumer"
               ],
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteOutputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleOutputStream"
           },
           {
               "Sid": "Consumer",
               "Effect": "Allow",
               "Action": [
                   "kinesis:DescribeStreamConsumer",
                   "kinesis:SubscribeToShard"
               ],
               "Resource": [
                   "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream/consumer/my-efo-flink-app",
                   "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream/consumer/my-efo-flink-app:*"
               ]
           }
       ]
   }

1. Nella MyApplicationpagina, scegli Configura.

2. Nella pagina Configura applicazione, fornisci la Posizione del codice:

   • Per Bucket Amazon S3, inserisci ka-app-code-<username>.

   • Per Percorso dell'oggetto Amazon S3, inserisci aws-kinesis-analytics-java-apps-1.0.jar

3. In Accesso alle risorse dell'applicazione, per Autorizzazioni di accesso, scegli Crea/aggiorna IAM ruolo kinesis-analytics-MyApplication-us-west-2.

4. In Proprietà, scegli Crea gruppo.

5. Immetti i valori e le proprietà dell'applicazione seguenti:

   ID gruppo	Chiave	Valore
   ConsumerConfigProperties	flink.stream.recordpublisher	EFO
   ConsumerConfigProperties	flink.stream.efo.consumername	basic-efo-flink-app
   ConsumerConfigProperties	INPUT_STREAM	ExampleInputStream
   ConsumerConfigProperties	flink.inputstream.initpos	LATEST
   ConsumerConfigProperties	AWS_REGION	us-west-2

6. In Proprietà, scegli Crea gruppo.

7. Immetti i valori e le proprietà dell'applicazione seguenti:

   ID gruppo	Chiave	Valore
   ProducerConfigProperties	OUTPUT_STREAM	ExampleOutputStream
   ProducerConfigProperties	AWS_REGION	us-west-2
   ProducerConfigProperties	AggregationEnabled	false

8. In Monitoraggio, accertati che il Monitoraggio del livello dei parametri sia impostato su Applicazione.

9. Per la CloudWatch registrazione, seleziona la casella di controllo Abilita.

10. Scegli Aggiorna.

1. Apri la console Managed Service for Apache Flink all'indirizzo /flink https://console.aws.amazon.com

2. nel pannello Managed Service for Apache Flink, scegliete. MyApplication

3. Nella pagina dell'applicazione, scegli Elimina e quindi conferma l'eliminazione.

1. Apri la console Kinesis in /kinesis. https://console.aws.amazon.com

2. Nel pannello Kinesis Data Streams, scegli. ExampleInputStream

3. Nella ExampleInputStreampagina, scegli Elimina Kinesis Stream e conferma l'eliminazione.

4. Nella pagina Kinesis Streams, scegli, scegli Azioni ExampleOutputStream, scegli Elimina, quindi conferma l'eliminazione.

1. Apri la console Amazon S3 all'indirizzo. https://console.aws.amazon.com/s3/

2. Scegli il ka-app-code -<username> secchio.

3. Per confermare l'eliminazione, scegli Elimina, quindi inserisci il nome del bucket.

1. Apri la IAM console all'indirizzo https://console.aws.amazon.com/iam/.

2. Nella barra di navigazione, scegli Policy.

3. Nel controllo filtro, inserisci kinesis.

4. Scegli la politica kinesis-analytics-service- MyApplication -us-west-2.

5. Seleziona Operazioni di policy e quindi Elimina.

6. Nella barra di navigazione, scegli Ruoli.

7. Scegli il ruolo kinesis-analytics- MyApplication -us-west-2.

8. Quindi scegli Elimina ruolo e conferma l'eliminazione.

1. Apri la CloudWatch console all'indirizzo https://console.aws.amazon.com/cloudwatch/.

2. Nella barra di navigazione, scegli Log.

3. Scegli il gruppo/aws/kinesis-analytics/MyApplicationlog.

4. Quindi scegli Elimina gruppo di log e conferma l'eliminazione.

1. Crea un file denominato stock.py con i seguenti contenuti:

    import datetime
       import json
       import random
       import boto3
   
       STREAM_NAME = "ExampleInputStream"
   
   
       def get_data():
           return {
               'event_time': datetime.datetime.now().isoformat(),
               'ticker': random.choice(['AAPL', 'AMZN', 'MSFT', 'INTC', 'TBV']),
               'price': round(random.random() * 100, 2)}
   
   
       def generate(stream_name, kinesis_client):
           while True:
               data = get_data()
               print(data)
               kinesis_client.put_record(
                   StreamName=stream_name,
                   Data=json.dumps(data),
                   PartitionKey="partitionkey")
   
   
       if __name__ == '__main__':
           generate(STREAM_NAME, boto3.client('kinesis', region_name='us-west-2'))

2. Esegui lo script stock.py:

   $ python stock.py

   Mantieni lo script in esecuzione mentre completi il resto del tutorial.

1. Clona il repository remoto con il comando seguente:

   git clone https://github.com/aws-samples/amazon-kinesis-data-analytics-examples.git

2. Passa alla directory amazon-kinesis-data-analytics-java-examples/FirehoseSink.

1. Installa Java e Maven se non lo hai già fatto. Per ulteriori informazioni, consulta Completa i prerequisiti richiesti nel tutorial Tutorial: inizia a usare Managed Service for Apache Flink DataStream API.

2. Per utilizzare il connettore Kinesis per la seguente applicazione, è necessario scaricare, creare e installare Apache Maven. Per ulteriori informazioni, consulta Utilizzo del connettore Apache Flink Kinesis Streams con versioni precedenti di Apache Flink.

3. Compila l'applicazione con il seguente comando:

   mvn package -Dflink.version=1.15.3

   Nota

   Il codice di origine fornito si basa sulle librerie di Java 11.

Per caricare il codice dell'applicazione

1. Apri la console Amazon S3 all'indirizzo. https://console.aws.amazon.com/s3/

2. Nella console, scegli il ka-app-code -<username>bucket, quindi scegli Carica.

3. Nella fase Seleziona file, scegli Aggiungi file. Individua il file java-getting-started-1.0.jar creato nella fase precedente.

4. Non è necessario modificare alcuna delle impostazioni dell'oggetto, quindi scegli Carica.

1. Apri la console Managed Service for Apache Flink all'indirizzo /flink https://console.aws.amazon.com

2. Nella dashboard del servizio gestito per Apache Flink, scegli Crea un'applicazione di analisi.

3. Nella pagina Servizio gestito per Apache Flink: crea applicazione, fornisci i dettagli dell'applicazione nel modo seguente:

   • Per Nome applicazione, immetti MyApplication.

   • Per Descrizione, inserisci My java test app.

   • Per Runtime, scegli Apache Flink.

     Nota

     Il servizio gestito per Apache Flink utilizza Apache Flink versione 1.15.2.

   • Lascia il menu a discesa di Apache Flink 1.15.2 (versione consigliata).

4. Per le autorizzazioni di accesso, scegli Crea/aggiorna ruolo. IAM kinesis-analytics-MyApplication-us-west-2

5. Scegli Crea applicazione.

1. Apri la console all'IAMindirizzo. https://console.aws.amazon.com/iam/

2. Seleziona Policy. Scegli la policy kinesis-analytics-service-MyApplication-us-west-2 creata dalla console nella sezione precedente.

3. Nella pagina Riepilogo, scegli Modifica policy. Scegli la JSONscheda.

4. Aggiungi alla policy la sezione evidenziata del seguente esempio di policy. Sostituisci tutte le istanze dell'account IDs di esempio (012345678901) con l'ID del tuo account.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "ReadCode",
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:GetObjectVersion"
               ],
               "Resource": [
                   "arn:aws:s3:::ka-app-code-username/java-getting-started-1.0.jar"
               ]
           },
           {
               "Sid": "DescribeLogGroups",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogGroups"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:*"
               ]
           },
           {
               "Sid": "DescribeLogStreams",
               "Effect": "Allow",
               "Action": [
                   "logs:DescribeLogStreams"
              ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:*"
               ]
           },
           {
               "Sid": "PutLogEvents",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-west-2:012345678901:log-group:/aws/kinesis-analytics/MyApplication:log-stream:kinesis-analytics-log-stream"
               ]
           },
           {
               "Sid": "ReadInputStream",
               "Effect": "Allow",
               "Action": "kinesis:*",
               "Resource": "arn:aws:kinesis:us-west-2:012345678901:stream/ExampleInputStream"
           },
           {
               "Sid": "WriteDeliveryStream",
               "Effect": "Allow",
               "Action": "firehose:*",
               "Resource": "arn:aws:firehose:us-west-2:012345678901:deliverystream/ExampleDeliveryStream"
           }
       ]
   }

1. Nella MyApplicationpagina, scegli Configura.

2. Nella pagina Configura applicazione, fornisci la Posizione del codice:

   • Per Bucket Amazon S3, inserisci ka-app-code-<username>.

   • Per Percorso dell'oggetto Amazon S3, inserisci java-getting-started-1.0.jar

3. In Accesso alle risorse dell'applicazione, per Autorizzazioni di accesso, scegli Crea/aggiorna IAM ruolo kinesis-analytics-MyApplication-us-west-2.

4. In Monitoraggio, accertati che il Monitoraggio del livello dei parametri sia impostato su Applicazione.

5. Per la CloudWatch registrazione, seleziona la casella di controllo Abilita.

6. Scegli Aggiorna.

Per creare un ruolo IAM

1. Apri la IAM console all'indirizzo https://console.aws.amazon.com/iam/.

2. Nel riquadro di navigazione, seleziona Ruoli, quindi Crea nuovo ruolo.

3. In Seleziona tipo di identità attendibile, scegli Servizio AWS . In Scegli il servizio che utilizzerà questo ruolo, scegli Kinesis. In Seleziona il tuo caso d'uso, scegli Analisi dei dati Kinesis.

   Scegli Successivo: Autorizzazioni.

4. Nella pagina Allega policy di autorizzazione, seleziona Successivo: esamina. Collega le policy di autorizzazione dopo aver creato il ruolo.

5. Nella pagina Crea ruolo, immetti MF-stream-rw-role per Nome ruolo. Scegliere Crea ruolo.

   Ora hai creato un nuovo IAM ruolo chiamatoMF-stream-rw-role. Successivamente, aggiorna le policy di attendibilità e di autorizzazione per il ruolo.

6. Collega la policy di autorizzazione al ruolo.

   Nota

   Per questo esercizio, il servizio gestito per Apache Flink assume questo ruolo per la lettura di dati da un flusso di dati Kinesis (origine) e la scrittura dell'output in un altro flusso di dati Kinesis. Pertanto, devi collegare la policy creata nella fase precedente, Creazione di una policy di autorizzazione.

   1. Nella pagina Riepilogo, scegli la scheda Autorizzazioni.

   2. Scegliere Collega policy.

   3. Nella casella di ricerca, immetti AKReadSourceStreamWriteSinkStream (la policy creata nella sezione precedente).

   4. Scegli la AKReadSourceStreamWriteSinkStreampolitica e scegli Allega politica.

1. Salva il JSON codice seguente in un file denominato. create_request.json Sostituisci il ruolo di esempio ARN con quello ARN per il ruolo creato in precedenza. Sostituisci il ARN suffisso del bucket con il suffisso che hai scelto nella Crea risorse dipendenti sezione (.) ka-app-code-<username> Sostituisci l'ID dell'account di esempio (012345678901) nel ruolo di esecuzione del servizio con l'ID dell'account.

   {
       "ApplicationName": "test",
       "ApplicationDescription": "my java test app",
       "RuntimeEnvironment": "FLINK-1_15",
       "ServiceExecutionRole": "arn:aws:iam::012345678901:role/MF-stream-rw-role",
       "ApplicationConfiguration": {
           "ApplicationCodeConfiguration": {
               "CodeContent": {
                   "S3ContentLocation": {
                       "BucketARN": "arn:aws:s3:::ka-app-code-username",
                       "FileKey": "java-getting-started-1.0.jar"
                   }
               },
               "CodeContentType": "ZIPFILE"
           }
         }
       }
   }
   
   

2. Esegui l'operazione CreateApplication con la richiesta precedente per creare l'applicazione:

   aws kinesisanalyticsv2 create-application --cli-input-json file://create_request.json

Per avviare l'applicazione

1. Salvate il JSON codice seguente in un file denominatostart_request.json.

   {
       "ApplicationName": "test",
       "RunConfiguration": {
           "ApplicationRestoreConfiguration": { 
            "ApplicationRestoreType": "RESTORE_FROM_LATEST_SNAPSHOT"
            }
       }
   }
   

2. Esegui l'operazione StartApplication con la richiesta precedente per avviare l'applicazione:

   aws kinesisanalyticsv2 start-application --cli-input-json file://start_request.json

Per interrompere l'applicazione

1. Salvate il JSON codice seguente in un file denominatostop_request.json.

   
   {
       "ApplicationName": "test"
   }
   

2. Esegui l'operazione StopApplication con la seguente richiesta di interrompere l'applicazione:

   aws kinesisanalyticsv2 stop-application --cli-input-json file://stop_request.json

1. Apri la console Managed Service for Apache Flink su /flink https://console.aws.amazon.com

2. Nel pannello Managed Service for Apache Flink, scegliete. MyApplication

3. Scegli Configura.

4. Nella sezione Snapshot, scegli Disabilita, quindi scegli Aggiorna.

5. Nella pagina dell'applicazione, scegli Elimina e conferma l'eliminazione.

1. Apri la console Kinesis in /kinesis. https://console.aws.amazon.com

2. Nel pannello Kinesis Data Streams, scegli. ExampleInputStream

3. Nella ExampleInputStreampagina, scegli Elimina Kinesis Stream e conferma l'eliminazione.

1. Apri la console Kinesis in /kinesis. https://console.aws.amazon.com

2. Nel pannello Firehose, scegliete. ExampleDeliveryStream

3. Nella ExampleDeliveryStreampagina, scegliete Delete Firehose stream e confermate l'eliminazione.

1. Apri la console Amazon S3 all'indirizzo. https://console.aws.amazon.com/s3/

2. Scegli il ka-app-code -<username> secchio.

3. Per confermare l'eliminazione, scegli Elimina, quindi inserisci il nome del bucket.

4. Se hai creato un bucket Amazon S3 per la destinazione del tuo stream Firehose, elimina anche quel bucket.

1. Apri la IAM console all'indirizzo https://console.aws.amazon.com/iam/.

2. Nella barra di navigazione, scegli Policy.

3. Nel controllo filtro, inserisci kinesis.

4. Scegli la politica kinesis-analytics-service- MyApplication -us-west-2.

5. Seleziona Operazioni di policy e quindi Elimina.

6. Se hai creato una nuova policy per il tuo stream Firehose, elimina anche quella policy.

7. Nella barra di navigazione, scegli Ruoli.

8. Scegli il ruolo kinesis-analytics- MyApplication -us-west-2.

9. Quindi scegli Elimina ruolo e conferma l'eliminazione.

10. Se hai creato un nuovo ruolo per il tuo stream Firehose, elimina anche quel ruolo.

1. Apri la CloudWatch console all'indirizzo https://console.aws.amazon.com/cloudwatch/.

2. Nella barra di navigazione, scegli Log.

3. Scegli il gruppo/aws/kinesis-analytics/MyApplicationlog.

4. Scegli Elimina gruppo di log e conferma l'eliminazione.