Servizio gestito per Apache Flink: come funziona - Servizio gestito per Apache Flink
Programma la tua applicazione Apache FlinkCrea il tuo servizio gestito per l'applicazione Apache Flink

Il servizio gestito da Amazon per Apache Flink era precedentemente noto come Analisi dei dati Amazon Kinesis per Apache Flink.

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Servizio gestito per Apache Flink: come funziona

Managed Service for Apache Flink è un servizio Amazon completamente gestito che consente di utilizzare un'applicazione Apache Flink per elaborare dati in streaming. Innanzitutto, si programma l'applicazione Apache Flink, quindi si crea l'applicazione Managed Service for Apache Flink.

Programma la tua applicazione Apache Flink

Un'applicazione Apache Flink è un'applicazione Java o Scala creata con il framework Apache Flink. Puoi creare la tua applicazione Apache Flink in locale.

Le applicazioni utilizzano principalmente l'DataStream API o l'API Table. APIs Sono disponibili anche gli altri Apache Flink, ma sono usati meno comunemente nella creazione di applicazioni di streaming.

Le caratteristiche dei due APIs sono le seguenti:

DataStream API

Il modello di programmazione dell' DataStream API Apache Flink si basa su due componenti:

  • Flusso di dati: la rappresentazione strutturata di un flusso continuo di record di dati.

  • Operatore di trasformazione: accetta uno o più flussi di dati come input e produce uno o più flussi di dati come output.

Le applicazioni create con l' DataStream API eseguono le seguenti operazioni:

  • Lettura dei dati da un'origine dati (ad esempio un flusso Kinesis o un argomento Amazon MSK).

  • Trasformazione di dati, ad esempio filtraggio, aggregazione o arricchimento.

  • Scrittura dei dati trasformati in un sink di dati.

Le applicazioni che utilizzano l' DataStream API possono essere scritte in Java o Scala e possono essere lette da un flusso di dati Kinesis, un argomento di Amazon MSK o un'origine personalizzata.

L'applicazione elabora i dati utilizzando un connettore. Apache Flink utilizza i seguenti tipi di connettori:

  • Origine: connettore utilizzato per leggere dati esterni.

  • Sink: connettore utilizzato per scrivere in posizioni esterne.

  • Operatore: connettore utilizzato per elaborare i dati all'interno dell'applicazione.

Un'applicazione tipica è costituita da almeno un flusso di dati con un'origine, un flusso di dati con uno o più operatori e almeno un sink di dati.

Per ulteriori informazioni sull'utilizzo dell' DataStream API, consulta. Esamina i componenti DataStream dell'API

API Table

Il modello di programmazione dell'API Table di Apache Flink si basa sui componenti seguenti:

  • Ambiente tabellare: interfaccia per i dati sottostanti utilizzata per creare e ospitare una o più tabelle.

  • Tabella: un oggetto che fornisce l'accesso a una tabella o una vista SQL.

  • Origine della tabella: serve per leggere dati da un'origine esterna, ad esempio un argomento di Amazon MSK.

  • Funzione della tabella: una query SQL o una chiamata API utilizzata per trasformare dati.

  • Sink della tabella: serve per scrivere dati in un percorso esterno, ad esempio un bucket Amazon S3.

Le applicazioni create con l'API Table eseguono le seguenti operazioni:

  • Creazione di un TableEnvironment collegandosi a un'Table Source.

  • Crea una tabella nel TableEnvironment utilizzando query SQL o funzioni API Table.

  • Esecuzione di una query sulla tabella utilizzando API Table o SQL.

  • Trasformazione dei risultati della query utilizzando funzioni Table o query SQL.

  • Scrittura dei risultati della query o della funzione su un Table Sink.

Le applicazioni che utilizzano l'API Table possono essere scritte in Java o Scala e possono eseguire query sui dati utilizzando chiamate API o query SQL.

Per ulteriori informazioni sull'utilizzo dell'API Table, consulta Componenti dell'API Review Table.

Crea il tuo servizio gestito per l'applicazione Apache Flink

Managed Service for Apache Flink è un AWS servizio che crea un ambiente per l'hosting dell'applicazione Apache Flink e fornisce le seguenti impostazioni:

È possibile creare ed eseguire un'applicazione del servizio gestito per Apache Flink utilizzando la console o la AWS CLI. Per iniziare a creare un'applicazione del servizio gestito da Amazon per Apache Flink, consulta Tutorial: inizia a usare l' DataStream API in Managed Service for Apache Flink.