Esempi in Python per Managed Service for Apache Flink - Servizio gestito per Apache Flink

Il servizio gestito da Amazon per Apache Flink era precedentemente noto come Analisi dei dati Amazon Kinesis per Apache Flink.

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Esempi in Python per Managed Service for Apache Flink

I seguenti esempi mostrano come creare applicazioni scritte in Python.

Nota

La maggior parte degli esempi è progettata per essere eseguita sia localmente, sulla tua macchina di sviluppo e IDE di tua scelta, sia su Amazon Managed Service for Apache Flink. Dimostrano il semplice meccanismo che è possibile utilizzare per passare i parametri dell'applicazione e come impostare correttamente la dipendenza per eseguire l'applicazione in entrambi gli ambienti senza modifiche.

Dipendenze del progetto

La maggior parte PyFlink degli esempi richiede una o più dipendenze sotto forma di JAR file, ad esempio per i connettori Flink. Queste dipendenze devono quindi essere impacchettate con l'applicazione quando vengono distribuite su Amazon Managed Service for Apache Flink.

Gli esempi seguenti includono già gli strumenti che consentono di eseguire l'applicazione localmente per lo sviluppo e il test e di impacchettare correttamente le dipendenze richieste. Questo strumento richiede l'utilizzo di Java JDK11 e Apache Maven. Fate riferimento a quanto README contenuto in ogni esempio per le istruzioni specifiche.

Examples (Esempi)

Questo esempio dimostra la struttura di base di un' PyFlink applicazione utilizzando codice Pyton SQL incorporato. Questo progetto fornisce anche uno scheletro per qualsiasi PyFlink applicazione che includa JAR dipendenze come i connettori. La README sezione fornisce una guida dettagliata su come eseguire l'applicazione Python localmente per lo sviluppo. L'esempio mostra anche come includere una singola JAR dipendenza, il connettore SQL Kinesis in questo esempio, nell' PyFlinkapplicazione.

Esempio di codice: GettingStarted

Questo esempio mostra come aggiungere dipendenze Python all' PyFlink applicazione nel modo più generale. Questo metodo funziona per dipendenze semplici, come Boto3, o dipendenze complesse contenenti librerie C come. PyArrow

Esempio di codice: PythonDependencies

Questo esempio dimostra quattro tipi di aggregazione di finestre SQL incorporati in un'applicazione Python.

  1. Sliding Window in base al tempo di elaborazione

  2. Finestra scorrevole basata sull'ora dell'evento

  3. Tumbling Window basata sul tempo di elaborazione

  4. Tumbling Window basata sull'ora dell'evento

Esempio di codice: Windowing

Questo esempio mostra come scrivere l'output su Amazon S3 come JSON file, utilizzando l'output SQL incorporato in un'applicazione Python. È necessario abilitare il checkpoint per il sink S3 per scrivere e ruotare i file su Amazon S3.

Esempio di codice: S3Sink

Questo esempio dimostra come definire una funzione definita dall'utente, implementarla in Python e utilizzarla nel SQL codice eseguito in un'applicazione Python.

Esempio di codice: UDF

Questo esempio dimostra come inviare dati ad Amazon Data SQL Firehose utilizzando.

Esempio di codice: FirehoseSink