Amazon Managed Service para Apache Flink Amazon se denominaba anteriormente Amazon Kinesis Data Analytics para Apache Flink.
Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Ejemplos en Python de Managed Service for Apache Flink
Los siguientes ejemplos muestran cómo crear aplicaciones escritas en Python.
nota
La mayoría de los ejemplos están diseñados para ejecutarse tanto de forma local, en la máquina IDE de desarrollo que elijas, como en Amazon Managed Service para Apache Flink. En ellos se muestra el sencillo mecanismo que se puede utilizar para transferir los parámetros de la aplicación y cómo configurar la dependencia correctamente para ejecutar la aplicación en ambos entornos sin cambios.
Dependencias del proyecto
La mayoría de los PyFlink ejemplos requieren una o más dependencias en forma de JAR archivos, por ejemplo, para los conectores Flink. A continuación, estas dependencias deben empaquetarse con la aplicación cuando se desplieguen en Amazon Managed Service para Apache Flink.
Los siguientes ejemplos ya incluyen las herramientas que le permiten ejecutar la aplicación localmente para el desarrollo y las pruebas, y empaquetar correctamente las dependencias necesarias. Esta herramienta requiere el uso de Java JDK11 y Apache Maven. Consulte el README contenido de cada ejemplo para ver las instrucciones específicas.
Ejemplos
En este ejemplo se muestra la estructura básica de una PyFlink aplicación que utiliza código SQL incrustado en Pyton. Este proyecto también proporciona un esquema para cualquier PyFlink aplicación que incluya JAR dependencias, como conectores. La README sección proporciona una guía detallada sobre cómo ejecutar su aplicación Python de forma local para el desarrollo. El ejemplo también muestra cómo incluir una única JAR dependencia, el SQL conector de Kinesis de este ejemplo, en la aplicación. PyFlink
Ejemplo de código: GettingStarted
Este ejemplo muestra cómo añadir dependencias de Python a tu PyFlink aplicación de la forma más general. Este método funciona para dependencias simples, como Boto3, o dependencias complejas que contienen bibliotecas de C, como. PyArrow
Ejemplo de código: PythonDependencies
Este ejemplo muestra cuatro tipos de agregación de ventanas SQL incrustados en una aplicación de Python.
-
Ventana deslizante basada en el tiempo de procesamiento
-
Ventana corredera basada en la hora del evento
-
Ventana giratoria basada en el tiempo de procesamiento
-
Ventana giratoria basada en la hora del evento
En este ejemplo, se muestra cómo escribir los resultados en Amazon S3 como JSON archivos, mediante aplicaciones SQL integradas en Python. Debe activar los puntos de control en el receptor S3 para escribir y rotar archivos en Amazon S3.
En este ejemplo se muestra cómo definir una función definida por el usuario, implementarla en Python y utilizarla en el SQL código que se ejecuta en una aplicación de Python.
Ejemplo de código: UDF
En este ejemplo se muestra cómo enviar datos a Amazon Data Firehose mediante. SQL
Ejemplo de código: FirehoseSink
